CN108769692B - 视频编码方法、视频解码方法和使用其的装置 - Google Patents

视频编码方法、视频解码方法和使用其的装置 Download PDF

Info

Publication number
CN108769692B
CN108769692B CN201810876802.7A CN201810876802A CN108769692B CN 108769692 B CN108769692 B CN 108769692B CN 201810876802 A CN201810876802 A CN 201810876802A CN 108769692 B CN108769692 B CN 108769692B
Authority
CN
China
Prior art keywords
tile
tiles
patch
prediction
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810876802.7A
Other languages
English (en)
Other versions
CN108769692A (zh
Inventor
亨得利·亨得利
金廷宣
金哲瑾
全柄文
丁商五
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108769692A publication Critical patent/CN108769692A/zh
Application granted granted Critical
Publication of CN108769692B publication Critical patent/CN108769692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及视频编码方法、视频解码方法和使用其的装置。按照本发明的视频编码方法包括步骤：对于输入的当前图片设置贴片和片；基于贴片和片执行编码；以及发送编码的视频信息的步骤。当前图片可以包括一个或多个贴片和一个或多个片。在片中最大编译单元(在下文中，称为LCU)可以基于贴片扫描来布置。

Description

视频编码方法、视频解码方法和使用其的装置
本申请是2015年1月26日提交的、国际申请日为2013年6月26日的、申请号为201380039570.5(PCT/KR2013/005636)的，发明名称为“视频编码方法、视频解码方法和使用其的装置”专利申请的分案申请。
技术领域
本发明涉及一种视频压缩技术，并且更具体地，涉及指定图片的区域的方法。
背景技术
近来，对高分辨率和高质量图像的需求已经在各种的应用领域中增长。由于图像具有更高的分辨率和更高的质量，有关图像的数据量增长更多。
因此，当图像数据使用诸如现有的有线或者无线宽带线路的介质来传输，或者图像数据存储在现有的存储介质中时，信息传输成本和信息存储成本增长。
高效率的视频压缩技术可用于有效地传输、存储和再现有关高分辨率和高质量图像的信息。
间预测(inter prediction)和内预测(intra prediction)可用于提高图像压缩效率。在间预测中，当前图片的像素值参考其他图片的信息来被预测。在内预测中，当前图片的像素值被使用在相同图片中的像素间关系来预测。
用于使图像等于原始图像的各种方法可以应用于处理单元，例如，预测的图片的块。因此，解码器可以更精确地解码图像(更加接近于原始图像)，并且编码器可以编码图像以更精确地重建图像。
因此，必须研究有关如何在图片中定义处理单元，例如，如何定义有关处理单元的约束，或者有关处理单元使用的约束。
发明内容
技术问题
本发明的目的是提供可以有效解码和编译的方法和设备。
本发明的另一目的是提供可以增强编译效率的片和贴片的配置。
本发明的再一个目的是提供可以增强编译效率的最大编译单元和贴片的配置、以及编译方法和使用该配置的编译设备。
本发明的再一个目的是提供用信号通知入口点信息用于增强编译效率的方法和设备。
[技术方案]
按照本发明的一个方面，提供了一种视频编码方法，包括步骤：在输入的当前图片中设置贴片和片；基于贴片和片来执行编码操作；以及发送编码的视频信息，其中当前图片包括一个或多个贴片和一个或多个片，以及其中在片中的最大编译单元(LCU)以贴片扫描排序。
按照本发明的另一个方面，提供了一种视频解码方法，包括步骤：接收视频信息；基于接收的视频信息来指定在当前图片中的贴片和片；以及基于贴片和片来执行解码操作，其中当前图片包括一个或多个贴片和一个或多个片，以及其中在片中的最大编译单元(LCU)以贴片扫描排序。
有益效果
按照本发明，可以使用片和贴片的有效配置来增强编译效率。
按照本发明，可以使用贴片和最大编译单元的有效配置来增强编译效率。
按照本发明，可以通过用信号通知入口点信息来精确地指示用于并行处理的入口点。
附图说明
图1是示意性地图示按照本发明实施例的视频编码器的框图。
图2是示意性地图示按照本发明实施例的视频解码器的框图。
图3是示意地图示片的示例的示意图。
图4是图示贴片和片的示例的示意图。
图5是图示贴片和片的另一示例的示意图。
图6是示意地图示在并行处理中出现问题的示例的示意图。
图7是示意地图示LCU的栅格扫描顺序的示例的示意图。
图8是示意地图示LCU的栅格扫描顺序的示例的示意图。
图9是示意地图示取决于片和贴片的结构而在解码过程中会出现问题的示例的示意图。
图10是示意地图示按照本发明的片和贴片的结构的示例的示意图。
图11至15是图示贴片和片配置的示意图。
图16是示意地图示当应用表1时，贴片和片配置的示例的示意图。
图17是示意地图示按照本发明的编码方法的流程图。
图18是示意地图示按照本发明的解码方法的流程图。
具体实施方式
本发明可以以各种形式来修改，并且其特定实施例将在附图中描述和示出。但是，该实施例不意欲限制本发明。在以下的描述中使用的术语仅仅用于描述特定实施例，但是，不意欲限制本发明。单数的表示包括多数表示，只要其被有区别地清楚地读取。诸如“包括”和“具有”的术语意欲指示存在以下描述中使用的特点、数目、步骤、操作、元件、组件或者其组合，并且因此应该理解，不排除存在或者增加一个或多个不同的特点、数目、步骤、操作、元件、组件或者其组合的可能性。
另一方面，在本发明描述的附图中的元件在图像编码/解码装置中为解释不同的特定功能的便利的目的而独立地绘制，并且不意味该元件由独立的硬件或者独立的软件来实施。例如，该元件的两个或更多个元件可以被组合以形成单个元件，或者一个元件可以被分成多个元件。不脱离本发明的概念，该元件被组合和/或分开的实施例属于本发明的范围。
在下文中，本发明示范的实施例将参考附图来详细被描述。在附图中类似的组成将由类似的附图标记引用，并且将不重复地描述。
图1是示意性地图示按照本发明实施例的视频编码器的框图。参考图1，视频编码器100包括图片分割模块105、预测模块110、变换模块115、量化模块120、重排模块125、熵编码模块130、去量化模块135、逆变换模块140、滤波模块145和存储器150。
该图片分割模块105可以将输入图像分割为至少一个处理单元块。在这里，作为处理单元的块可以是预测单元(在下文中，称为“PU”)、变换单元(在下文中，称为“TU”)或者编译单元(在下文中，称为“CU”)。
由图片分割模块105分割的处理单元块可以具有四叉树结构。
如稍后将描述的，该预测模块110包括执行间预测处理的间预测模块，和执行内预测处理的内预测模块。该预测模块110对由图片分割模块105分割的图片的处理单元执行预测处理以生成预测块。在预测模块110中，图片的处理单元可以是CU、TU或者PU。该预测模块110可以确定是否对相应的处理单元执行的预测是间预测或者内预测，并且可以确定预测方法的特定细节(例如，预测模式)。经历预测处理的处理单元可以不同于确定预测方法和特定细节的处理单元。例如，预测方法和预测模式可以以PU为单位确定，并且预测处理可以以TU为单位执行。
在间预测中，可以基于有关当前图片的先前图片和/或后续图片中的至少一个的信息来执行预测过程以生成预测块。在内预测中，可以基于当前图片的像素信息来执行预测过程以生成预测块。
在间预测中，可以使用跳过模式、合并模式、MVP(运动矢量预测)模式等。在间预测中，参考图片可以被选择用于PU，并且具有与PU相同的大小的参考块可以通过整数像素采样来被选择。然后，创建预测块，在预测块中相对于当前PU的残留信号被最小化并且运动矢量幅值被最小化。
预测块可以以整数像素采样为单位或者以小于整数像素的像素采样为单位来构造。在这里，运动矢量也可以以小于整数像素的像素采样为单位来表示。
经由间预测选择的诸如参考图片的残留信号、索引和运动矢量(例如，运动矢量预测器)的信息被熵编码，并且被发送给解码器。当应用跳过模式时，预测块可以用作重建的块，并且因此，残留信号可以根本不被生成、变换、量化和发送。
当执行内预测时，预测模式可以以PU为单位确定，并且预测过程可以以PU为单位执行。可替选地，预测模式可以以PU为单位确定，并且间预测可以以TU为单位执行。
在内预测中的预测模式可以包括33个方向预测模式以及至少2个无方向模式。无方向模式可以包括DC预测模式和平面模式。
在内预测中，在滤波器应用于参考采样之后，可以构造预测块。此时，根据当前块的内预测模式和/或大小，可以确定是否滤波器将应用于参考采样。
PU可以是具有各种大小和形状的块。例如，在间预测的情况下，PU可以是具有诸如2N×2N、2N×N、N×2N和N×N的大小的块(这里N是整数)。在内预测的情况下，PU可以是具有诸如2N×2N和N×N的大小的块(这里N是整数)。具有N×N大小的PU可以被设置为仅应用于特定情形。例如，具有N×N大小的PU可以被设置为仅供最小的CU使用，或者可以被设置为仅供内预测使用。除了具有以上提及的大小之外，诸如N×mN块、mN×N块、2N×mN块和mN×2N块(这里m<1)的PU可以另外定义和使用。
在构造的预测块和初始块之间的残留值(残留块或者残留信号)被输入给变换模块115。用于预测的预测模式信息、运动矢量信息等与残留值一起被熵编码模块130编码，并且发送给解码器。
变换模块115以TU为单位对残留块执行变换过程，并且生成变换系数。
变换块是采样的矩形块，并且是相同的变换应用于其的块。该变换块可以是TU，并且可以具有四叉树结构。
变换模块115可以根据应用于残留块的预测模式和该块的大小来执行变换过程。
例如，当内预测应用于残留块并且该残留块具有4×4阵列时，该残留块被使用离散正弦变换(DST)来变换。另外，该残留块可以被使用离散余弦变换(DCT)来变换。
变换模块115可以经由变换来构造变换系数的变换块。
量化模块120可以量化残留值，也就是说，由变换模块115变换的变换系数，并且可以生成量化系数。由量化模块120计算的值可以被提供给去量化模块135和重排模块125。
重排模块125可以重排从变换模块120提供的变换系数。通过重排量化系数，可以提高在熵编码模块130中的编译效率。
重排模块125可以通过使用系数扫描方法以二维块的形式到一维矢量的形式来重排量化的变换系数。
熵编码模块130可以对通过重排模块125重排的量化系数执行熵编码操作。熵编码方法的示例包括指数Golomb方法、CAVLC(上下文自适应可变长度编译)方法和CABAC(上下文自适应二进制算术编译)方法。熵编码模块130可以编码各种信息，诸如从重排模块125和预测模块110发送的CU的量化系数信息和块类型信息、预测模式信息、分割单元信息、PU信息、传输单元信息、运动矢量信息、参考图片信息、块内插信息和滤波信息。
熵编码模块130必要时可以将预先确定的变化给予要发送的参数集或者语法。
去量化模块135去量化由量化模块120量化的值(变换系数)。逆变换模块140反向地变换由去量化模块135去量化的值。
由去量化模块135和逆变换模块140生成的残留值可以与由预测模块110预测的预测块合并以构造重建的块。
在图1中，通过加法器，残留块和预测块被相加以生成重建的块。此时，加法器可以被认为是生成重建的块的特定模块(重建的块生成模块)。
滤波模块145对重建图片应用去块滤波器、ALF(自适应环路滤波器)、SAO(采样自适应偏移)。
去块滤波器可以在重建图片中去除在块之间的边界处产生的块失真。ALF基于将原始图片与其中块由去块滤波器来滤波的重建图片比较的结果值执行滤波过程。只有当需要高效率时可以应用ALF。SAO重建在使去块滤波器应用于其的残留块和原始图片之间的偏移差，并且以带偏移、边缘偏移等的形式被应用。
另一方面，滤波模块145可以不必对在间预测中使用的重建的块执行滤波操作。
存储器150可以存储重建的块或者由滤波模块145计算的图片。在存储器150中存储的重建的块或者图片可以被提供给执行间预测的预测模块110。
图2是示意性地图示按照本发明实施例的视频解码器的框图。参考图2，视频解码器200可以包括熵解码模块210、重排模块215、去量化模块220、逆变换模块225、预测模块230、滤波模块235和存储器240。
当视频比特流被从编码器输入时，输入的比特流可以基于视频编码器处理视频信息的顺序被解码。
例如，当视频编码器使用诸如CAVLC方法的可变长度编译(在下文中，称为“VLC”)方法执行熵编码操作时，熵解码模块210可以实施与在视频编码器中使用的VLC表相同的VLC表，并且可以执行熵解码操作。当视频编码器使用CABAC方法执行熵编码处理时，熵解码模块210可以使用与其对应的CABAC方法来执行熵解码操作。
在由熵解码模块210解码的信息中的用于构造预测块的信息可以提供给预测模块230，并且由熵解码模块210熵解码的残留值，也就是说，量化的变换系数可以输入给重排模块215。
重排模块215可以基于在视频编码器中使用的重排方法重排由熵解码模块210熵解码的比特流信息，也就是说，量化的变换系数。
重排模块215可以将以一维矢量的形式表示的系数重建和重排为以二维块的形式的系数。重排模块215可以基于应用于当前块(变换块)的预测模式和变换块的大小来扫描系数，并且可以以二维块的形式来生成系数阵列(量化的变换系数)。
去量化模块220可以基于从视频编码器提供的量化参数和重排的块的系数值来执行去量化。
逆变换模块225可以对来自视频编码器的量化结果执行已经由视频编码器的变换模块执行的DCT和/或DST的逆DCT和/或逆DST。该逆变换可以基于由视频编码器确定的图片的传输单元或者分割单元来执行。视频编码器的变换模块可以根据诸如预测方法、当前块的大小和预测方向的多个信息片来有选择地执行DCT和/或DST，并且视频解码器的逆变换模块225可以基于有关由视频编码器的变换模块执行的变换的变换信息来执行逆变换。
预测模块230可以基于从熵解码模块210提供的预测块结构信息，和从存储器240提供的预先地解码的块和/或图片信息来构造预测块。
在当前CU和/或PU的预测模式是内预测模式时，预测模块230可以基于当前图片的像素信息来执行构造预测块的内预测操作。
当用于当前PU的预测模式是间预测模式时，预测模块230可以基于在当前图片的先前图片和后续图片中的至少一个中包括的信息对当前PU执行间预测操作。此时，用于当前PU的间预测的运动信息，例如，从视频编码器提供的有关运动矢量和参考图片索引的信息可以从视频编码器接收的跳过标记、合并标记等中引导出。
重建的块可以使用由预测模块230构造的预测块和从逆变换模块225提供的残留块来被构造。图2图示残留块和预测块通过加法器相加以构造重建的块。在这里，加法器可以被认为是构造重建的块的特定模块(重建的块构造模块)。
当使用跳过模式时，残留信号可以不被发送，并且预测块可以用作重建块。
重建的块和/或图片可以提供给滤波模块235。滤波模块235可以对重建的块和/或图片执行去块滤波操作、SAO操作和/或ALF操作。
存储器240可以存储用于作为参考图片或者参考块的重建图片或者块，并且可以将重建图片提供给输出模块。
视频编码器和视频解码器可以将图片分割为预先确定的单位，并且可以处理(编码/解码)分割的单位。例如，图片可以被分割为片和贴片。
片可以包括在单个接入单元(AU)中属于独立片分段和在独立片分段之后以及在下一个独立片分段之前的附属片分段的自然数个编译树单元(CTU)或者编译树块(CTB)。
编译树单元是具有四叉树结构的编译单元，并且可以被说成是最大编译单元(LCU)，因为其是最大编译单元。
编译树单元可以被指定为亮度采样的编译树块、在具有三个采样阵列的图片中两个对应的色度采样的编译树块、以及用于编码/解码采样的语法结构。可替选地，编译树单元可以被指定为在单色的图片中采样的编译树块和用于编码/解码采样的语法结构，或者可以被指定为在使用三个单独的彩色平面编译的图片中采样的编译树块和用于编码/解码采样的语法结构。
编译树块是最大编译块，并且编译块可以通过分割编译树块来创建。
在本说明书中，为了容易理解本发明的目的，必要时，编译树单元(CTU)、最大编译单元(LCU)和编译树块(CTB)可互换地使用。
片分段包括被以贴片扫描连续地排序并且被包括在单个网络提取层(NAL)单元中的整数的CTU(或者LCU)。
在片分段中，包括片分段的第一编译树块(编译树单元)或者所有编译树块(编译树单元)的数据元素的部分被称为片分段头。在当前片分段是独立片分段时，独立片分段的片分段头称为片报头。在当前片分段是附属片分段时，在解码顺序上在当前片分段之前的独立片分段中的最后的独立片分段的片分段报头称为片报头。
片可以是NAL单元的传输单元。例如，NAL单元可以包括片或者片分段。
图3是示意地图示片的示例的示意图。
当前图片可以通过片边界分割为多个片。图3图示当前图片300通过片边界350分割为两个片的示例。
片包括包含编译树单元的片分段。在片中包括的片分段可以包括独立片分段，并且当附属片分段存在时，也可以包括附属片分段。
在图3中图示的示例中，第一片包括包含四个编译树单元的独立片分段310和包含32个编译树单元的第一附属片分段320、以及在片分段边界330前和后包含24个编译树单元的第二附属片分段340。在图3中图示的示例中，一个独立片分段360包括28个编译树单元。
贴片可以是编译树单元、编译树块或者最大编译单元的序列。编译树单元可以是具有四叉树结构的编译单元，并且可以是最大编译单元(LCU)。如上所述，在本说明书中，为了容易理解本发明的目的，必要时，编译树单元和最大编译单元可互换地使用。
具体地，贴片是在图片中在特定贴片列和特定贴片行内的矩形区域。贴片列是具有与图片的高度相同的高度并且具有由信令指定的宽度的CTB(或者LCU)的矩形区域。贴片行是具有与图片的宽度相同的宽度并且具有由信令指定的高度的矩形区域。
如上所述，贴片列的宽度和贴片行的高度可以由用信号通知的语法元素指定。例如，在图片中的贴片列的宽度和贴片行的高度可以由要通过使用图片的图片参数集发送的语法元素来指定。
贴片扫描是分割图片的CTB(或者LCU)的特定连续排序。在贴片扫描中，连续排序可以指的是在贴片中CTB(或者LCU)是以CTB栅格扫描连续地排序，并且在图片中的贴片是以栅格扫描连续地排序。
贴片可以是在图片中的扫描单元。因此，贴片可以是在图片中以图片扫描顺序，例如，以栅格扫描顺序连续地排序。
下面两个条件中的两个或者一个可以被建立用于片和贴片。(1)在片中的所有编译树单元或者最大编译单元属于相同的贴片。(2)在贴片中的所有编译树单元或者最大编译单元属于相同片。
因此，包括多个贴片的片和包括多个片的贴片可以存在于相同的图片中。
此外，下面两个条件中的两个或者一个可以被建立用于片分段和贴片。(1)在片分段中的所有编译树单元或者最大编译单元属于相同的贴片。(2)在贴片中的所有编译树单元或者最大编译单元属于相同片分段。
图4是示意地图示贴片和片的示例的示意图。
在图片中的贴片可以通过贴片边界分割为多个贴片。在图4中，当前图片400仅仅包括一个片，并且在左和右侧上通过贴片边界410分割为两个贴片。
贴片和片可以一起存在。在图4中图示的示例中，当前图片400的片包括通过片分段边界430、440和450分割的独立片分段420和四个附属片分段。
图5是示意地图示贴片和片的另一示例的示意图。
图5描述作为示例的当前图片500在左和右侧上通过贴片边界510分割为两个贴片。
在图5中图示的示例中，贴片边界510的左侧贴片包括通过片边界550分割的两个片。
如上所述，片可以包括独立片，并且当附属片存在时，也可以包括附属片。在图5中，片边界550的上片包括独立片分段520和附属片分段540，并且片边界550的下片包括独立片分段530和附属片分段560。
在图5中图示的示例中，紧跟在片边界590之后的片，也就是说，在第二贴片中的片包括独立片分段570和附属片分段580。
贴片和片可以是独立的解码处理单元。例如，当执行并行解码时，每个贴片可以由单个处理核心解码，并且每个片可以由单个处理核心解码。
在这点上，如可以从图4和5看到的，片和贴片可以是连续编译树块(编译树单元)的序列，但是贴片可以具有特定形状。例如，与片不同，贴片可以是矩形区域。
以这种方法，可以在片和贴片之间不同地执行解码过程。
例如，在片的情况下，每个片分段包括包含数据元素的片分段报头。如上所述，独立片分段的片分段报头可以被称为片报头。
相反地，贴片可以不是报头信息存在其中的单位，而是可以是并行处理(例如，并行解码)单位。
因此，在贴片的情况下，对于由编译树块的行和列边界所引起的中断不出现贴片间相依性。相反地，在片的情况下，关于编译树块的行和列边界，在解码时的相依性可能造成问题。换句话说，当片与作为边界的行或者列并行处理时，可能难以解码不包括片报头信息的部分。
因此，如上所述，有关贴片和片的预先确定的约束会是必要的。
在贴片和片之间的关系或者约束将具体地参考附图如下所述。
对于在当前片和当前贴片之间的关系没有施加严格的约束。基于一个或多个贴片可以存在于片中以及一个或多个片可以存在于贴片中的前提，在当前片和当前贴片之间的关系可以由松散的关系来表示。
这个松散的关系可以给出解码过程设计的灵活性，但是会造成(1)并行处理的程度被约束的问题以及(2)计算复杂度增加的问题。
图6是示意地图示在并行处理中会出现的问题的示例的示意图。
假设视频编码器如在图6中图示地分割图片。参考图6，图片的区域600包括贴片1610和贴片2 620。在图片中的区域600包括两个片。在图片中的区域600可以是在图片中的部分区域或者在图片中的整个区域。
第一片包括10个编译树块(1，1)至(1，10)，并且第二片包括6个编译树块(2，1)至(2，6)。
假设作为解码过程的主体的处理核心1和处理核心2并行处理不同的贴片。例如，在图6中图示的示例中，处理核心1处理贴片1 610，并且处理核心2处理贴片2 620。在图6中会出现的一个问题是处理核心1和2无法并行执行解码处理。
这是因为贴片2 620的第一LCU(编译树块)不是片的开始部分，并且因此，不包括片报头的信息。因此，在图6中图示的示例中，处理核心在使用片报头的信息执行解码处理中具有困难。
在图6中图示的示例中，当贴片是独立的并且LCU(1，9)和LCU(1，10)被解码时，会出现另一个问题。例如，当使用独立贴片时，不允许在贴片边界处内预测，并且因此，LCU(1，9)和LCU(1，10)无法引用LCU(1，5)和LCU(1，6)。
然而，由于LCU(1，9)、LCU(1，10)、LCU(1，5)和LCU(1，6)被包括在相同片中，并且在内预测中，在图6中图示的示例的片中没有可应用于参考像素的约束，因此在解码过程中会出现混淆。
因此，为了减小在并行处理中会出现的混淆和复杂度，可以施加以下的约束。
在图片中，贴片无法横越片边界，并且片无法横越贴片边界。换句话说，当片包括贴片时，整数的贴片必须存在于片之中，以及当贴片包括片时，整数的片必须存在于贴片之中。
具体地，
(1)图片可以被分割为一个或多个片和/或一个或多个贴片。
(2)当贴片包括片时，整数的完整片必须存在于贴片之中。
(3)当片包括贴片时，整数的完整的贴片必须存在于片之中。
在这里，完整贴片是一个贴片，并且指的是没有分割为部分的贴片的整个区域。完整片是一个片，并且指的是没有分割为部分的片的整个区域。
在片和贴片之间的关系可以基于CTB(或者LCU)来考虑。例如，以下条件中的至少一个必须对于片和贴片满足。
(1)在片中的所有编译块属于相同的贴片。
(2)在贴片中的所有编译块属于相同片。
包括多个贴片的片和包括多个片的贴片这两者可以存在于相同的图片中。
贴片ID(贴片标识)可以以栅格扫描顺序指定，并且在贴片中的LCU(或者CTB)可以以块顺序和以栅格扫描顺序排序。
图7是示意地图示LCU的栅格扫描顺序的示例的示意图。
在图7中图示的示例中，图片710包括一个片和一个贴片。因此，在图7中图示的示例中，片和贴片具有与图片710相同的大小。
参考图7，在图片(在片或者在贴片中)中LCU被以栅格扫描顺序排序。
图8是示意地图示LCU的栅格扫描顺序的示例的示意图。
在图8中图示的示例中，图片810包括一个片和12个贴片，并且每个贴片包括四个LCU。
因此，在图8中图示的示例中，片具有与图片810相同的大小，并且片包括12个贴片。
参考图8，在图片810(在片中)中贴片被以栅格扫描顺序排序，并且在每个贴片中LCU被以栅格扫描顺序排序，并且在与贴片一起的贴片单元中被以栅格扫描顺序排序。
另一方面，当在贴片和片之间的关系是灵活时，在解码过程中可能出现问题。
图9是示意地图示在解码过程中取决于在片和贴片之间的关系可能出现问题的示例的示意图。
在图9中图示的示例中，图片910包括两个片，每个片包括6个贴片，并且每个贴片包括四个LCU。
参考图9，分配给每个LCU的数字是用于指定LCU的LCU索引，并且LCU索引被以贴片扫描顺序指定。分配给每个贴片的数字是用于指定贴片的贴片ID(tile_id)，并且贴片ID被以贴片扫描顺序指定。
在有关具有索引n的LCU的处理完成之后下一次要处理的LCU是具有索引n+1的LCU。因此，在LCU#7(也就是说，在第一片中具有贴片ID(tile_id)1的贴片的最后LCU)被处理(编码/解码)之后，在图9中图示的示例中下一次要处理的LCU是LCU#8。然而，LCU#8是属于与包括LCU#7的片不同的片的LCU，并且尚未处理的LCU保留在包括LCU#7的片中。
在这种情况下，由于以片为单位执行解码，所以要从实际的比特流中读取和处理的LCU是LCU#16，其是在与LCU#7相同的片中的下一个LCU，但是就LCU索引而言，视频解码器可以确定LCU#8应当被确定其是在LCU#7之后的LCU。
由于解码器可能在错误的位置上布置LCU的重建像素，这种不匹配会造成严重的问题。
可以考虑施加预先确定的约束或者用信号通知贴片ID的方法来解决这个问题。在这点上，本发明的实施例将具体地如下所述。
I.约束应用1
为了解决在图9中图示的问题，在设置/指定贴片和片时，编码器和解码器可以如下对贴片和片的结构施加预先确定的约束，
具体地，(1)当图片包括多个片和多个贴片时，属于相同片的贴片被以栅格扫描顺序连续地排序。(2)当图片包括多个片和多个贴片时，属于相同片的贴片的贴片ID不中断，而是必须是连续的。
换句话说，存在于片之中的贴片必须是以栅格扫描顺序连续的，并且贴片ID(tile_id)不必是断续的。
图10是示意地图示按照本发明的片和贴片结构的示例的示意图。
在图10中图示的示例中，图片1010包括了两个片，并且每个片包括八个贴片。
在图10中图示的示例中，第一片包括贴片0至7，并且第二片包括贴片8至15。在图10中图示的示例中，每个贴片包括四个LCU。
如图示的，属于相同片的贴片取决于本发明的约束而以栅格扫描顺序连续地排序，并且在相同片中的贴片的贴片ID不是断续的。
因此，考虑到完成LCU#7的解码的情形，解码器可以解码跟随LCU#7之后的LCU#8，其是在相同片中在不同贴片(tile_id＝2)中的第一LCU。
II.约束应用2
除了对贴片和片施加以上提及的约束之外，编码器和解码器可以通过如下设置/指定贴片和片来解决在图9中图示的问题。
(A)贴片同时地存在于行和列之中，并且包括以贴片(在该贴片中)的编译树块栅格扫描连续地排序的整数的CTB。例如，在图片中，作为具有与预先确定数目的LCU相对应的宽度的列和具有与预先确定数目的LCU相对应的高度的行的共同区域的矩形区域可以被设置为贴片。
分割为贴片的每个图片的分割可以称为分割。在图片中贴片被以图片的贴片栅格扫描连续地排序。
(B)贴片扫描是图片分割成的CTB的顺序排序。贴片扫描排序在贴片中以编译树块栅格扫描横越CTB(或者LCU)，以及在图片中以栅格扫描顺序横越贴片。
甚至当片包括以贴片(在贴片中)的编译树块栅格扫描顺序地排序的CTB时，CTB也不需要以图片(在图片中)的编译树块栅格扫描连续地排序。
(C)片包括以贴片扫描连续地排序的整数的CTB。分割为片的每个图片的分割被称为分割。编译树块地址可以从在片(如在片报头中表示的)中的第一编译树块地址推导出。
因此，由于CTB在片中以贴片扫描排序，所以在片中的贴片被以栅格扫描排序，并且在每个贴片中的CTB也以栅格扫描排序。
在这里，贴片栅格扫描指的是贴片的栅格扫描，并且编译树块栅格扫描指的是编译树块的栅格扫描。
按照如上所述的(A)、(B)和(C)，在片中的CTB不以栅格扫描顺序排序，而是以贴片扫描顺序排序。因此，如在图9中图示的示例的配置可能不会出现。
图11至15是图示取决于如上所述的约束I和II的可允许的贴片和片配置和不可允许的贴片和片配置的示意图。
图11图示图片1110包括三个片并且每个贴片包括四个CTB的示例。在图11中图示的示例中，第一片包括贴片0至3，第二片包括贴片4至7，并且第三片包括贴片8至11。
由于满足约束I和II这两者，所以在图11中中图示的示例基于约束I和II是可允许的。
图12图示图片1210包括四个片并且每个贴片包括四个CTB的示例。在图12中图示的示例中，第一片包括贴片0和1，第二片包括贴片2至5，第三片包括贴片6至9，以及第四片包括贴片10和11。
由于满足约束I和II这两者，所以在图12中图示的示例基于约束I和II是可允许的。
图13图示图片1310包括两个片并且每个贴片包括四个CTB的示例。在图13中图示的示例中，第一片包括贴片0、1、4、5、8和9，以及第二片包括贴片2、3、6、7、10和11。
由于不满足约束I和II这两者，所以在图13中图示的示例基于约束I和II是不可允许的。具体地，在每个片中的贴片ID不是连续的，并且在每个片中的CTB不以贴片扫描排序。
图14图示图片1410包括两个片，每个片包括一个贴片，以及每个贴片包括24个CTB的示例。
由于满足约束I和II这两者，所以在图11中图示的示例基于约束I和II是可允许的。
图15图示图片1510包括四个片并且每个贴片包括四个CTB的示例。在图15中图示的示例中，第一片包括贴片0、4和8，第二片包括贴片2和3，第三片包括贴片5、6和7，以及第四片包括贴片9、10和11。
由于不满足约束I和II这两者，所以在图15中图示的示例基于约束I和II是不可允许的。具体地，在每个片中的贴片ID不是连续的，并且在每个片中的CTB不以贴片扫描排序。
III.贴片ID(tile_id)的传输
为了解决在图9中图示的问题，用于每个LCU的贴片ID(tile_id)可以被指示。
例如，结合在每个片报头中的贴片的入口点，贴片ID信息指示入口点偏移与什么贴片相关。因此，用信号通知在片报头中什么贴片对应于入口点。
入口点偏移的数目可以等于在片中的贴片的数目。可替选地，考虑到与第一入口点相对应的入口点偏移可以是0的点，入口点偏移的数目可以被设置为等于在片中的贴片的数目-1。
在这里，入口点可以指的是在每个贴片或者WPP(波前并行处理)中在其处开始解码的点，并且入口点偏移可以指定在两个入口点之间的比特数目。例如，入口点偏移i指示在入口点i的比特数目和入口点i-1的比特数目之间的差。
表1示意地示出按照本发明校正的片报头信息的示例。
<表1>
Figure GDA0003495015060000231
在表1中，offset_tile_id[i]指定与第i个入口点偏移(entry_point offest[i])有关的入口点偏移。
offset_tile_id[i]的值从0到(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)–1的范围。offset_tile_id[i]可以由ceil(log2(((num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)))的比特值表示。
在这里，num_tile_columns_minus1可以以CTB(也就是说，LCU)为单位指定第i个贴片列的宽度。也就是说，用于offset_tile_id[i]的num_tile_columns_minus1+1指示通过其第i个贴片列的宽度以CTB为单位表示的值。
此外，num_tile_rows_minus1可以以CTB(也就是说，LCU)为单位指定第i个贴片行的高度。也就是说，用于offset_tile_id[i]的num_tile_rows_minus1+1指示通过其第i个贴片行的高度以CTB为单位表示的值。
图16是示意地图示当使用表1时贴片和片配置的示例的示意图。
在图16中图示的示例中，图片1610包括两个片，第一片包括贴片0、1、4、5、8和9，并且第二片包括贴片2、3、6、7、10和11。
在图16中图示的示例中，每个贴片包括四个CTB。
表2和3示意地示出在表1中示出的信令应用于图16的示例。
表2示出在图16中的第一片的信令的示例。
<表2>
Figure GDA0003495015060000241
在图16图示的第一片中，入口点偏移的数目是六，并且每个入口点偏移可以指定在每个贴片中的第一LCU(CTB)的第一比特。在表2示出的示例中，第一片的入口点偏移的数目被设置为六，但是入口点偏移可以不对于每个入口点用信号通知。例如，由于第一入口点是在片中的第一LCU的第一比特并且其偏移值是0，所以第一入口点的入口点偏移可以不用信号通知，但是入口点偏移的数目可以被设置为5并且仅仅相对于用于第二入口点的偏移的五个偏移可以被用信号通知。表3示意地示出在图16中的第二片的信令的示例。
<表3>
Figure GDA0003495015060000251
在图16图示的第二片中，入口点偏移的数目是六，并且每个入口点偏移可以指定在每个贴片中的第一LCU(CTB)的第一比特。在表3中示出的示例中，第二片的入口点偏移的数目被设置为六，但是入口点偏移可以不对于每个入口点用信号通知。例如，由于第一入口点是在片中的第一LCU的第一比特并且其偏移值是0，所以第一入口点的入口点偏移可以不用信号通知，但是入口点偏移的数目可以被设置为5并且仅仅相对于用于第二入口点的偏移的五个偏移可以被用信号通知。
如表1至3所示，通过用信号通知入口点，解码器可以精确地指定解码顺序和解码目标。
迄今，I、II和III被描述为单独的实施例，但是本发明的实施例不局限于I、II和III。例如，I、II和III可以不仅仅单独地实施，而且可以一起实施。
具体地，I的(1)和(2)可以基于II的(A)、(B)和/或(C)同时地执行。III可以基于II的(A)、(B)和/或(C)应用以用信号通知有关入口点的信息。I的(1)和(2)可以基于III执行以用信号通知有关入口点的信息。此外，I的(1)和(2)和II的(A)、(B)和/或(C)可以基于III应用以用信号通知有关入口点的信息。
图17是按照本发明示意地图示视频编码方法的流程图。
参考图17，视频编码器可以分割输入图片(S1710)。视频编码器可以分割输入图片以指定贴片和片。图片可以包括一个或多个贴片和一个或多个片。片和贴片包括CTB(LCU)。在这里，在片中的LCU(CTB)可以以贴片扫描排序。贴片扫描的细节与如上所述的相同。
例如，当片包括多个贴片时，多个贴片可以在片中以栅格扫描顺序排序。每个贴片可以包括多个LCU，并且LCU可以在每个贴片中以栅格扫描顺序排序。
用于并行处理的约束可以应用于贴片和片。例如，在输入图片中的贴片必须不横越片边界，并且片必须不横越贴片边界。
当贴片包括片时，贴片可以包括自然数的完整片，以及当片包括贴片时，片可以包括自然数的完整贴片。
视频编码器可以基于贴片和片来执行编码处理(S1720)。由于图片可以被分割为一个或多个贴片和一个或多个片并且用于并行处理的约束被施加于贴片和片，所以视频编码器可以通过使用处理核心并行编码贴片和/或片。
在编码步骤中，LCU按照四叉树结构分割成的CU可以设置为编译的单位。
视频编码器可以发送编码的视频信息(S1730)。
在当前图片包括多个贴片时，视频编码器可以使视频信息在第二或者后续的贴片之中的每个贴片中包括指示第一LCU的第一比特的信息。此时，该信息可以是指示在当前贴片中的第一LCU的第一比特和在先前贴片中的第一LCU的第一比特之间的偏移的信息。
视频信息可以包括有关基于用于并行处理的约束指定的片和贴片的信息。
为了解释便利的目的，如上参考图17所述，视频编码器执行该步骤，但是本发明不局限于这种配置。例如，步骤S1710可以由图1的图片分割模块105执行，步骤S1720可以由在图1中除了图片分割模块105以外的功能块来执行，并且步骤S1730可以由特定传输模块或者熵编码模块130来执行。在这里，传输模块可以不必分开地提供，而是可以包括在熵编码模块130中。
图18是按照本发明示意地图示视频解码方法的流程图。
参考图18，视频解码器可以接收视频信息(S1810)。视频解码器可以接收从视频编码器发送的视频信息，并且该视频信息可以包括用于在当前图片中指定贴片和片的信息。
在当前图片包括多个贴片时，视频编码器可以使视频信息在第二或者后续的贴片之中的每个贴片中包括指示第一LCU的第一比特的信息。此时，该信息可以是指示在当前贴片中的第一LCU的第一比特和在先前贴片中的第一LCU的第一比特之间的偏移的信息。
视频解码器可以基于接收的视频信息来指定当前图片的分割(S1820)。视频解码器基于包括在视频信息中的用于指定贴片和片的信息来指定在当前图片中的片和贴片。此时，当前图片可以被分割为一个或多个贴片以及一个或多个片，并且每个片和每个贴片可以包括CTB(LCU)。
在片中的LCU(CTB)可以以贴片扫描排序。贴片扫描的细节与如上所述的相同。
例如，当片包括多个贴片时，多个贴片可以在片中以栅格扫描顺序排序。每个贴片可以包括多个LCU，并且LCU可以在每个贴片中以栅格扫描顺序排序。
用于并行处理的约束可以应用于贴片和片。例如，在输入图片中的贴片必须不横越片边界，并且片必须不横越贴片边界。当贴片包括片时，贴片可以包括自然数的完整片，以及当片包括贴片时，片可以包括自然数的完整贴片。
视频解码器可以基于指定的贴片和片来执行解码处理(S1830)。
在解码步骤中，LCU基于四叉树结构分割成的CU可以设置为解码的单位。
由于图片可以被分割为一个或多个贴片和一个或多个片，并且用于并行处理的约束被施加于贴片和片，所以视频解码器可以通过使用处理核心并行编码贴片和/或片。
在这里，如上所述，视频解码器执行图18的步骤，但是这是为了解释便利的目的并且本发明不局限于这种配置。例如，步骤S1810可以由具体的接收模块或者熵解码模块来执行。接收模块可以不被分开地提供，而是可以包括在熵解码模块中。步骤S1820和步骤S1830可以由图2的功能块来执行。例如，当执行除了接收功能以外的功能的模块被称为解码模块时，步骤S1820和S1830可以由解码模块执行。当熵解码模块包括接收模块时，步骤S1810可以由在解码模块中的接收模块来执行。
虽然在以上提及的示范性系统中的方法已经基于包括一系列的步骤或者模块的流程图描述，但是本发明不局限于该步骤顺序，并且特定步骤可以以除了如上所述或者同时如上所述以外的步骤或者顺序来执行。以上提及的实施例可以包括各种的示例。因此，本发明包括属于所附权利要求的所有的替换、修正和改进。

Claims (9)

1.一种视频解码方法，包括：
接收包括有关贴片的信息和有关片的信息的视频信息，其中，所述贴片是最大编译单元(LCU)的列和LCU的行的公共矩形区域，并且所述片包括整数个LCU；
基于接收的视频信息导出当前图片中的所述贴片和所述片，其中，所述当前图片包括一个或多个贴片和一个或多个片；以及
基于所述一个或多个贴片和所述一个或多个片解码所述当前图片，
其中，解码所述当前图片包括：
执行帧间预测或帧内预测，以基于所述视频信息中的预测模式信息导出所述当前图片中的当前块的预测块；以及
基于所述预测块生成所述当前图片的重建图片，
其中，所述片中的LCU以贴片扫描顺序连续排序，
其中，在所述贴片扫描顺序中，当所述贴片包括多个LCU时，所述贴片中的LCU按照光栅扫描顺序排序，并且当所述片包括多个贴片时，所述片中的贴片以光栅扫描顺序排序，并且
其中，指定在所述片中排序的所述贴片的贴片ID是连续的。
2.根据权利要求1所述的方法，其中，所述当前块是从所述LCU分割的编译单元(CU)。
3.根据权利要求1所述的方法，其中，所述视频信息包括入口点信息，并且
其中，当所述当前图片包括多个贴片时，所述入口点信息指示第二贴片和后续的贴片的每个贴片中的第一LCU的第一比特。
4.根据权利要求3所述的方法，其中，所述入口点信息指示当前贴片中的第一LCU的第一比特与先前贴片中的第一LCU的第一比特之间的偏移。
5.根据权利要求1所述的方法，其中，基于上下文自适应二进制算术编译对接收的视频信息进行熵解码。
6.一种用于解码视频的解码设备，所述设备包括：
熵解码模块，所述熵解码模块用于从比特流获取包括有关贴片的信息和有关片的信息的视频信息，其中，所述贴片是最大编译单元(LCU)的列和LCU的行的公共矩形区域，并且所述片包括整数个LCU；
解码模块，所述解码模块用于基于接收的视频信息导出当前图片中的所述贴片和所述片，其中，所述当前图片包括一个或多个贴片和一个或多个片，并且所述解码模块用于基于所述一个或多个贴片和所述一个或多个片对所述当前图片进行解码，
其中，为了对所述当前图片进行解码，所述解码模块执行帧间预测或帧内预测，以基于所述视频信息中的预测模式信息导出所述当前图片中的当前块的预测块，以及基于预测的块生成所述当前图片的重构图片，
其中，所述片中的LCU以贴片扫描顺序连续排序，
其中，在所述贴片扫描顺序中，当所述贴片包括多个LCU时，所述贴片中的LCU按照光栅扫描顺序排序，并且当所述片包括多个贴片时，所述片中的贴片以光栅扫描顺序排序，并且
其中，指定在所述片中排序的所述贴片的贴片ID是连续的。
7.一种视频编码方法，包括：
将当前图片划分为一个或多个贴片和一个或多个片，其中贴片是最大编译单元(LCU)的列和LCU的行的公共矩形区域，并且片包括整数个LCU；以及
基于所述一个或多个贴片和所述一个或多个片对所述当前图片进行编码，以输出包括视频信息的比特流，其中，所述视频信息包括有关所述贴片的信息和有关所述片的信息，
其中，对所述当前图片编码包括：
执行帧间预测或帧内预测以导出所述当前图片中的当前块的预测块；以及
生成用于所述帧间预测或所述帧内预测的预测模式信息，其中，所述预测模式信息包括在所述视频信息中，
其中，所述片中的LCU以贴片扫描顺序连续排序，
其中，在所述贴片扫描顺序中，当所述贴片包括多个LCU时，所述贴片中的LCU按照光栅扫描顺序排序，并且当所述片包括多个贴片时，所述片中的贴片以光栅扫描顺序排序，并且
其中，指定在所述片中排序的所述贴片的贴片ID是连续的。
8.一种用于编码视频的编码装置，所述装置包括：
图片划分模块，所述图片划分模块用于将当前图片划分为一个或多个贴片和一个或多个片，其中，贴片是最大编译单元(LCU)的列和LCU的行的公共矩形区域，并且片包括整数个LCU；和
编码模块，所述编码模块用于基于所述一个或多个贴片和所述一个或多个片对所述当前图片进行编码，以输出包括视频信息的比特流，其中，所述视频信息包括有关所述贴片的信息和有关所述片的信息，
其中，为了对所述当前图片进行编码，所述编码模块执行帧间预测或帧内预测，以导出所述当前图片中的当前块的预测块，并且生成用于所述帧间预测或所述帧内预测的预测模式信息，其中，所述预测模式信息包括在所述视频信息中，
其中，所述片中的LCU以贴片扫描顺序连续排序，
其中，在贴片扫描顺序中，当所述贴片包括多个LCU时，所述贴片中的LCU按照光栅扫描顺序排序，并且当所述片包括多个贴片时，所述片中的贴片以光栅扫描顺序排序，并且
其中，指定在所述片中排序的所述贴片的贴片ID是连续的。
9.一种编码的视频信息的传输方法，所述传输方法包括：
获取所述编码的视频信息，其中，所述编码的视频信息通过执行将当前图片划分为一个或多个贴片和一个或多个片来生成，其中，贴片是最大编译单元(LCU)的列和LCU的行的公共矩形区域，并且片包括整数个LCU；以及基于所述一个或多个贴片和所述一个或多个片编码所述当前图片，以输出所述编码的视频信息，其中，所述编码的视频信息包括有关所述贴片的信息和有关所述片的信息；以及
发送所述编码的视频信息，
其中，编码所述当前图片包括：
执行帧间预测或帧内预测，以导出所述当前图片中的当前块的预测块；并且
生成用于所述帧间预测或所述帧内预测的预测模式信息，其中，所述预测模式信息包括在所述视频信息中，
其中，所述片中的LCU以贴片扫描顺序连续排序，
其中，在贴片扫描顺序中，当所述贴片包括多个LCU时，所述贴片中的LCU按照光栅扫描顺序排序，并且当所述片包括多个贴片时，所述片中的贴片以光栅扫描顺序排序，并且
其中，指定在所述片中排序的所述贴片的贴片ID是连续的。
CN201810876802.7A 2012-06-26 2013-06-26 视频编码方法、视频解码方法和使用其的装置 Active CN108769692B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261664701P 2012-06-26 2012-06-26
US61/664,701 2012-06-26
US201261672750P 2012-07-17 2012-07-17
US61/672,750 2012-07-17
CN201380039570.5A CN104509112B (zh) 2012-06-26 2013-06-26 视频解码方法和使用其的装置
PCT/KR2013/005636 WO2014003428A1 (ko) 2012-06-26 2013-06-26 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380039570.5A Division CN104509112B (zh) 2012-06-26 2013-06-26 视频解码方法和使用其的装置

Publications (2)

Publication Number Publication Date
CN108769692A CN108769692A (zh) 2018-11-06
CN108769692B true CN108769692B (zh) 2022-05-24

Family

ID=49783489

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380039570.5A Active CN104509112B (zh) 2012-06-26 2013-06-26 视频解码方法和使用其的装置
CN201810877301.0A Active CN108718410B (zh) 2012-06-26 2013-06-26 视频编码方法、视频解码方法和使用其的装置
CN201810876802.7A Active CN108769692B (zh) 2012-06-26 2013-06-26 视频编码方法、视频解码方法和使用其的装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201380039570.5A Active CN104509112B (zh) 2012-06-26 2013-06-26 视频解码方法和使用其的装置
CN201810877301.0A Active CN108718410B (zh) 2012-06-26 2013-06-26 视频编码方法、视频解码方法和使用其的装置

Country Status (12)

Country Link
US (7) US9736482B2 (zh)
EP (5) EP3780606B1 (zh)
KR (5) KR102249484B1 (zh)
CN (3) CN104509112B (zh)
DK (1) DK2866439T3 (zh)
ES (3) ES2961943T3 (zh)
FI (1) FI4002842T3 (zh)
HR (2) HRP20231318T1 (zh)
HU (2) HUE058244T2 (zh)
PL (4) PL2866439T3 (zh)
SI (2) SI3780606T1 (zh)
WO (1) WO2014003428A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2811742A4 (en) * 2012-02-04 2015-09-02 Lg Electronics Inc VIDEO CODING METHOD, VIDEO DECODING METHOD AND DEVICE THEREFOR
KR102249484B1 (ko) * 2012-06-26 2021-05-12 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
PL4033764T3 (pl) * 2012-09-26 2023-12-27 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
WO2014087860A1 (ja) * 2012-12-06 2014-06-12 ソニー株式会社 復号装置、復号方法、およびプログラム
RU2608465C1 (ru) * 2013-01-04 2017-01-18 Самсунг Электроникс Ко., Лтд. Способ энтропийного кодирования сегмента слайса и устройство для него и способ энтропийного декодирования сегмента слайса и устройство для него
CN106716999B (zh) * 2014-06-20 2019-08-09 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
CN113810688B (zh) 2015-05-12 2023-07-18 三星电子株式会社 视频编码方法、视频解码方法以及计算机可读介质
CN106358042B (zh) * 2015-07-17 2020-10-09 恩智浦美国有限公司 使用视频图像的帧间预测的并行解码器
CN113115036A (zh) * 2015-11-24 2021-07-13 三星电子株式会社 视频解码方法和设备及其编码方法和设备
EP3412032A1 (en) 2016-02-02 2018-12-12 Fraunhofer Gesellschaft zur Förderung der Angewand Scene section and region of interest handling in video streaming
KR101895294B1 (ko) * 2017-03-03 2018-09-05 주식회사 칩스앤미디어 프리 스캔을 이용한 블록 기반 동영상 복호화 방법 및 그 장치
KR20190024212A (ko) * 2017-08-31 2019-03-08 세종대학교산학협력단 타일 구조의 구성 방법 및 이의 장치
WO2019225934A1 (ko) * 2018-05-21 2019-11-28 엘지전자 주식회사 영상 코딩 시스템에서 타일 내 ctu 어드레스 관련 영상 디코딩 방법 및 그 장치
WO2019243534A1 (en) 2018-06-21 2019-12-26 Telefonaktiebolaget Lm Ericsson (Publ) Tile shuffling for 360 degree video decoding
MX2020013864A (es) 2018-06-21 2021-03-25 Ericsson Telefon Ab L M Particiones de mosaicos con sub-mosaicos en codificacion de video.
CN112585970B (zh) * 2018-06-21 2024-07-09 瑞典爱立信有限公司 灵活图块分区
CN112703736B (zh) 2018-09-14 2022-11-25 华为技术有限公司 视频译码方法，视频译码设备以及非瞬时性计算机可读介质
CN112823525A (zh) 2018-10-02 2021-05-18 瑞典爱立信有限公司 基于图块组id对图片进行编码和解码
MX2021007926A (es) * 2018-12-28 2021-10-22 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.
EP4373084A2 (en) 2018-12-31 2024-05-22 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for tile configuration signaling
WO2020209479A1 (ko) * 2019-04-08 2020-10-15 엘지전자 주식회사 시그널링 된 정보에 기반한 픽처 파티셔닝 방법 및 장치
WO2020213963A1 (ko) 2019-04-17 2020-10-22 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
BR112022009810A2 (pt) * 2019-11-20 2022-08-09 Xris Corp Método para codificação/decodificação de sinal de imagem, e dispositivo para o mesmo
KR20220087514A (ko) * 2019-11-28 2022-06-24 엘지전자 주식회사 영상/비디오 코딩 방법 및 장치
US11412258B2 (en) 2020-02-12 2022-08-09 Tencent America LLC Line graph transforms (LGTs) using 8-bit and 10-bit cores
US11405647B2 (en) * 2020-02-18 2022-08-02 Tencent America LLC Primary transforms using 8-bit and 10-bit cores
CN115552896A (zh) 2020-03-09 2022-12-30 Lg电子株式会社 对矩形切片的大小信息选择性编码的图像编码/解码方法和设备及发送比特流的方法
WO2021185311A1 (en) * 2020-03-20 2021-09-23 Mediatek Inc. Method and apparatus for signaling tile and slice partition information in image and video coding
US11575937B2 (en) * 2020-07-24 2023-02-07 Tencent America LLC Methods for efficient application of LGT

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2285111A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
CN102511161A (zh) * 2009-09-24 2012-06-20 索尼公司 图像处理设备和图像处理方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4083302B2 (ja) * 1998-08-12 2008-04-30 株式会社東芝 動画像スクランブル／デスクランブル装置
JP2004140473A (ja) 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
US7092576B2 (en) 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US8125480B2 (en) * 2005-04-12 2012-02-28 Siemens Medical Solutions Usa, Inc. Flat texture volume rendering
TW200806315A (en) 2006-04-26 2008-02-01 Wyeth Corp Novel formulations which stabilize and inhibit precipitation of immunogenic compositions
CN101897190B (zh) * 2007-11-28 2012-06-20 松下电器产业株式会社 图像编码方法和图像编码装置
CN101742300B (zh) * 2008-11-21 2012-05-09 中国科学院空间科学与应用研究中心 一种低比特率星载图像压缩处理系统及方法
US8276128B2 (en) * 2009-07-14 2012-09-25 Unisys Corporation Systems, methods, and computer programs for dynamic binary translation in a master control program interpreter
US8527969B2 (en) * 2009-07-14 2013-09-03 Unisys Corporation Systems, methods, and computer programs for dynamic binary translation in an interpreter
EP2285112A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN102918840B (zh) 2009-10-01 2016-05-25 Sk电信有限公司 使用分割层进行图像编码/解码的方法和装置
JP5515758B2 (ja) * 2010-01-18 2014-06-11 ソニー株式会社 画像処理装置および方法
KR101495724B1 (ko) * 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8588536B2 (en) * 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
CA2799763A1 (en) * 2010-07-13 2012-01-19 Research In Motion Limited Methods and devices for data compression using context-based coding order
EP2599227B1 (en) * 2010-07-28 2020-04-01 BlackBerry Limited Method and device for compression of binary sequences by grouping multiple symbols
US20120082238A1 (en) * 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary variability in flexible partitioning
KR20130070646A (ko) * 2010-10-01 2013-06-27 제너럴 인스트루먼트 코포레이션 유연한 분할에서 영상 경계 패딩을 활용하는 코딩 및 디코딩
US20120106622A1 (en) * 2010-11-03 2012-05-03 Mediatek Inc. Method and Apparatus of Slice Grouping for High Efficiency Video Coding
GB2486733A (en) * 2010-12-24 2012-06-27 Canon Kk Video encoding using multiple inverse quantizations of the same reference image with different quantization offsets
US9060174B2 (en) * 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
EP2678944B1 (en) * 2011-02-25 2019-11-06 BlackBerry Limited Methods and devices for data compression using offset-based adaptive reconstruction levels
US20120230399A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including a bitstream signal
US9532058B2 (en) * 2011-06-03 2016-12-27 Qualcomm Incorporated Intra prediction mode coding with directional partitions
US8995523B2 (en) * 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
US20120314767A1 (en) * 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering
US20130003859A1 (en) * 2011-06-30 2013-01-03 Qualcomm Incorporated Transition between run and level coding modes
US9338465B2 (en) * 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
US9398307B2 (en) * 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
US9838692B2 (en) * 2011-10-18 2017-12-05 Qualcomm Incorporated Detecting availabilities of neighboring video units for video coding
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
CN102447907A (zh) * 2012-01-31 2012-05-09 北京工业大学 一种针对hevc的视频序列的编码方法
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
EP2811742A4 (en) * 2012-02-04 2015-09-02 Lg Electronics Inc VIDEO CODING METHOD, VIDEO DECODING METHOD AND DEVICE THEREFOR
US9578326B2 (en) * 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
US20130272428A1 (en) * 2012-04-16 2013-10-17 Sharp Laboratories Of America, Inc. Video decoder for copy slices
US8774540B2 (en) * 2012-04-20 2014-07-08 Broadcom Corporation Tile support in decoders
KR102249484B1 (ko) * 2012-06-26 2021-05-12 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2285111A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
CN102511161A (zh) * 2009-09-24 2012-06-20 索尼公司 图像处理设备和图像处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A new scan slice encoding scheme with flexible code for test data compression;Keun-Soo Lee等;《2010 International SoC Design Conference》;20110110;全文 *
High efficiency video coding (HEVC) text specification draft 7;Benjamin Bross等;《Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Geneva》;20120510;全文 *
基于H.264实时编码的多核并行算法;冯飞龙等;《计算机工程》;20101231;全文 *

Also Published As

Publication number Publication date
KR20150034675A (ko) 2015-04-03
ES2912082T3 (es) 2022-05-24
US10085026B2 (en) 2018-09-25
US20220132129A1 (en) 2022-04-28
SI4002842T1 (sl) 2023-12-29
FI4002842T3 (fi) 2023-11-02
EP4236315C0 (en) 2024-06-12
KR102545727B1 (ko) 2023-06-20
EP4236315A2 (en) 2023-08-30
US10863178B2 (en) 2020-12-08
CN108769692A (zh) 2018-11-06
EP2866439A1 (en) 2015-04-29
US12075055B2 (en) 2024-08-27
SI3780606T1 (sl) 2022-06-30
CN104509112B (zh) 2018-08-31
PL4002842T3 (pl) 2024-02-05
PL3780606T3 (pl) 2022-06-20
US20180367796A1 (en) 2018-12-20
US11729392B2 (en) 2023-08-15
US10491901B2 (en) 2019-11-26
CN104509112A (zh) 2015-04-08
HUE058244T2 (hu) 2022-07-28
KR20210054038A (ko) 2021-05-12
EP4443877A1 (en) 2024-10-09
EP2866439B1 (en) 2020-11-04
EP3780606A1 (en) 2021-02-17
HRP20231318T1 (hr) 2024-02-16
DK2866439T3 (da) 2020-12-14
KR102351132B1 (ko) 2022-01-13
CN108718410B (zh) 2022-05-24
HUE063692T2 (hu) 2024-01-28
WO2014003428A1 (ko) 2014-01-03
KR20220092634A (ko) 2022-07-01
US20170318296A1 (en) 2017-11-02
EP2866439A4 (en) 2016-09-21
CN108718410A (zh) 2018-10-30
HRP20240900T1 (hr) 2024-10-11
EP4002842A1 (en) 2022-05-25
US20230353741A1 (en) 2023-11-02
US11245907B2 (en) 2022-02-08
EP4002842B1 (en) 2023-08-02
ES2961943T3 (es) 2024-03-14
EP4236315B1 (en) 2024-06-12
PL2866439T3 (pl) 2021-05-31
US9736482B2 (en) 2017-08-15
US20150341642A1 (en) 2015-11-26
KR102249484B1 (ko) 2021-05-12
EP4236315A3 (en) 2023-09-06
KR20220011209A (ko) 2022-01-27
US20210144382A1 (en) 2021-05-13
EP3780606B1 (en) 2022-02-16
ES2841995T3 (es) 2021-07-12
KR102164572B1 (ko) 2020-10-12
KR20200118241A (ko) 2020-10-14
KR102412470B1 (ko) 2022-06-23
US20200045318A1 (en) 2020-02-06
PL4236315T3 (pl) 2024-08-19

Similar Documents

Publication Publication Date Title
US12075055B2 (en) Video encoding method, video decoding method, and apparatus using same
US11778212B2 (en) Video encoding method, video decoding method, and device using same
US11202090B2 (en) Method for encoding and decoding tiles and wavefront parallel processing and apparatus using same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant