CN104620585A - 图像解码方法和使用其的装置 - Google Patents

图像解码方法和使用其的装置 Download PDF

Info

Publication number
CN104620585A
CN104620585A CN201380046836.9A CN201380046836A CN104620585A CN 104620585 A CN104620585 A CN 104620585A CN 201380046836 A CN201380046836 A CN 201380046836A CN 104620585 A CN104620585 A CN 104620585A
Authority
CN
China
Prior art keywords
layer
dimension
information
video
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380046836.9A
Other languages
English (en)
Inventor
亨得利·亨得利
朴俊永
金哲瑾
全柄文
金廷宣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104620585A publication Critical patent/CN104620585A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

根据本发明用于解码包括多个层的比特流的图像解码方法可以包括:接收关于视频参数集信息的步骤,视频参数集包括关于用于识别多个层的可分级性的维度类型和关于用于识别维度类型适用于的层的维度ID长度的信息;和分析视频参数集以便识别有关包含在比特流中的可分级性信息的步骤。因此,提供了一种用于识别在比特流中的可分级性层的方法。

Description

图像解码方法和使用其的装置
技术领域
本发明涉及视频压缩技术,尤其是,涉及用于执行可分级的视频编译(SVC)的方法和装置。
背景技术
近年来,对高分辨率和高质量视频的需要已经在各种各样的应用领域中越来越增长。由于图片具有更高的分辨率和更高的质量,有关图片的信息量也增长。
随着数据量的增长,引入具有各种各样环境的多功能设备和网络。随着具有各种各样性能的装置和具有各种各样环境的网络的发展,相同的内容可以以不同的质量等级使用。
特别地,由于终端能够支持各种的图片质量,并且建立各种各样的网络环境,在一个环境下允许具有常规质量的图片,而在另一个环境下更高质量的图片是可用的。
例如,已经经由移动终端购买视频内容的用户可以在他的或者她的家庭中,在具有更高分辨率的大屏幕显示器上欣赏视频内容。
近年来,由于高分辨率(HD)广播服务是可用的,大量的用户习惯于高分辨率和高质量的视频,并且服务提供者和服务用户也关注具有比HDTV高四倍分辨率的超高分辨率(UHD)服务。
因此,存在基于有关大容量视频的高效率的编码和解码方法对提供视频质量可分级性,例如,图像质量、分辨率、视频的大小和帧速率,以便在不同的环境下对用户的需求提供变化的视频服务质量的需要。
发明内容
本发明的一个目的是提供一种用于描述在比特流中可分级性信息的方法和装置。
本发明的另一个目的是提供一种用于以灵活的方式表示有关各种类型的可分级性信息的方法和装置。
本发明的再一个目的是提供一种用于识别在比特流中的可分级性层的方法,和一种使用其的装置。
技术解决方案
根据本发明的一个方面,提供一种解码视频的方法,该方法解码包括多个层的比特流,该方法可以包括:接收视频参数集,该视频参数集包括有关用于识别层的可分级性的维度类型,和有关用于识别维度类型适用于的层的维度标识符(ID)的长度的信息;以及分析视频参数集以推导出包含在比特流中的可分级性信息。
该方法可以进一步包括接收维度类型的数目、用于识别维度类型适用于的层的维度ID,和层ID中的至少一个。
通过参考预置的表识别维度类型和用于识别维度类型适用于的层的维度ID。
用于第i层的维度ID的长度的总和等于第i层的层ID的位。
用于第i层的维度ID的长度的总和是6。
维度类型包括多视图可分级性、深度可分级性、空间可分级性和质量可分级性中的至少一个。
当维度类型的数目是2时,仅仅接收一条有关维度ID的长度的信息。
该方法可以进一步包括:接收指示层ID的位是否被分割以指示维度ID的标记信息,其中当标记信息是0时接收维度ID。
根据本发明的另一个方面,提供一种用于解码视频的装置,该装置解码包括多个层的比特流,该装置包括:信息识别模块,该信息识别模块分析视频参数集并推导可分级性信息,视频参数集包括有关用于识别层的可分级性的维度类型和有关用于识别维度类型适用于的层的维度标识符(ID)的长度的信息;以及上层解码模块,该上层解码模块使用可分级性信息重建上层的视频。
有益的效果
根据本发明的一个实施例,提供了一种用于描述在比特流中的可分级性信息的方法和装置。
根据本发明的一个实施例,提供了一种用于以灵活的方式表示有关各种类型的可分级性信息的方法和装置。
根据本发明的一个实施例,提供了一种用于识别在比特流中的可分级性层的方法,和一种使用其的装置。
附图说明
图1是示意地图示根据本发明的一个实施例的支持可分级性的视频编码装置的方框图。
图2是示意地图示根据本发明的一个实施例的支持可分级性的视频解码装置的方框图。
图3示意地图示根据本发明的一个实施例使用多个层的可分级视频编译方案。
图4图示多视图编译的框架的示例。
图5图示使用深度图的3D视频编译的框架的示例。
图6图示空间可分级性编译的框架的示例。
图7图示质量可分级性编译的框架的示例。
图8是图示根据本发明的一个实施例的视频编码装置的方框图。
图9是图示根据本发明的一个实施例的视频解码装置的方框图。
图10是图示根据本发明的一个实施例的编码视频信息的方法的流程图。
图11是图示根据本发明的一个实施例的解码视频信息的方法的流程图。
具体实施方式
本发明可以以各种各样的形式不同地修改,并且其特定的实施例将在该附图中描述和示出。但是,这些实施例不意欲限制本发明。在以下的描述中使用的术语仅仅用于描述特定的实施例,但是,不意欲限制本发明。单数的表示包括多数表示,只要其清楚不同地读取。该术语,诸如“包括”和“具有”意欲表示存在在以下的描述中使用的特点、数目、步骤、操作、单元、分量,或者其组合,并且因此,应该理解,不排除存在或者增加一个或多个不同的特点、数目、步骤、操作、单元、分量,或者其组合的可能性。
另一方面,在本发明描述的附图中的单元在图像编码/解码装置中为解释不同的特定功能的便利的目的独立地绘制,并且不意味该单元由单独的硬件或者单独的软件实施。例如,该单元的两个或更多个单元可以合并以形成单个单元,或者一个单元可以被分成多个单元。不脱离本发明的概念,该单元被合并和/或分解的实施例属于本发明的范围。
在下文中,本发明示范的实施例将参考伴随的附图详细描述。在该附图中类似的组成将由类似的参考数字引用,并且不会重复地描述。
在支持可分级性的视频编译方法(在下文中,称为“可分级编译”)中,输入信号可以通过层处理。取决于层,输入信号(输入视频)可以在分辨率、帧速率、位深度、颜色格式和长宽比的至少一个方面彼此不同。
在本说明书中,可分级编译包括可分级的编码和可分级的解码。
在可分级的编码/解码中,有可能通过使用层间差别,也就是说,基于可分级性,执行层间预测,来减少重复传输/信息的处理,并且提高压缩效率。
图1是示意地图示根据本发明的一个实施例的支持可分级性的视频编码装置的方框图。
参考图1,视频编码装置100包括用于层1的编码模块105和用于层0的编码模块135。
层0可以是基本层、参考层或者下层,并且层1可以是增强层、当前层或者上层。
用于层1的编码模块105包括预测模块110、变换/量化模块115、滤波模块120、解码图片缓存器(DPB)125、熵编码模块130和多路复用器(MUX)165。
用于层0的编码模块135包括预测模块140、变换/量化模块145、滤波模块150、DPB 155,和熵编码模块160。
预测模块110和140可以对输入视频执行中间预测和内部预测。预测模块110和140可以通过预先确定的处理单元执行预测。用于预测的处理单元可以是编码单元编译单元((CU))、预测单元((PU)),或者可以是变换单元((TU))。
例如,预测模块110和140可以确定是否由CU实施中间预测或者内部预测,可以由PU确定预测模式,并且可以由PU或者TU执行预测。要执行的预测包括预测块的结构和残留块(残留信号)的结构。
在中间预测中,预测可以基于有关当前图片的先前图片和/或后续图片的至少一个的信息执行以构造预测块。在内部预测中,预测可以基于在当前图片中的像素信息执行以构造预测块。
中间预测模式或者方法的示例包括跳过模式、合并模式、运动矢量预测器(MVP)模式。在中间预测中,用于要预测的当前PU的参考图片可以被选择,并且对应于当前PU的参考块可以从参考图片中选择。预测模块110和140可以基于参考块构造预测块。
预测块可以被构造为整数采样单元或者作为分数像素单元。在这里,运动矢量也可以以分数像素表示。
在中间预测中的运动信息,也就是说,诸如参考图片的索引、运动矢量和残留信号的信息,被熵编码,并且发送给视频解码装置。当适用跳过模式的时候,残留信号可以完全不被生成、变换、量化和发送。
在内部预测中,预测模式可以包括33个方向预测模式,和至少2个无方向模式。无方向模式可以包括DC预测模式和平面模式。在内部预测中,在滤波适用于参考采样之后,可以构造预测块。
PU可以是具有各种各样大小和形状的块。例如,在中间预测中,PU可以是2N×2N、2N×N、N×2N或者N×N块(这里N是整数)。在内部预测中,PU可以是2N×2N或者N×N块(这里N是整数)。具有N×N大小的PU可以被设置为仅仅适用于特定的情形。例如,具有N×N大小的PU可以被设置为仅仅用于最小的CU,或者仅仅用于内部预测。除了具有以上提及大小的PU之外,PU可以进一步定义为供使用的N×mN块、mN×N块、2N×mN块,或者mN×2N块(这里m<1)。
预测模块110可以使用有关层0的信息执行对于层1的预测。在本说明书中,为了方便起见,使用另一个层信息预测当前层信息的过程定义为层间预测。
使用另一个层信息预测的(也就是说,通过层间预测预测的)当前层信息可以包括纹理、运动信息、单元信息、预先确定的参数(例如,滤波器参数)等等。
用于预测当前层信息(也就是说,用于层间预测)的另一个层信息可以包括纹理、运动信息、单元信息、预先确定的参数(例如,滤波器参数)等等。
作为层间预测的一个示例,层间运动预测也称为层间中间预测。根据层间中间预测,用于层1(当前层或者增强层)的当前块的预测可以使用有关层0(参考层或者基本层)的运动信息实现。
当采用层间中间预测的时候,有关参考层的运动信息可以被分级。
作为层间预测的另一个示例,层间纹理预测也称为层间内部预测或者内部基本层(BL)预测。当在参考层中的参考块由内部预测重建的时候,可以采用层间纹理预测。
层间内部预测可以将在参考层中参考块的纹理作为用于在增强层中当前块的预测值使用。在这里,参考块的纹理可以通过上采样分级。
作为层间预测的再一个示例,层间单元参数预测可以推导有关基本层的单元信息(CU、PU和/或TU)用作有关增强层的单元信息,或者基于有关基本层的单元信息确定有关增强层的单元信息。
单元信息可以包括在每个单元级别中的信息。例如,CU信息可以包括有关分割(CU、PU和/或TU)的信息、有关变换的信息、有关预测的信息,和有关编译的信息。PU信息可以包括有关PU分割的信息和有关预测(例如,运动信息和有关预测模式的信息)的信息。TU信息可以包括有关TU分割的信息和有关变换(变换系数和变换方法)的信息。
单元信息可以仅仅包括有关处理单元(例如,CU、PU、TU等等)的分割信息。
作为层间预测的又一个示例,层间参数预测可以推导在基本层中使用的参数供增强层重复使用,或者可以基于在基本层中使用的参数预测用于增强层的参数。
虽然层间纹理预测、层间运动预测、层间单元信息预测和层间参数预测已经在上面作为层间预测图示,但是替换的层间预测也可以适用于本发明,而不受限于此。
例如,预测模块110可以使用有关另一个层的残留信息作为层间预测实施预测当前层的残留的层间残留预测,并且基于该残留执行用于在当前层中当前块的预测。
此外,预测模块110可以使用在通过上采样或者下采样当前层的重建图片获得的图片和另一个层的重建图片之间差分的图片,作为层间预测实施执行用于在当前层中当前块预测的层间差分的预测。
另外,作为层间预测,预测模块110可以采用用于使用有关另一个层的语法信息预测或者产生当前块纹理的层间语法预测。在这里,有关用于当前块预测的参考层的语法信息可以是有关内部预测模式、运动信息等等的信息。
在这里,层间语法预测可以通过参考来自在内部预测模式适用于的参考层中的块(内部)的内部预测模式,以及通过参考来自于中间预测模式适用于的块(MV)的运动信息来执行。
例如,虽然参考层是P片或者B片,但是在该片中的参考块可以是经受内部预测模式的块。在这种情况下,当适用层间语法预测的时候,产生/预测当前块纹理的层间预测可以使用有关参考层的语法信息的参考块的内部预测模式来执行。
在先前的各种层间预测方法之中的多个方法可以用于预测特定的块。例如,为了预测当前块,可以另外使用有关相应的层0或者相应的块的单元信息、滤波参数信息等等,同时使用有关层0的预测信息。层间预测方法的这种组合也可以适用于将在本说明书中下面提及的预测。
变换/量化模块115和145可以通过TU变换残留块,以生成变换系数并且可以量化该变换系数。
变换块是相同的变换适用于的采样的矩形块。变换块可以是TU,并且可以具有四树结构。
变换/量化模块115和145可以基于适用于残留块的预测模式和变换块的大小执行变换以生成二维(2D)的变换系数阵列。例如,当内部预测适用于残留块,并且该残留块具有4×4阵列的时候,残留块可以被使用离散正弦变换(DST)变换。另外,残留块可以被使用离散余弦变换(DCT)变换。
变换/量化模块115和145可以量化变换系数,以生成量化的变换系数。
变换/量化模块115和145可以将量化的变换系数发送给熵编译模块130和180。在这里,变换/量化模块115和145可以以预先确定的扫描顺序将2D阵列的量化的变换系数重新排列为一维的(1D)阵列,并且可以将重新排列的1D阵列发送给熵编译模块130和180。变换/量化模块115和145可以无需被变换/量化而将基于残留块和预测块产生的重建的块发送给用于中间预测的滤波模块120和150。
必要时,变换/量化模块115和165可以跳过变换,并且仅仅执行量化,或者可以跳过变换和量化两者。例如,变换/量化模块115和145可以跳过用于涉及特定的预测方法,或者具有特定的大小的块,或者涉及特定的预测块并且具有特定大小的块的变换。
熵编译模块130和180可以对量化的变换系数执行熵编码。编码方法,诸如指数Golomb编译和上下文自适应二进制运算编译(CAVLC)可以用于熵编码。
滤波模块120和150可以将去块滤波、自适应环路滤波(ALF),或者采样自适应偏移(SAO)适用于重建的图片。
去块滤波可以在重建的图片中除去在块之间的边界上产生的块失真。ALF可以基于将原始图片与重建的图片(其中块由去块滤波进行滤波)比较的结果值执行滤波过程。SAO可以通过在已经经历去块滤波的残留块和原始图片之间的像素重建偏移差值,并且以带偏移、边缘偏移等等的形式适用。
滤波模块120和150可以不适用去块滤波、ALF和SAO的全部,而是可以仅仅适用去块滤波、可以仅仅适用去块滤波和ALF,或者可以仅仅适用去块滤波和SAO。
DPB 125和155可以从滤波模块120和150接收和存储重建的块或者重建的图片。DPB 125和155可以将重建的块或者图片提供给执行中间预测的预测模块110和140。
从用于层0的熵编译模块160输出的信息和从用于层1的熵编译模块130输出的信息可以由MUX 185多路复用,并且可以作为比特流输出。
虽然用于层1的编码模块105为了方便起见已经描述为包括MUX165,但是MUX可以是与用于层1的编码模块105和用于层0的编码模块135无关的设备或者模块。
图1的编码装置可以被配置为包括相机的能够捕捉和编码图像的电子装置。例如,该编码装置可以被配置为或者包括在电子装置,诸如电视、计算机系统和包括移动电话或者平板PC的便携式电子设备中。
图2是图示在执行根据本发明可分级编译的视频解码装置中的层间预测示例的方框图。
参考图2,视频解码装置200包括用于层1的解码模块210和用于层0的解码模块250。
层0可以是基极层、参考层或者下层,并且层1可以是增强层、当前层或者上层。
用于层1的解码模块210可以包括熵解码模块215、重新排列模块220、去量化模块225、反变换模块230、预测模块235、滤波模块240,和存储器245。
用于层0的解码模块250可以包括熵解码模块255、重新排列模块260、去量化模块265、反变换模块270、预测模块275、滤波模块280,和存储器285。
当包括视频信息的比特流被从视频编码装置发送的时候,多路分解器(DEMUX)205可以按层多路分解信息,并且可以按层将信息发送给解码器。
熵解码模块215和255可以执行对应于在视频编码装置中使用的熵编码方法的熵解码。例如,当在视频编码装置中使用CABAC的时候,熵解码模块215和255可以使用CABAC执行熵解码。
在由熵解码模块215和255解码的信息之中用于构造预测块的信息可以提供给预测模块235和275,并且由熵解码模块215和255熵解码的残留值,即,量化的变换系数,可以输入给重新排列模块220和260。
重新排列模块220和260可以基于在视频编码装置中使用的重新排列方法重新排列由熵解码模块215和255熵解码的比特流的信息,即,量化的变换系数。
例如,重新排列模块220和260可以将1D阵列的量化的变换系数重新排列回为2D阵列的系数。重新排列模块220和260可以基于适用于当前块(变换块)的预测模式和/或变换块的大小执行扫描,以构造2D阵列的系数(量化的变换系数)。
去量化模块225和265可以基于从视频编码装置发送的量化参数和块的重新排列的系数执行去量化以生成变换系数。
反变换模块230和270可以对变换系数执行由视频编码装置的变换模块执行的变换的反变换。反变换模块230和270可以执行由视频编码装置执行的DCT和DST的反DCT和/或反DST。
在视频编码装置中,DCT和/或DST可以取决于多条信息,诸如预测方法、当前块的大小和预测方向有选择地执行,并且视频解码装置的反变换模块230和270可以基于由视频解码装置使用的变换信息执行反变换。
例如,反变换模块230和270可以取决于预测模式/块大小执行反DCT和反DST。特别地,反变换模块230和270可以对内部预测已经适用于的4×4亮度块执行反DST。
或者,反变换模块330和370可以不考虑预测模式/块大小固定地使用特定的反变换方法。例如,反变换模块330和370可以仅仅将反DST适用于所有变换块。反变换模块230和270也可以仅仅将反DCT适用于所有变换块。
反变换模块230和270可以对变换系数或者变换系数块进行反向地变换以构造残留信号或者残留块。
必要时,或者取决于用于视频编码装置的编码方法,反变换模块230和270可以跳过变换。例如,反变换模块230和270可以跳过用于涉及特定的预测方法,或者具有特定的大小的块,或者涉及特定的预测块并且具有特定大小的块的变换。
预测模块235和275可以基于从熵解码模块215和255提供的预测块构造信息,和有关预先解码的块的信息,和/或从存储器245和285提供的图片来构造当前块的预测块。
当用于当前块的预测模式是内部预测模式的时候,预测模块235和275可以基于有关在当前图片中像素的信息对当前块执行内部预测。
当用于当前块的预测模式是中间预测模式的时候,预测模块235和275可以基于包括在当前图片的先前图片和后续图片的至少一个中的信息对当前块执行中间预测。中间预测所必需的部分或者所有运动信息可以基于从视频编码装置接收的信息推导。
当跳过模式用作中间预测模式的时候,残留可以不从视频编码装置发送,并且预测块可以用作重建块。
用于层1的预测模块235可以仅仅使用在层1中的信息执行中间预测或者内部预测,并且可以使用有关另一个层(层0)的信息执行层间预测。
例如,用于层1的预测模块235可以使用有关层1的信息、有关层1的纹理信息、有关层1的单元信息和有关层1的参数信息的一个执行用于当前块的预测。
用于层1的预测模块235可以从用于层0的预测模块275接收有关层1的运动信息,并且可以执行运动预测。层间运动预测也称为层间中间预测。通过层间运动预测,用于在当前层(增强层)中当前块的预测可以使用有关参考层(基本层)的运动信息执行。必要时,预测模块335可以分级和使用有关参考层的运动信息。
用于层1的预测模块235可以从用于层0的预测模块275接收有关层1的纹理信息,并且可以执行纹理预测。纹理预测也称为层间内部预测或者内部基本层(BL)预测。当在参考层中的参考块由内部预测重建的时候,可以采用纹理预测。或者,纹理预测可以指的是参考层分配的参考索引。
在层间内部预测中,在参考层中的参考块的纹理可以用作用于在增强层中当前块的预测值。在这里,参考块的纹理可以通过上采样分级。
用于层1的预测模块235可以从用于层0的预测模块275接收有关层0的单元参数信息,并且可以执行单元参数预测。通过单元参数预测,有关基本层的单元(CU、PU和/或TU)信息可以用作有关增强层的单元信息,或者有关增强层的单元信息可以基于有关基本层的单元信息确定。
用于层1的预测模块235可以从用于层0的预测模块275接收有关层0的滤波参数信息,并且可以执行参数预测。通过参数预测,用于基本层的参数可以被推导为对于增强层重复使用,或者用于增强层的参数可以基于用于基本层的参数被预测。
在先前的各种层间预测方法之中的多个方法可以用于预测特定的块。例如,为了预测当前块,可以另外使用有关相应的层0或者相应的块的单元信息、滤波参数信息等等,同时使用有关层0的预测信息。层间预测方法的这种组合也可以适用于将在本说明书中下面提及的预测。
加法器290和295可以使用由预测模块235和275构造的预测块和由反变换模块230和270构造的残留块构造重建块。在这种情况下,加法器290和295可以被认为是构造重建块的单独的模块(重建块构造模块)。
由加法器290和295重建的块和/或图片可以提供给滤波模块240和280。
参考图2,用于层1的滤波模块240可以使用从用于层0的预测模块和/或用于层1的滤波模块280发送的参数信息对重建的图片执行滤波操作。例如,用于层1的滤波模块240可以对层1执行滤波操作,或者使用从适用于层0的滤波参数预测的参数执行层间滤波操作。
存储器245和285可以存储重建的块或者图片用作参考图片或者参考块。存储器245和285可以经由预先确定的输出模块(未示出)或者显示器(未示出)输出在存储器245和285中存储的重建的图片。
虽然图2图示重新排列模块、去量化模块和反变换模块作为单独的模块,但是视频解码装置也可以被配置为允许去量化/反变换模块作为单个模块,以连续地执行类似图1的视频编码装置的重新排列、去量化和反变换。
虽然图1和2图示了预测模块,但是用于层1的预测模块可以包括使用有关另一个层(层0)的信息执行预测过程的层间预测模块,和无需使用有关另一个层(层0)的信息执行预测过程的中间/内部预测模块。
图2的解码装置可以被配置为能够再现图像或者再现和显示图像的各种电子装置。例如,解码装置可以被配置为或者包括在电子装置,诸如机顶盒、电视、计算机系统和包括移动电话或者平板PC的便携式电子设备中。
在编码和解码在比特流中支持多个层的视频时,即可分级编译,在多个层之间存在强的相关性。因此,当使用该相关性执行预测的时候,数据的冗余元素可以被除去,并且视频编码性能可以被增强。预测当前层为使用有关另一个层的信息预测在下面定义为层间预测。在下文中,可分级的视频编译指的是在编码时的可分级的视频编码,和在解码时的可分级的视频解码。
多个层可以在分辨率、帧速率和颜色格式的至少一个方面相互不同,并且可以执行层的上采样或者下采样以在层间预测中调整分辨率。
图3是示意性地示出根据本方卖弄的实施例的使用多个层的可分级视频编译结构的概念图。在图3中,图片组(GOP)表示图片的组,即,多个图片的组。
为了发送视频数据,需要传输介质,并且根据各种网络环境,其性能随着每种传输介质而不同。为了应用各种传输介质或者网络环境,可以提供可分级视频编译方法。
可分级视频编译方法是一种编译方法,其利用纹理信息、运动信息、层间的残留信号等,以去除层之间的冗余,从而改善编码和解码性能。根据周围的条件,诸如传输位速率、传输错误率以及系统资源,可分级编译方法可以在各种空间、时间和质量方面提供可分级性。
可分级视频编译可以通过使用多层结构来执行,以便提供可适用于各种网络情形的比特流。例如,可分级视频编译结构可以提供基本层,其中使用常规视频解码方法压缩和处理视频数据,并且还包括增强层,其中使用基本层的解码信息和常规视频解码方法二者来压缩和处理视频数据。
再次,层指的是图片和比特流的集合,它们根据空间方面(例如,图片大小)、时间方面(例如,解码顺序、图片输出顺序和帧速率)、图片质量、复杂性等来分类。基本层可以指的是参考层或者基础层,并且增强层可以指的是增强的层或者更高层。多个层可以彼此具有依赖性。
参考图3,例如,基本层可以通过标准清晰度(SD)、15Hz帧速率和1Mbps位速率来定义,第一增强层可以通过高清晰度(HD)、30Hz帧速率和3.9Mbps位速率来定义,并且第二增强层可以通过4K超高清晰度(UHD)、60Hz帧速率和27.2Mbps来定义。这些格式、帧速率和位速率仅仅是为了说明的目的提供的,并且可以根据需要而改变或者修改。而且,使用的层的数目可以取决于环境而改变,而不限于本实施例。
例如,当传输带宽是4Mbps时,第一增强层HD可以以降到15Hz或更低的帧速率被发送。使用参考图3描述的方法,可分级视频编译方法可以提供空间、时间和质量可分级性。
可分级视频编译指的是在编码中的可分级视频编码和在解码中的可分级视频解码。
同时,包括多个层的比特流可以由网络提取层单元组成以容易地经由分组交换网络自适应发送。在包括类似于在比特流中的多个层的多个视图图片的多视图视频编译中,多个视图的关系类似于在多层视频中的空间层的关系。
为了在内容传递路径中的所有节点上实际地和有效地转换比特流,有关比特流的可分级性信息是非常重要的。在当前的视频编译标准HEVC中,对于单个层,与层信息有关的两个字段存在于NAL单元头部中。
表1图示NAL单元头部的示例。
[表1]
nal_unit_header(){ 描述符
forbidden_zero_bit f(1)
nal_unit_type u(6)
nuh_reserved_zero_6bi u(6)
nuh_temporal_id_plus1 u(3)
}
参考表1,forbidden_zero_bit是1。
nal_unit_type指定NAL单元的类别或者类型。
nuh_reserved_zero_6bits是用于表示有关另一个层信息,即,可分级性的字段,并且可以包括有关用于识别层的层标识符(ID)的信息。
具有三位长度的temporal_id指定视频比特流的时间层。时间层指的是由视频编译层(VCL)NAL单元形成的比特流的时间可分级的层,并且具有特定的temporal_id值。
在编译支持多个可分级性的比特流(例如,多视图和3D扩展)时,也可以使用如在表1中图示的NAL单元头部的结构。在这种情况下,可分级性信息,例如,层ID信息,可以在NAL单元头部中发送在表1中的6位nuh_reserved_zero_6bits。
因此,必须示意将NAL单元头部中用信号发送的层ID信息映射到层的可分级性类型,即,适用于层的可分级性类型的信息。
可分级性类型和类别已经将类型和类别映射到层ID的信息可以包括在视频参数集中,或者包括在用于支持可分级性的比特流的视频参数集扩展中。
本发明涉及用于有效地描述有关在支持多个层的比特流中的视频的可分级性信息和示意该可分级性信息的方法,和一种用于实施该方法的装置。
表2图示当前的视频参数集的示例。
[表2]
参考表2,video_parameter_set_id是用于识别由另一个语法元素参考的视频参数集的语法元素。
vps_temporal_id_nesting_flag指定当vps_max_sub_layers_minus1大于0的时候,是否中间预测另外限制用于参考视频参数集的编译的视频序列。当vps_max_sub_layers_minus1等于0的时候,vps_temporal_id_nesting_flag需要是1。vps_temporal_id_nesting_flag在时间子层上采样中使用。
reserved_zero_2bits在比特流中可以是3,并且除3以外的值可以另外用于其它的应用,而在这样情况下,解码模块可以忽略reserved_zero_2bits的值。
max_num_layers_minus1加1指定存在于参考视频参数集的编译的视频序列之中的最大层数。
vps_max_sub_layers_minus1加1指定可以存在于编译的视频序列中的时间子层的最大数。vps_max_sub_layers_minus1可以是在0至6的范围中。
next_essential_info_byte_offset指定在视频参数集NAL单元中从NAL单元的开始到下一组固定长度编译信息的字节偏移。
用于基本层或者基本视图的视频参数集信息是固定长度编译信息,其从分配给视频参数集NAL单元的字节的位置开始。由next_essential_info_byte_offsetmay指定的字节偏移有助于访问在视频参数集NAL单元中的基本信息,而无需执行熵解码。next_essential_info_byte_offset是用于会话协商和/或性能交换的基本信息。
vps_max_dec_pic_buffering[i]以图片存储缓存器为单位指定用于编译的视频序列的解码的图片缓存器的最多需要的大小。
vps_max_num_reorder_pics[i]指定可以以解码顺序在编译的视频序列中的任意图片之前并且以输出顺序在该图片之后的图片的最大允许的数目。
vps_max_latency_increase[i]不等于0,并且用于计算延迟图片的最大数目,其指定可以以解码顺序在编译的视频序列中的任意图片之前并且以输出顺序在该图片之后的图片的最大数目。
num_hrd_parameters指定存在于视频参数集之中的hrd_parameters()语法元素的数目,其中num_hrd_parameters在该比特流中可以小于或等于1。如果num_hrd_parameters不小于或等于1,则解码模块可以允许在由语法元素表示的1至1024的范围中的另一个值作为num_hrd_parameters的值。
bit_equal_to_one是1。
等于0的vps_extension_flag指定vps_extension_data_flag语法元素不存在于视频参数集中,并且等于1的vps_extension_flag指定vps_extension_data_flag存在用于层扩展版本。
vps_extension_data_flag指定是否存在用于层扩展版本的数据,其可以具有任意值。
如果比特流是支持多个层的层扩展版本,则vps_extension_flag和vps_extension_data_flag可以是1,并且有关层的各种信息单元可以在比特流中以视频参数包括和示意,例如,视频参数集扩展。
可以包括在视频参数集扩展中有关层的信息可以包括有关用于层的所有可允许的可分级性的信息,也就是说,有关维度的信息,其中有关维度的信息可以使用表设置。
此外,有关层的示意信息可以包括用于层的维度的数目、用于每个层的每个维度的有效范围、有关层识别的信息,和直接参考层的列表。
用于表示每个层的维度的总的位需要与在表1中分配用于示意在NAL单元头部中示意的层ID的位匹配。如果在NAL单元头部中示意的层ID是6位,则为了描述可适用于每个层的维度总计使用6位。
表3图示根据本发明的一个实施例的视频参数集扩展。
[表3]
vps_extension(){ 描述符
while(!byte_aligned())
vps_extension_byte_alignmcnt_reserved_one_bit u(1)
//层具体信息
num_dimension_minus1 ue(v)
for(i=0;i<=num_dimension_minus1;i++){
dimension_type[i] u(4)
dimension_len[i] u(3)
}
for(i=1;i<=vps_max_layers_minus1;i++){
vps_layer_id[i] u(6)
//层依赖性
num_direct_ref_layers[i] u(6)
for(j=0;j<num_direcl_ref_layers[i];j++)
ref_layer_id[i][j] u(6)
}
}
参考表3,vps_extension_byte_alignment_reserved_one_bit是1。
num_dimensions_minus1[i]加1指定对于每个层示意的维度类型的数目和维度ID。
dimension_type[i]指定如在表4中图示的第i层的第j个可分级性维度类型。
在支持多个可分级性的比特流中,维度类型指的是可分级性类型,诸如空间可分级性和质量可分级性,并且维度ID指的是相对于层的特定的维度类型的索引,其可以指的是用于识别特定的维度类型适用于的层的信息。
维度类型可以映射到维度ID(dimension_id),其是层的可分级性ID。
[表4]
dimension_type dimension_id[i][j]
0 视图顺序idx
1 深度顺序idx
2 依赖性ID
3 质量ID
4...15 预留
参考表4,可分级性类型可以包括多视图可分级性、深度可分级性、空间可分级性和质量可分级性。
当示意num_dimensions_minus1[i]的时候,有关和维度的数目一样多的用于第i层的维度类型(dimension_type)的信息被示意,同时从0开始将维度类型增加1。
当示意用于第i层的dimension_type是0的时候,多视图可分级性适用于该层,并且当dimension_type是1的时候,深度可分级性适用于该层。当dimension_type是2的时候,空间可分级性适用于该层,并且当dimension_type是3的时候,质量可分级性适用于该层。根据表4,一个层可以具有最多四个类型的可分级性。
在表4中图示的维度ID是由比特流支持的可分级性的示例,其中维度ID可以进一步增加,或者比特流可以仅仅支持在表4中列出的四个维度的一部分。4至15的dimension_type值可用于描述额外的可分级性类型。
在下文中,将详细描述每个维度类型和每个维度ID。
用于识别多视图可分级性的视图顺序idx的维度ID指的是层由多视图编码方案编译。
图4图示多视图编译的框架的示例。
如图示的,视频数据流可以通过用于多视图编译的总计五个相机生成,其中由相机1生成的视频数据流是基本视图。由相机2至5生成的视频可以参考包括通过相机1的视频的其它的视图视频编译。
由相机3生成的视频数据流可以是参考基本视图预测和编译的另一个视图(例如,视图2)。
由相机2生成的视频数据流可以是参考基本视图和视图2预测和编译的另一个视图(例如,视图3)。
由相机5生成的视频数据流可以是参考基本视图预测和编译的另一个视图(例如,视图4)。
由相机4生成的视频数据流可以是参考基本视图和视图4预测和编译的另一个视图(例如,视图5)。
视图顺序idx是用于识别在比特流中视图层,也就是说,在多个多视图层之中的层的顺序的值。视图顺序idx可以是与NAL单元相关的层ID的一部分。
用于识别深度可分级性的深度顺序idx的维度ID指的是层由3D视频编译方案编译。在3D视频编译中,深度图用于一个或多个编译的帧以呈现3D图片,其中深度顺序idx用于识别深度图的层或者在编译的3D视频数据流中深度层/深度顺序的顺序。
图5图示使用深度图的3D视频编译框架的示例。
如在图5中图示的,3D视频可以使用多个深度图来编译,并且基本层可以被上层参考,上层可以由深度顺序1和深度顺序2表示。由深度顺序N表示的层可以具有有关在顺序方面比N更低的层的深度依赖性。
深度顺序idx是用于识别深度图的层或者深度层的顺序/深度顺序,即,,在多个深度图层之中的层的值。深度顺序idx可以是与NAL单元相关的层ID的一部分。
用于识别空间可分级性的依赖性ID的维度ID指的是上层参考下层的编译视频被预测和经历空间可分级性编译。
图6图示空间可分级性编译的框架的示例。
在空间可分级性适用于的视频中,每个空间可分级性层包括下层和具有比下层更高的空间分辨率(例如,图片宽度或者图片高度)的上层。
具有N的依赖性ID的层可以是基本层,并且具有N+1的依赖性ID的层是具有比具有N的依赖性ID的层更高的分辨率的上层,并且可以使用有关基本层的编译视频信息被编译。
依赖性ID用于识别在比特流中的空间层的顺序,并且可以是与NAL单元相关的层ID的一部分。
用于识别质量可分级性的质量ID的维度ID指的是上层参考下层的编译视频被预测和经历质量可分级性编译。
图7图示质量可分级性编译的框架的示例。
在质量可分级性适用于的视频中,每个质量可分级性层包括下层和具有与下层相同的空间分辨率但是比下层更高的视觉质量(例如,图片宽度或者图片高度)的上层。
具有N的质量ID的层可以是基本层,并且具有N+1的质量ID的层是具有比具有N的质量ID的层更高的质量的上层,并且可以使用基本层编译。
质量ID用于识别在比特流中质量可分级性层的顺序,并且可以是与NAL单元相关的层ID的一部分。
相同的编解码器方案可以适用于质量可分级性和空间可分级性两者,而在这样情况下,质量可分级性和空间可分级性可以由单个ID表示。
如上所述,比特流可以包括支持各种类型的可分级性的层,并且可分级性可以以有关维度类型的信息和有关维度ID的信息表示,用于相对于映射到维度类型的维度识别层。在这种情况下,维度类型可以从编码装置向解码装置示意,并且在维度类型和维度ID之间的映射关系可以在编码装置和解码装置中通过预置的表预先设置。
dimension_len[i]指定第i个维度ID的长度,即,位,其中dimension_len[i]可以具有在1至6的范围中的值,并且用于第i层的dimension_len[i]总和需要为6。
dimension_len[i]可以使用语法元素dimension_id_len或者dimension_id_len_minus1示意。在这种情况下,由dimension_id_len或者dimension_id_len_minus1指定的值的总和需要为6。
表示第i层的维度的信息需要映射到包括在NAL单元头部中的层ID上,以便识别该层,并且因此,指定表示维度的维度ID的长度的dimension_len[i]的总和需要小于或者等于层ID的的长度。
当用于识别层的层ID的长度是6位的时候,dimension_len[i]可以具有在1至6的范围中的值,并且dimension_len[i]的总和需要是6位。
vps_layer_id[i]指定依赖性信息适用于的第i层的层ID,并且每个vps_layer_id[i]的位可以配置如下。
dimension_len[0]+dimension_len[1]+…+dimension_len[num_dimension_minus1]
包括在视频参数集中的层ID信息可以与用于识别包括在NAL单元头部中的层的信息相同。
num_direct_ref_layers[i]指定第i层直接参考的层数。
ref_layer_id[i][j]是用于识别第i层直接参考的第j个层的信息。
基于包括在表3的视频参数集中的语法元素识别可分级性信息的示例将描述如下。
首先,假设比特流支持空间和质量可分级性,相对于质量可分级性存在基本层和参考基本层的第一增强层,并且相对于空间可分级性存在基本层、第一增强层和第二增强层。在这种情况下,如下执行示意。
vps_max_layers_minus1=6
num_dimension_minus1=1
vps_max_layers_minus1=6表示最大层数是七,并且num_dimension_minus1=1表示维度的数目,也就是说,由当前的比特流支持的可分级性是两个。
dimension_type[0]=2
dimension_length[0]=3
由于第一dimension_type[0]等于2表示维度ID是参考表4的依赖性ID,所以支持空间可分级性。
此外,dimension_length[0]=3表示代表空间可分级性的维度ID的长度是3位。
dimension_type[1]=3
dimension_length[1]=3
由于第二dimension_type[1]等于3表示维度ID是参考表4的质量ID,所以支持质量可分级性。
dimension_length[1]=3表示代表质量可分级性的维度ID的长度是3位。
因此,经由比特流发送的层ID是总和为6的dimension_length,并且vps_layer_id[i]是6位。
最低的层,即,基本层,不具有参考层,并且因此,可以不必示意vps_layer_id。
vps_layer_id[1]=1(000001)
num_direct_ref_layers[1]=1
ref_layer_id[1][0]=0
vps_layer_id[1]=1表示第一层的vps_layer_id[1]是一,其被示意为位串“000001”。“000001”的前3位(000)可以表示代表空间维度的依赖性ID,并且最后的3位(001)可以表示代表质量维度的质量ID。
num_direct_ref_layers[1]=1表示第一层直接参考的层的数目是一,并且ref_layer_id[1][0]=0表示直接参考层的ID指定第0层。
vps_layer_id[2]=16(010000)
num_direct_ref_layers[2]=1
ref_layer_id[2][0]=0
vps_layer_id[2]=16表示第二层的vps_layer_id[2]是16,其被作为位串“001000”示意。“001000”的前3位(001)可以是代表空间维度的依赖性ID,并且最后的3位(000)可以是表示代表质量维度的质量ID。
num_direct_ref_layers[2]=1表示第二层直接参考的层的数目是一,并且ref_layer_id[2][0]=0表示直接参考层的ID指定第0层。
也就是说,第二层和第一层直接参考相同的第0层。
vps_layer_id[3]=17(010001)
num_direct_ref_layers[3]=1
ref_layer_id[3][0]=2
vps_layer_id[3]=17表示第三层的vps_layer_id[3]是17,其被作为位串“001001”示意。“001001”的前3位(001)可以是代表空间维度的依赖性ID,并且最后的3位(001)可以是表示代表质量维度的质量ID。
num_direct_ref_layers[3]=1表示第三层直接参考的层的数目是一,并且ref_layer_id[3][0]=2表示直接参考层的ID指定第二层。
vps_layer_id[4]=32(100000)
num_direct_ref_layers[4]=1
ref_layer_id[4][0]=2
vps_layer_id[4]=32表示第四层的vps_layer_id[4]是32,其被作为位串“010000”示意。“010000”的前3位(010)可以是代表空间维度的依赖性ID,并且最后的3位(000)可以是表示代表质量维度的质量ID。
num_direct_ref_layers[4]=1表示第四层直接参考的层的数目是一,并且ref_layer_id[4][0]=2表示直接参考层的ID指定第二层。
vps_layer_id[5]=33(100001)
num_direct_ref_layers[5]=1
ref_layer_id[5][0]=4
vps_layer_id[5]=33表示第五层的vps_layer_id[5]是33,其被作为位串“010001”示意。“010001”的前3位(010)可以是代表空间维度的依赖性ID,并且最后的3位(000)可以是表示代表质量维度的质量ID。
num_direct_ref_layers[5]=1表示第五层直接参考的层的数目是一,并且ref_layer_id[5][0]=4表示直接参考层的ID指定第四层。
表5图示根据本发明的另一个实施例的视频参数集扩展。
[表5]
vps_extension(){ 描述符
while(!byte_aligned())
vps_extension_byte_alignment_reserved_one_bit u(1)
//层特定信息
num_dimension_minus1 ue(v)
for(i=0;i<=num_dimension_minus1;i++){
dimension_type[i] u(4)
dimension_len[i] u(3)
}
for(i=1;i<=vps_max_layers_minus1;i++){
vps_layer_id[i] u(n)
//层依赖性
num_direct_ref_layers[i] u(6)
for(j=0;j<num_direct_ref_layers[i];j++)
ref_layer_id[i][j] u(6)
}
}
参考表5,vps_extension_byte_alignment_reserved_one_bit是1。
num_dimensions_minus1[i]加1指定关于每个层示意的维度类型的数目和维度ID。
如在表4中图示,dimension_type[i]指定第i层的第j个可分级性维度类型。
dimension_len[i]指定长度,即,第i层的维度ID的位,并且可以具有在1至8的范围中的值。
dimension_len[i]也可以作为语法元素dimension_id_len或者dimension_id_len_minus1示意。
vps_layer_id[i]指定依赖性信息适用于的第i层的层ID,并且每个vps_layer_id[i]的位可以配置如下。
dimension_len[0]+dimension_len[1]+…+dimension_len[num_dimension_minus1]
也就是说,vps_layer_id[i]的位可以是dimension_len[i]或者dimension_id_len_minus1加1的值,也就是说,由dimension_len[i]或者dimension_id_len_minus1指定的值的位的总和。
包括在视频参数集中的层ID信息可以与用于识别包括在NAL单元头部中的层的信息相同。
num_direct_ref_layers[i]指定第i层直接参考的层的数目。
ref_layer_id[i][j]是用于识别第i层直接参考的第j个层的信息。
虽然在表3中vps_layer_id[i]局限于6位,但是vps_layer_id[i]具有不是在表5中的固定位的长度。用于vps_layer_id[i]的描述符是u(n),其指的是整数n位用于发送信息,这里n可以取决于另一个语法的值变化。根据当前的实施例,用于识别层的层ID和vps_layer_id[i]位可以在dimension_len[i]的总和上确定。
也就是说,根据当前的实施例,dimension_len的总和不受限制,但是,每个dimension_len[i]可以具有3位的值,也就是说,最大为8。
表6图示根据本发明的再一个实施例的视频参数集扩展。
[表6]
vps_extension(){ 描述符
while(!byte_aligned())
vps_extension_byte_alignment_reserved_one_bit u(1)
//层特定信息
num_dimension_minus1 ue(v)
for(i=0;i<=num_dimension_minus1;i++){
dimension_type[i] u(4)
dimension_len[i] ue(v)
}
for(i=1;i<=vps_max_layers_minus1;i++){
vps_layer_id[i] u(n)
//层依赖性
num_direct_ref_layers[i] u(6)
for(j=0;j<num_direct_ref_layers[i];j++)
ref_layer_id[i][j] u(6)
}
}
参考表6,vps_extension_byte_alignment_reserved_one_bit是1。
num_dimensions_minus1[i]加1指定关于每个层示意的维度类型的数目和维度ID。
如在表4中图示,dimension_type[i]指定第i层的第j个可分级性维度类型。
dimension_len[i]指定长度,即,第i层的维度ID的位,并且可以具有在1至8的范围中的值。
vps_layer_id[i]指定依赖性信息适用于的第i层的层ID,并且每个vps_layer_id[i]的位可以配置如下。
dimension_len[0]+dimension_len[1]+…+dimension_len[num_dimension_minus1]
包括在视频参数集中的层ID信息可以与用于识别包括在NAL单元头部中的层的信息相同。
num_direct_ref_layers[i]指定第i层直接参考的层的数目。
ref_layer_id[i][j]是用于识别第i层直接参考的第j个层的信息。
根据当前的实施例,ue(v)可以指配为用于dimension_len[i]的描述符。ue(v)代表由指数-Golomb编译编码的语法元素,其指的是信息不由固定长度编译,而是由自适应确定位长度的编码方案来编码。当使用指数-Golomb编码的时候,位长度取决于指数-Golomb码可变地确定,并且因此,用于表示dimension_len[i]的位数是可变的。
vps_layer_id[i]也可以取决于dimension_len[i]的位具有可变值。
图8是图示根据本发明的一个实施例的视频编码装置的方框图。
如在图8中图示的,根据当前的实施例的编码装置包括第一编码模块810、第二编码模块820和信息产生模块830。
第一编码模块810可以对应于在图1的视频编码装置中用于编码层0的编码模块135,并且第二编码模块820可以对应于在图1的视频编码装置中用于编码层1的编码模块105。
第一编码模块810和第二编码模块820对每层的视频执行预测、变换和熵编译,并且其描述大体上与参考图1提及的编码装置的相同,并且因此,在此处被省略。
除了两个层之外,该编码装置还可以编码三个以上的层,并且在这种情况下,可以进一步包括第三编码模块和第四编码模块。
当层由编码模块810和820编码的时候,根据当前的实施例的信息产生模块830产生有关层的可分级性的信息。信息产生模块830可以是包括在第一编码模块810中的一部分,或者包括在第二编码模块820中的一部分。或者,该信息产生模块830可以被设计为包括在编码模块810和820的每个中。也就是说,虽然为了描述方便起见,信息产生模块830在图8中示出为单独的部件,但是信息产生模块830的物理结构和位置不局限于图8。
信息产生模块830可以产生维度类型的数目、代表可分级性类型的维度类型、表示维度ID的长度的信息、维度ID、层ID等等。在维度类型和维度ID之间的映射关系可以基于预先确定的表产生。
层ID的位可以是维度ID的长度,即,维度ID的位的总和。例如,当层ID是6位的时候,相应的层的维度ID可以是总计6位。
信息产生模块830也可以产生有关层直接参考的层的数目的信息,和用于识别参考层的参考层ID。
类似于其它类型的信息,由信息产生模块830产生的信息被编码和作为比特流发送给视频解码装置。
图9是图示根据本发明的一个实施例的视频解码装置的方框图。
如在图9中图示的,根据当前的实施例的解码装置包括信息识别模块910、第一解码模块920和第二解码模块930。
当层由相应的解码模块920和930编码的时候,信息识别模块910基于从视频编码装置接收的比特流识别层间可分级性信息。该信息识别模块930可以被配置为用于分析比特流的分析模块,或者被配置为用于熵解码比特流的熵解码模块。
信息识别模块910可以是包括在第一解码模块920中的一部分,或者包括在第二解码模块930中的一部分。或者,该信息识别模块910可以被设计为包括在相应的解码模块920和930中的多个部件。也就是说,虽然为了描述方便起见,该信息识别模块910在图9中示出为单独的部件,但是信息识别模块910的物理结构和位置不局限于图9。
从编码装置接收并且通过信息识别模块910识别的信息可以包括维度类型的数目、代表可分级性类型的维度类型、表示维度ID的长度的信息、维度ID、层ID等等。在维度类型和维度ID之间的映射关系可以基于预先确定的表识别。
该信息识别模块910也可以接收和识别有关层直接参考的层的数目的信息,和用于识别参考层的参考层ID。
通过信息识别模块910识别的层间可分级性信息被发送给解码模块920和930,并且该解码模块920和930可以基于该可分级性信息执行层间预测和重建。
第一解码模块920可以对应于在图2的视频解码装置中用于解码层0的解码模块135,并且第二解码模块930可以对应于在图2的视频解码装置中用于解码层1的解码模块105。
第一解码模块920和第二解码模块930对每层的视频执行熵解码、反变换、预测和重建,并且其描述大体上与参考图2提及的解码装置的相同,并且因此,在此处被省略。
除了两个层之外,该解码装置还可以解码三个以上的层,并且在这种情况下,可以进一步包括第三解码模块和第四解码模块。
图10是图示根据本发明的一个实施例的编码视频信息方法的流程图。
如图示的,编码装置编码有关视频参数集的信息(S81001),视频参数集包括有关多个可分级性的信息。
有关包括在视频参数集中的多个可分级性的信息可以包括维度类型的数目、代表可分级性类型的维度类型、表示维度ID的长度的信息、维度ID、层ID等等。维度ID指的是相对于层的特定的维度类型的索引。
在维度类型和维度ID之间的映射关系例如可以经由查找表设置。
层ID的位可以是维度ID的长度,也就是说,维度ID的位的总和。例如,当层ID是6位的时候,相应的层的维度ID可以是总计6位。
该视频参数集也可以包括有关层直接参考的层的数目的信息,和用于识别参考层的参考层ID。
该编码装置可以经由比特流发送有关视频参数集的编码信息(S1002)。
图11是图示根据本发明的一个实施例的解码视频信息方法的流程图。
参考图11,解码装置接收有关视频参数集扩展的信息(S1101),视频参数集扩展包括有关多个可分级性的信息。
该视频解码装置分析视频参数集以识别,即,推导出有关包括在比特流中的可分级性的信息(S1102)。该视频信息可以由熵解码模块或者单独的分析模块分析。
有关包括在视频参数集中的多个可分级性的信息可以包括维度类型的数目、代表可分级性类型的维度类型、表示维度ID的长度的信息、维度ID、层ID等等。维度ID指的是相对于层的特定的维度类型的索引。
在维度类型和维度ID之间的映射关系可以经由表设置,并且该解码装置可以使用该表识别可分级性。
层ID的位可以是维度ID的长度,也就是说,维度ID的位的总和。例如,当层ID是6位的时候,相应的层的维度ID可以是总计6位。
作为在支持多个可分级性的比特流中用于表示在层ID和可分级性维度ID之间关系的方法,可以存在表示层ID到可分级性维度ID的映射方法的第一方法,和分割或者拼接层ID位,并且表示哪个维度类型存在于分配的位中的第二方法。
当表示层ID到维度ID的映射方法的第一方法被采用作为用于表示在层ID和维度ID之间关系的方法的时候,解码装置可以接收维度ID。在这种情况下,该解码装置可以经由表示维度ID长度的信息识别在整个层ID中有关维度的信息占据多少位,并且识别对应于该位的维度ID以将层ID映射到维度ID。
例如,当视图ID具有3位的长度,并且依赖性ID具有2位的长度的时候,代表多视图可分级性的维度ID可以以3位信息示意,并且代表空间可分级性的维度ID可以以2位信息示意。
同时,当通过拼接层ID的位并且表示哪个维度类型存在于分配的位的第二方法层ID和维度ID相互映射的时候,该解码装置拼接层ID以直接示意维度ID。在这种情况下,该维度ID可以不被示意给解码装置。
例如,假设层ID是6位,并且支持多视图可分级性和空间可分级性。多视图可分级性和空间可分级性可以每个以3位构成层ID。当层ID是“001010”的时候,视图ID可以是“001”,并且依赖性ID可以是“010”。
先前的两种方法可以经由表示是否层ID的位被拼接使用的标记信息来区分。当使用第一个方法的时候,表示是否层ID的位被拼接使用的标记信息可以是0。当使用第二个方法的时候,表示是否层ID的位被拼接使用的标记信息可以是1。
该视频参数集也可以包括有关层直接参考的层的数目的信息,和用于识别参考层的参考层ID。
如上所述,根据本发明,提供了一种用于描述在比特流中的可分级性信息,特别地,匹配维度信息和层信息以识别层的方法,和一种使用其的装置。
虽然在以上提及的示范的系统中,该方法已经基于包括一系列的步骤或者模块的流程图描述,本发明不局限于该步骤顺序,并且某个步骤可以以除如上所述或者同时如上所述以外的步骤或者顺序执行。以上提及的实施例可以包括各种各样的示例。因此,本发明包括属于所附的权利要求的所有的替换、修正和改进。

Claims (16)

1.一种解码视频的方法,所述方法解码包括多个层的比特流,所述方法包括:
接收视频参数集,所述视频参数集包括有关用于识别层的可分级性的维度类型,和有关用于识别所述维度类型适用于的层的维度标识符(ID)的长度的信息;和
分析所述视频参数集以推导出包含在所述比特流中的可分级性信息。
2.根据权利要求1所述的方法,进一步包括接收维度类型的数目、用于识别所述维度类型适用于的层的维度ID,和层ID中的至少一个。
3.根据权利要求1所述的方法,其中,通过参考预置的表识别所述维度类型和用于识别所述维度类型适用于的层的所述维度ID。
4.根据权利要求2所述的方法,其中,用于第i层的维度ID的长度的总和等于第i层的层ID的位。
5.根据权利要求2所述的方法,其中,用于第i层的维度ID的长度的总和是6。
6.根据权利要求1所述的方法,其中,所述维度类型包括多视图可分级性、深度可分级性、空间可分级性和质量可分级性中的至少一个。
7.根据权利要求2所述的方法,其中,当所述维度类型的数目是2时,仅仅接收一条有关所述维度ID的长度的信息。
8.根据权利要求2所述的方法,进一步包括:接收指示所述层ID的位是否被分割以指示所述维度ID的标记信息,其中当所述标记信息是0时接收所述维度ID。
9.一种用于解码视频的装置,所述装置解码包括多个层的比特流,所述装置包括:
信息识别模块,所述信息识别模块分析视频参数集并推导可分级性信息,所述视频参数集包括有关用于识别层的可分级性的维度类型和有关用于识别所述维度类型适用于的层的维度标识符(ID)的长度的信息;以及
上层解码模块,所述上层解码模块使用所述可分级性信息重建上层的视频。
10.根据权利要求9所述的装置,其中,所述信息识别模块进一步接收和识别维度类型的数目、用于识别所述维度类型适用于的层的维度ID,和层ID中的至少一个。
11.根据权利要求9所述的装置,其中,通过参考预置的表识别所述维度类型和用于识别所述维度类型适用于的层的所述维度ID。
12.根据权利要求10所述的装置,其中,用于第i层的维度ID的长度的总和等于第i层的层ID的位。
13.根据权利要求10所述的装置,其中,用于第i层的维度ID的长度的总和是6。
14.根据权利要求9所述的装置,其中,所述维度类型包括多视图可分级性、深度可分级性、空间可分级性和质量可分级性中的至少一个。
15.根据权利要求10所述的装置,其中,当所述维度类型的数目是2时,仅仅接收一条有关所述维度ID的长度的信息。
16.根据权利要求10所述的装置,其中,所述信息识别模块进一步接收指示所述层ID的位是否被分割以指示所述维度ID的标记信息,其中,当所述标记信息是0时接收所述维度ID。
CN201380046836.9A 2012-09-09 2013-09-09 图像解码方法和使用其的装置 Pending CN104620585A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261698711P 2012-09-09 2012-09-09
US61/698,711 2012-09-09
US201261700322P 2012-09-12 2012-09-12
US61/700,322 2012-09-12
PCT/KR2013/008120 WO2014038906A1 (ko) 2012-09-09 2013-09-09 영상 복호화 방법 및 이를 이용하는 장치

Publications (1)

Publication Number Publication Date
CN104620585A true CN104620585A (zh) 2015-05-13

Family

ID=50237429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380046836.9A Pending CN104620585A (zh) 2012-09-09 2013-09-09 图像解码方法和使用其的装置

Country Status (6)

Country Link
US (1) US20150288976A1 (zh)
EP (1) EP2876882A4 (zh)
JP (1) JP5993092B2 (zh)
KR (1) KR20150054752A (zh)
CN (1) CN104620585A (zh)
WO (1) WO2014038906A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805605B2 (en) * 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부/복호화 방법 및 그 장치
US9942545B2 (en) * 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
WO2014163460A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 계층 식별자 확장에 따른 비디오 스트림 부호화 방법 및 그 장치, 계층 식별자 확장에 따른 따른 비디오 스트림 복호화 방법 및 그 장치
US9912943B2 (en) 2013-07-15 2018-03-06 Qualcomm Incorporated Signaling of bit rate information and picture rate information in VPS
KR101869882B1 (ko) * 2013-10-11 2018-06-25 브이아이디 스케일, 인크. Hevc 확장을 위한 하이 레벨 구문
US10187641B2 (en) 2013-12-24 2019-01-22 Kt Corporation Method and apparatus for encoding/decoding multilayer video signal
WO2015125489A1 (en) * 2014-02-24 2015-08-27 Sharp Kabushiki Kaisha Restrictions on signaling
US10708606B2 (en) * 2014-03-24 2020-07-07 Kt Corporation Multilayer video signal encoding/decoding method and device
BR112016024301A2 (pt) * 2014-04-25 2022-07-19 Sony Corp aparelhos e métodos de transmissão e de recepção
PT3179729T (pt) * 2014-08-07 2021-09-21 Sony Group Corp Dispositivo de transmissão, método de transmissão e dispositivo de receção
KR101741212B1 (ko) * 2015-08-25 2017-05-29 삼성에스디에스 주식회사 3차원 오브젝트의 단면 이미지 송신 시스템 및 방법과 이를 수행하기 위한 송신 장치
JP2023518453A (ja) * 2020-03-17 2023-05-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101385348A (zh) * 2006-01-09 2009-03-11 Lg电子株式会社 用于视频信号的层间预测方法
CN101455084A (zh) * 2006-03-30 2009-06-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
CN101771873A (zh) * 2005-03-17 2010-07-07 Lg电子株式会社 对使用层间预测编码的视频信号进行解码的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049449B2 (en) * 2005-04-13 2015-06-02 Nokia Corporation Coding of frame number in scalable video coding
KR101311656B1 (ko) * 2006-05-05 2013-09-25 톰슨 라이센싱 스케일러블 비디오 코딩을 위한 간략화된 레이어간 모션 예측
EP2137974B1 (en) * 2007-04-24 2018-12-12 Nokia Technologies Oy Signaling of multiple decoding times in media files
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
KR100939915B1 (ko) * 2007-12-18 2010-02-03 한국전자통신연구원 사용자 선호도를 이용한 svc 비디오의 일반화된 fgs데이터 추출 장치 및 방법
CN103416003B (zh) * 2011-01-14 2015-05-27 维德约股份有限公司 改进的nal单元头部
US9591318B2 (en) * 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771873A (zh) * 2005-03-17 2010-07-07 Lg电子株式会社 对使用层间预测编码的视频信号进行解码的方法
CN101385348A (zh) * 2006-01-09 2009-03-11 Lg电子株式会社 用于视频信号的层间预测方法
CN101455084A (zh) * 2006-03-30 2009-06-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YE-KUI WANG等: "solutions considered for NAL unit header and video parameter set for HEVC extensions", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 10TH MEETING:STOCKHOLM》 *

Also Published As

Publication number Publication date
JP2015531556A (ja) 2015-11-02
EP2876882A1 (en) 2015-05-27
WO2014038906A1 (ko) 2014-03-13
EP2876882A4 (en) 2016-03-09
KR20150054752A (ko) 2015-05-20
US20150288976A1 (en) 2015-10-08
JP5993092B2 (ja) 2016-09-14

Similar Documents

Publication Publication Date Title
CN104620585A (zh) 图像解码方法和使用其的装置
CN104335585A (zh) 图像解码方法和使用其的装置
KR100934676B1 (ko) 다시점 비디오의 처리
CN104871540B (zh) 编码视频的方法、解码视频的方法以及使用其的装置
CN104137561B (zh) 解码图像的方法和使用其的装置
CN105103563B (zh) 关于缩放列表数据信令的方法和装置
CN105284113A (zh) 分量间滤波
CN104471942A (zh) 重新使用参数集用于视频译码
CN104813667A (zh) 具有自适应变换和多帧间层运动候选的帧间层纹理编码
CN104885453A (zh) 支持多个层的用于编码/解码图像的方法和设备
KR20150043220A (ko) 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
CN105723712A (zh) 基于多层的图像编码/解码方法和设备
US20140286415A1 (en) Video encoding/decoding method and apparatus for same
CN108718411B (zh) 图像解码方法和使用其的装置
KR102150671B1 (ko) 영상 부호화/복호화 방법 및 장치
CN105075260A (zh) 编码支持可伸缩性的多层结构视频的方法和解码其的方法以及用于其的装置
KR20130086011A (ko) 비디오 정보 전송 방법, 비디오 복호화 방법, 비디오 부호화기 및 비디오 복호화기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150513

RJ01 Rejection of invention patent application after publication