CN104937932B - 可适性视频编码的增强参考区域利用 - Google Patents

可适性视频编码的增强参考区域利用 Download PDF

Info

Publication number
CN104937932B
CN104937932B CN201280075531.6A CN201280075531A CN104937932B CN 104937932 B CN104937932 B CN 104937932B CN 201280075531 A CN201280075531 A CN 201280075531A CN 104937932 B CN104937932 B CN 104937932B
Authority
CN
China
Prior art keywords
region
layer
zone
reference zone
zones
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280075531.6A
Other languages
English (en)
Other versions
CN104937932A (zh
Inventor
张文豪
邱怡仁
徐理东
韩钰
邓智玭
蔡晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104937932A publication Critical patent/CN104937932A/zh
Application granted granted Critical
Publication of CN104937932B publication Critical patent/CN104937932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

用于识别用于生成预测块的一个或多个候选参考块以编码当前编码块的技术。所述候选参考块可以与当前编码块在同一层或在不同的层。此外，所述候选参考块不必与当前编码块同定位。运动矢量和偏移矢量可用于识别一个或多个候选参考块。此外，可以施加均匀的和非均匀加权到一个或多个候选参考块以生成所述预测块。因此，编码器可确定并识别到解码器的参考块，该解码器可提供所需的速率‑失真成本。

Description

可适性视频编码的增强参考区域利用
背景技术
高效视频编码(HEVC)是不断发展的视频压缩标准，其由联合协作小组在由ISO/IEC运动图像专家组(MPEG)和ITU-T视频编码专家组(VCEG)形成的视频编码(JCT-VC)上发展。与以往的视频编码标准一样，HEVC描述了基本模块的使用，例如内预测/间预测(intra/inter prediction)、变换、量化和环内滤波(in-loop filtering)以及熵编码。JCT-VC正在计划增加可适性视频编码(SVC)扩展到所述HEVC标准中。HEVC的SVC扩展可以潜在地应对在视频服务环境中的网络和设备的异构性。
附图说明
图1示出一个示例系统，其产生一个基础层和两个增强层。
图2A示出了同定位的较低层块的位置。
图2B描述了使用可能在不同层中没有同定位的层间参考块的例子。
图3示出一个例子，其中多个参考块可以被搜索，并可能被用于编码当前编码块。
图4描述了用于由编码器对块进行编码的示例性过程。
图5描述了用于由解码器基于一个或多个候选参考块来解码块的示例过程。
图6描绘了一个示例方式来传送参考块索引和偏移矢量至解码器。
图7示出了一个系统的实施例。
图8示出了一个装置。
具体实施方式
对于编码视频，HEVC定义编码单元(CUs)，其是用来将图片细分成具有可变大小的矩形块。在每个CU内，基于四叉树的分裂方案可用于指定CU划分图案。此外，HEVC定义预测单元(PUs)和变换单元(TUs)，来指定如何划分CU以分别用于预测和变换。内预测或间预测之后，对残余块进行变换以生成系数。接着，系数被量化、扫描到一维顺序并且经过上下文自适应的二进制算术编码(CABAC)的编码。
SVC比特流包含了若干可解码的子集比特流。所述子集比特流表示源视频内容，其具有不同的分辨率、帧速率、质量、比特深度，等等。可适性(scalability)可以通过使用多层编码结构来实现。在SVC系统中，有一个基础层(BL)以及若干增强层(ELs)。
图1示出产生一个BL和两个ELs的示例系统。该BL可以根据HEVC编码。当EL具有等于N的层标识符时，所有具有小于N的层标识符的层可用。可以使用来自较低层图片的层间参考块(ILRBs)，或由来自在同一层中的先前编码的图片的时间参考块(TRBs)来预测属于EL的块。术语“块”可以与“区域”互换。“块”可以是任何形状的像素区域，诸如正方形、矩形、三角形、圆形，等等。
尽管未示出，每个编码器和解码器可以包括控制器，该控制器启动各要素的操作，包括但不限于通过无线电或网络接口对输出比特流的传输。
在以前SVC标准和系统中，当EL块被编码时，只有一个参考块可以使用。如果该块是间预测时，TRB将被使用。但是，如果该块是层间预测时，ILRB将被使用。在已知的SVC标准和系统中，当应用层间像素/重建预测或层间残余预测时，较低层的同定位的块被标记为被用作层间参考块(ILRB)。同定位意味着一个区域覆盖基础层和增强层中相同的坐标。例如，图2A示出了同定位的较低层块的位置被精确地对准到更高层的当前编码块。然而，使用同定位的较低层块可能不会导致最佳的压缩性能。换句话说，使用同定位的较低层块编码当前编码块可能不提供期望的速率失真成本(rate distortion cost)。在一些情况下，期望的速率失真成本是最低的速率失真成本。速率失真成本可以是失真(视频质量的损失)量的相对于对视频进行编码所需要的数据量的测量。各种技术可用于测量速率失真成本。
图2B示出了使用层间参考块的一个例子，所述层间参考块可能在不同层中没有同定位。两维偏移参数shift_vector可以用于指定关于在与关于当前编码块同定位的ILRB相同的层中的块的ILRB的左上角的像素坐标。例如，如果shift_vector具有参数(Hor，Ver)，则同定位的位置为原点，并具有等于(0，0)的shift_vector。如果Hor为正值，ILRB低于同定位的位置。如果Hor为负值，ILRB高于同定位的位置。如果Ver是正值，ILRB是在同定位的位置的右侧，但如果Ver是负值，ILRB是在同定位的位置的左侧。其他约定可用于识别ILRB的左上像素坐标位置。
各种实施例提供一种方式，以识别用于生成预测块的一个或多个候选参考块以对当前编码块进行编码。候选参考块可以是在与当前编码块相同的层中或不同层中。另外，候选参考块不必与当前编码块同定位。运动矢量和偏移矢量可以被用来识别所述候选参考块。此外，均匀的和不均匀的加权可以被应用到所述候选参考块来生成所述预测块。因此，编码器可确定并识别到解码器的参考块，该解码器可提供所需的速率-失真成本。相应地，视频的质量可以在维持用于传输视频的相同的带宽的同时得以改善。
各种实施例提供用于使用多个参考块来对块进行编码。在一些实施例中，四种参考块可用于编码所述当前编码块。然而，可以使用其他数量的参考块。例如：
1、时间参考块(TRB)是在相同的层中的时间参考图片的块，并且可以通过时间的motion_vector指定。
2、层间参考块(ILRB)是在较低层中的相应图片的块，并且可以通过shift_vector指定。例如，如果层0是基础层，则在层1中的块可以使用来自层0的ILRBs，并且层2中的块可以使用来自层0和1的ILRBs。如果采用空间可适性的情况下，在较低层中的块可以被上采样到当前编码块的大小。上采样可包括像素插值和缩放到当前编码块的层的分辨率。
3、T+ILRB是TRB的ILRB。如果采用空间可适性的情况下，较低层的块可以被上采样到当前编码块的大小。
4、IL+TRB是ILRB的TRB。如果采用空间可适性的情况下，较低层的块可以被上采样到当前编码块的大小。
图3示出一个例子，其中可以搜索多个参考块，并可能用于编码当前编码块。图片A是当前编码图片并具有层id＝n和时间的id＝t。图片A有两个时间参考图像：(1)前向参考图像B，其时间的id等于t-1和(2)后向参考图像C，其时间的id等于t+1。在层n-1中，图片D是图片A对应的图片。图片D与图片A具有相同的时间id。图片E和F分别是图片D的时间前向和后向参考图片。图片E和F的时间id分别为t-1和t+1。在层n-2中，图片G是图片A的相应图片。
例如，当图片A的块a是当前编码块，可以生成参考块b至i的多个参考块列表。以下是参考块列表的一个例子。
1、块b，c，和d是块a的TRBs，并且可以使用motion_vectors定位。
2、块e和f是在层n-1中的块a的ILRBs(在层n-1中的块a示为a′)，并且可以使用shift_vectors定位。块e和f的采样可以被应用来匹配其像素尺寸到块a的尺寸。
3.块g是层n-1中的块a的T+ILRB。块g可从现有TRB c导出，通过使用关于c′的shift_vector，c′是在层n-1中的块C的同定位版本。块g的上采样可被应用以匹配其像素尺寸到块a的尺寸。
4.块h是在层n-1中的块a的IL+TRB。块h可以使用f的motion_vector从现有ILRB f导出。块h的上采样可被应用以匹配其像素尺寸到块a的尺寸。
5.块i是在层n-2中的块a的ILRB(其被示出为a″)。块i可使用shift_vector定位。块i的上采样可以被应用来匹配其像素尺寸到块a的尺寸。
参考块列表建立的过程可以是自适应或者固定的。可以选择相对于当前编码块具有最低绝对差和(SAD)的参考块。在自适应实现中，可以基于从最低到最高的它们的相对SAD值来选择并排序参考块。
在一种实现中，设置参考块列表，使得所有的ILRBs以其层距离递增的顺序被添加到所述列表中。接着，所有的TRBs可以以其时间距离递增的顺序被添加到列表的尾部。然后，所有的T-ILRBs可以以其层距离递增的顺序被添加到该列表的尾部。然后，所有的IL-TRBs可以以时间距离递增的顺序被添加到该列表的尾部。
在一些实施例中，并非所有的识别的参考块都被用于对所关注的块进行编码。所述编码器可以选择一个或多个参考块来从参考块列表使用。例如，速率-失真(RD)成本可以被用于选择生成最低RD成本的参考块。非RD成本确定可以被用来选择参考块。
对于基于RD成本的方法用来选择一个或多个参考块，一个示例实现是找到单个最佳的参考块。编码器可以建立参考块的列表，并且由索引来标记每个参考块。RD成本可以通过使用以下公式对于每个参考块来计算：
RD(i)＝SAD(i)+lambda＊Bits(i)
其中：
SAD(i)表示原始块的像素样本和参考块的像素块之间的SAD值，并且Bit(i)是当使用该参考块时得到的编码比特数。
具有最小RD(i)的所述参考块可以被用于最终的编码并将其索引发送给解码器。
另一个示例实现识别用于编码感兴趣的块的多个参考块。可以搜索多个参考块以识别M个块。RD成本公式可以是：
RD(i0，i1，...，iM)＝SAD(i0，i1，...，iM)+lambda＊Bits(i0，i1，...，iM)
因此，编码器通过找到生成最低RD成本的M个块来查找M个块的最佳组合。可以由编码器来提供最好的参考块的索引以传输到解码器。所述解码器可使用为了解码块所识别的参考块。
一种基于非RD的识别用于编码块的参考块的方法可以如下。所述参考块的顺序可以是固定的，并且使用的前N个可用的块可被识别为参考块。所述时间的和层的距离可以用作度量以用于排序。加权因子也可以固定。例如，最大的加权系数被提供给第一参考块，第二大加权因子被提供给第二参考块，依此类推。例如，第一参考块可以是具有离感兴趣的块的最低的时间的和最低的层的距离的块，等等。
一种称为best_reference_block_idx的语法可以在比特流中信号通知索引。在一些实施例中，来自JCT-VC的高效视频编码(HEVC)文本规范草案8(2012年)的7.3.9.1或7.3.10部分的普通编码单元的语法可以用来传输best_reference_block_idx。
在解码器侧，参考块列表被重建。对于基于自适应的RB列表，例如，基于RD成本，解码器可以构造列表。对于固定方法的RB列表，解码器可以以与编码器构造列表的类似方式构造列表。所述解码器根据best_reference_block_idx选择最好的参考块来完成解码过程。在某些情况下，解码器从最好的参考块中选择。在一些情况下，具有最低RD成本的若干参考块可以被识别到解码器。如果没有收到best_reference_block_idx，解码器可以使用所有可用的参考块。
在一些情况下，具有值N的参数max_active_reference_block_num可以通过或在编码器的指令下形成，以通知解码器来使用前N个可用的参考块，而不是所有的参考块。参数max_active_reference_block_num可被发送到解码器，使用序列参数集(SPS)、图片参数集(PPS)或片段标头(slice header)。使用比所有可用的参考块少的参考块可以通过使用更少的缓冲区大小来使解码器受益。SPS例如在高效视频编码(HEVC)文本规范草案8(2012)的第7.3.2.2节中描述，并且PPS在高效视频编码(HEVC)文本规范草案8(2012年)的第7.3.2.3节中描述。控制整个视频或整个图片的语法可以在SPS和PPS中被传送。
选择了多个参考块后，在编码器处，预测块可被确定。假定有N个参考块，包括TRBs、ILRBS、T+ILRBs和IL+TRBs，预测块可以通过下列公式计算，
pred＝w0 ＊ref0+w1 ＊ref1+...+wN ＊refN+o
其中：
pred表示生成的预测块；
w0到wN是加权因子；以及
ref0到refN指多个参考块。
在参考块中的所有的像素样本值与加权因子相乘。具体来说，亮度和色度值与加权因子相乘。
对于预测块pred，加权因子w0到wN控制每个参考块的大小以及偏移因子o。在一些实现中，使用默认的加权因子和偏移因子。在一些实现中，由编码器生成加权因子和偏移因子并发送到解码器。
该加权因子可以以不同的方式确定，例如：
1、在一些实现中，使用简单的平均，因此，所有的加权因子都等于1/N，并且
2、在一些实现中，加权因子与到当前编码块的时间和空间的距离相关。当motion_vector/shift_vector值较大，将使用较小的加权因子，因为该参考块更远离当前编码块。
偏移因子o可用于调整加权预测结果以实现灵活性。偏移因子可以由编码器来确定。如果编码器检测到加权预测结果总是比原始像素值小时，可以使用正的偏移因子，反之亦然。
运动矢量和偏移矢量，视具体情况可以识别参考块ref0到refN的位置，参考块ref0到refN被用于编码预测块pred。运动矢量和偏移矢量可以由编码器提供以用于传输到解码器。
在一些实现中，shift_vector可以以块级来被信号通知，这意味着每个CU/PU/TU可能有不同的shift_vector。在其他实现中，shift_vector可以以片段/图片/层的级别来被信号通知，这意味着属于所述片段/图片/层的所有的块可以使用相同的区域偏移矢量。在某些情况下，对于该片段中的所有块的基于速率失真成本的参考块选择后，大部分的偏移矢量被集中到某一值。这个集中式的值可以被选择作为区域偏移矢量。在片段级编码集中偏移矢量可以使片段中的大多数块受益。用片段/图片/层区域偏移矢量可避免使用将会被用于编码每个块的偏移矢量的比特。区域偏移矢量指，同一偏移矢量被用于解码在片段/图片/层级别的块或区域。在一些实现中，在相同的片段/图片/层中的所有块使用区域偏移矢量，以找到它们的ILRB。
在一些情况下，每个块还可以发送增量偏移矢量，并且用于定位ILRB的实际偏移矢量可通过求区域偏移矢量和增量偏移矢量的和来获得。
如果块a是在图片A中的当前编码块，并且预测块pred被用于编码块a，块a和所述预测块pred之间的误差差别是残余。所述残余将被变换、量化并且熵编码在比特流中并被提供以传输到解码器。
图4描绘通过编码器对块进行编码的示例性过程。
块401包括选择在编码候选块中使用的一个或多个候选参考块。候选块可以是任何尺寸。例如，候选块可以是方形、矩形、三角形、圆形或任何形状。例如，候选块可以是具有可变大小的矩形块。候选块可以是HEVC CU。例如，所述一个或多个候选参考块可以在同一层中或者是与比所述候选块不同的层中。所述一个或多个参考块可以在不同的层中与候选块没有同定位。对于在与候选参考块相同层中的每个候选参考块，具有x，y坐标的运动矢量和参考图片索引分量可用于识别候选参考块离候选块的偏移。当候选参考块是在不同的层，但在相等的帧中，偏移矢量可以被用来识别相对于与候选参考块相同的层中的同定位的候选块的候选参考块的位置。当候选参考块是在不同的层中，并在不同的帧中，相对于同定位的候选块的运动矢量和偏移矢量可用于识别相对于同定位的候选块的候选参考块的位置。
一个或多个参考块可基于RD成本或离候选块的距离来选择。
块402包括确定应用到所选择的一个或多个候选参考块的加权。基于所确定的加权，所述候选参考块都可以被用来形成对候选块的预测块。先前描述了用于确定加权系数的技术。
在一些情况下，框402还可以包括确定偏移因子。先前描述了偏移因子的确定。
框403包括提供用于传输到解码器的编码参数。所述编码参数可以包括每个候选参考块的层索引、运动矢量、偏移矢量、加权系数和所述候选参考块的偏移。预测块和候选块的残余差异可以被量化和熵编码，并且提供以用于传输到解码器。
参数的传输可使用视频位流发生。在比特流中的语法信息可用于传输参数。
图5描绘了用于基于一个或多个候选参考块由解码器来解码块的示例过程。所述块可以是任意大小的像素的正方形或长方形或其它形状。被解码的块可以是HEVC CU。
框501包括确定多个参考块是否被用于预测块。所述预测块可被用于解码块。如果多个参考块被用来确定预测块，则框502可以跟随框501。如果多个参考块不被用来确定预测块，则框530可以跟随框501。每个参考块可使用层索引、运动矢量或偏移矢量来识别。参考块可以由视频编码器进行识别。
框502包括生成参考块。用于生成参考块的技术依赖于参考块的类型。一种解码器可以基于关于参考块接收到的参数知道参考块是否是ILRB、TRB、T+ILRB或IL+TRB。例如，如果存在仅仅接收到的运动矢量，但没有偏移矢量，解码器知道参考块是TRB。如果仅存在接收的偏移矢量，但没有运动矢量，解码器知道参考块是ILRB。如果TRB有它自己的偏移矢量，则使用所述偏移矢量识别的参考块为T+ILRB。如果ILRB有它自己的运动矢量，则使用所述运动矢量识别的参考块是IL+TRB。
生成TRB可包括使用接收到的运动矢量来识别相对于要被解码的块的位置的TRB的左上坐标。
生成ILRB可包括使用接收到的偏移矢量来识别相对于较低级中同定位的块的ILRB的左上坐标。解码器可以基于视频流中接收到的信息确定所述ILRB的层级。另外，上采样可以应用以将ILRB转化到要被编码的块的尺寸和分辨率。
生成T+ILRB可包括(a)使用接收到的运动矢量来识别相对于将要被解码的块的位置的TRB的左上坐标和(b)使用偏移矢量来识别相对于在较低级中的TRB的同定位的块的T+ILRB的左上的坐标。
生成IL+TRB可包括(a)使用偏移矢量来识别相对于同定位的块在较低级中的块的左上坐标和(b)使用接收到的运动矢量来识别相对于使用偏移矢量所识别的块的位置的IL-TRB的左上坐标。
如果使用空间可适性的情况下，在较低层中的块可以被上采样到当前编码块的大小。上采样可包括像素插值和缩放到当前编码块的层的分辨率。
shift_vector的分辨率可以是整数或分数。当shift_vector具有分数分辨率，内插滤波器用于生成实际ILRB。可使用各个内插滤波器，包括但不限于双线性滤波器、双三次滤波器、多相FIR滤波器，等等。
框510包括确定是否提供用于解码感兴趣的块中使用的所有参考块已被识别。相关的参考块可以通过编码器来识别。框502重复到框510表明已生成所有参考块。
框520包括从一个或多个参考块生成预测块。例如，可以从加权每个所述一个或多个参考块生成该预测块。每个参考块的权重可以是不同的或相同的。前面描述了一个生成预测块的示例方式。
框530包括使用单个参考块应用间预测或内预测，以确定所关注的块的预测块。相对于HEVC以及任何各种H.264和MPEG建议的技术可以被用于预测块的间预测或内预测。
框540包括应用残余解码(residual decoding)到所述预测块。可以使用一个或多个参考块来确定所述预测块。残余值可由视频编码器提供，并且可以以熵编码格式被接收。框540包括解码所述残余值。解码残余值可包括应用熵解码和逆量化(inversequantization)。残余值可包括在感兴趣的原始预编码块中的像素和在预测块中的像素之间的像素差值。
框550包括重建感兴趣的块。重建感兴趣块可以包括在每个像素的基础上对与预测块的残余值进行求和。所得的感兴趣块是编码块的重构版本。
图6描绘示例方式来发送参考块索引和偏移矢量至解码器。如图6所示的表达式和参数可用于视频流中，以识别参考块的索引号和每个参考块的水平和垂直的偏移矢量的值。此外，所述偏移矢量与特定层相关联，并且可以从最低层到最高参考层进行传输。参考块可以是TU、PU、CU、片段、图片或层级。在一些实施例中，为了发送参考块索引和syntax_vectors，来自JCT-VC的高效视频编码(HEVC)文本规范草案8(2012年)7.3.9.1或7.3.10节的一般编码单元的语法。
下面提供图6中引用的参数的表格，其可被发送到解码器。
名称 简要描述
层ID 参考块的层数
inter_layer_reference_block_num 参考块索引号
shift_vector_hor 偏移矢量的水平偏移
shift_vector_ver 偏移矢量的垂直偏移
weighting_factor 特定层中特定参考块的加权因子
offset_factor 确定预测块的偏移因子
图7示出了系统700的实施例。在实施例中，系统700可以是媒体系统，但系统700并不局限于此上下文。例如，系统700可以并入个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备，等等。
在实施例中，系统700包括耦合到显示器720的平台702。平台702可接收来自内容设备的内容，如内容服务设备730或内容传递设备740或其他类似的内容源。包括一个或多个导航特征的导航控制器750可被用来与例如平台702和/或显示器720进行交互。在下面更详细地描述每个组件。在一些情况下，平台702可以通过显示接口通信地耦合于显示器720。
在实施例中，平台702可包括芯片组705、处理器710、存储器712、存储设备714、图形子系统715、应用716和/或无线电设备718的任何组合。芯片组705可提供处理器710、存储器712、存储设备714、图形子系统715、应用716和/或无线电设备718之间的互通。例如，芯片组705可以包括存储适配器(未示出)，其能够提供与存储设备714的互通。
处理器710可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容的处理器、多核、或任何其它微处理器或中央处理单元(CPU)。在实施例中，处理器710可以包括双核处理器、双核移动处理器，等等。
存储器712可被实现为易失性存储器装置，诸如，但不限于，随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储设备714可以被实现为非易失性存储设备，诸如，但不限于，磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加存储设备、闪速存储器、电池备份SDRAM(同步DRAM)和/或网络可访问的存储设备。在实施例中，当例如包括多个硬盘驱动器时，存储设备714可包括对有价值的数字媒体增加存储性能增强的保护的技术。
图形子系统715可以执行图像处理，例如用以显示的静止或视频。图形子系统715可以是例如图形处理单元(GPU)或视觉处理单元(VPU)。VPU的各种实施例可以使用硬件、软件、和/或固件提供视频编码或解码。VPU的各种实施例可使用本文中所描述的实施例。模拟或数字接口可以被用于通信地耦合图形子系统715和显示器720。例如，该接口可以是任何一个高清晰度的多媒体接口、DisplayPort、无线HDMI和/或无线HD兼容技术。图形子系统715可被集成到处理器710或芯片组705。图形子系统715可以是可通信地耦合到芯片组705的独立的卡。
本文所描述的图形和/或视频处理技术可在各种硬件架构中实现。例如，图形和/或视频功能可以在芯片组内集成。可替代地，可以使用分离的图形和/或视频处理器。作为另一实施例，图形和/或视频功能可以由通用处理器实现，包括多核处理器。在进一步的实施例中，所述功能可以在消费电子设备中实现。
无线电设备718可以包括一个或多个能够使用各种合适的无线通信技术发射和接收信号的无线电设备。这样的技术可以包括跨一个或多个无线网络的通信。示例性无线网络包括(但不限于)无线局域网(WLAN)、无线个人区域网络(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这样的网络进行通信时，无线电设备718可以按照任何版本中的一个或多个适用的标准操作。
在实施例中，显示器720可包括任何电视类型的监视器或显示器。显示器720可以包括，例如，计算机显示屏幕、触摸屏显示器、视频监视器、电视类装置，和/或电视。显示器720可以是数字和/或模拟的。在实施例中，显示器720可以是全息显示。另外，显示720可以是可以接收视觉投影的透明表面。这种投影可传达各种形式的信息、图像和/或对象。例如，这样的投影可以是用于移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用716的控制下，平台702可在显示器720上显示用户界面722。
在实施例中，内容服务设备730可通过任何国家、国际和/或独立的服务承载，从而经由例如因特网可访问平台702。内容服务设备730可耦合到平台702和/或显示器720。平台702和/或内容服务设备730可被耦合到网络760来传送(例如，发送和/或接收)媒体信息到网络760或从网络760传送媒体信息。内容递送装置740也可耦合到平台702和/或显示器720。
在实施例中，内容服务设备730可包括有线电视盒、个人计算机、网络、电话、因特网实现设备或能够递送数字信息和/或内容的器具，以及能够通过网络760或直接地单向地或双向地在内容提供商和平台702和/显示器720之间传递内容的任何其他类似的装置。应该理解的是，所述内容可通过网络760被单向地和/或双向地传送到系统700中的部件和内容提供商中的任何一个以及从其中传送。内容的实例可以包括任何媒体信息，包括例如，视频、音乐、医疗和游戏的信息，等等。
内容服务设备730接收内容，例如有线电视节目，包括媒体信息、数字信息和/或其他内容。内容提供商的实例可包括任何有线或卫星电视或广播电台或互联网内容提供商。所提供的实施例不意味着限制本发明的实施例。
在实施例中，平台702可接收来自具有一个或多个导航特征的导航控制器750的控制信号。控制器750的导航特征可用于与例如用户界面722交互。在实施例中，导航控制器750可以是指点装置，其可以是计算机硬件组件(具体地是人机接口设备)，其允许用户输入空间(例如，连续的和多维的)数据到计算机。许多如图形用户界面(GUI)以及电视和监视器的系统允许用户来控制，并利用身体手势提供数据到计算机或电视。
控制器750的导航特征的运动可以呼应在显示器(例如，显示器720)上，通过指针、光标、聚焦环或在显示器上显示的其它的视觉指示器的运动。例如，在软件应用716的控制下，位于导航控制器750上的导航特征可以被映射到显示在例如用户界面722上的虚拟导航特征。在实施例中，控制器750可能不是单独的组件，但被纳入平台702和/或显示器720。但是，实施例并不限于这些元件或在所示上下文中或本文中所描述。
在实施例中，例如在启用时，驱动器(未示出)可以包括使用户能够在初始启动后以触摸按钮像电视一样即时开启和关闭平台702的技术。当平台“关闭”时，程序逻辑可以允许平台702流播内容到媒体适配器或其他内容服务设备730或内容递送设备740。此外，芯片组705可以包括用于例如5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件支持。驱动器可能包括集成图片平台的图形驱动器。在实施例中，图形驱动器可包括外设部件互连(PCI)快速图形卡。
在各种实施例中，系统700中所示的任何一个或多个组件可以被集成。例如，平台702和内容服务设备730可被集成，或者平台702和内容递送设备740可以被集成，或者平台702、内容服务设备730和内容递送设备740可被集成。在各种实施例中，平台702和显示器720可以是集成单元。例如，显示器720和内容服务设备730可被集成，或显示器720和内容递送设备740可以被集成。这些示例并不意味着限制本发明。
在各种实施例中，系统700可以被实现为无线系统、有线系统、或两者的组合。当作为无线系统实现时，系统700可以包括适于在无线共享介质上通信的组件和接口，诸如一个或多个天线、发射机，接收机、收发机、放大器、滤波器、控制逻辑，等等。无线共享介质的示例可包括无线频谱的一些部分，诸如RF频谱等。当作为有线系统实现，系统700可以包括适于在有线通信介质上通信的组件和接口，如输入/输出(I/O)适配器、采用相应的有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器，等等。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤，等等。
平台702可以建立一个或多个逻辑或物理信道来通信信息。该信息可以包括媒体信息和控制信息。媒体信息可以指表示对用户有意义的内容的任何数据。内容的例子可以包括，例如，来自语音会话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据可以是，例如，语音信息、静默时段、背景噪声、舒适噪声、音调等等。控制信息可以指表示对自动系统有意义的命令、指令或控制字的任何数据。例如，控制信息可以通过系统被用来将媒体信息路由，或指示节点以预定方式处理媒体信息。然而实施例并不限于这些元件或在所示上下文中或图7中所描述。
如上所述，系统700可以体现为不同的物理样式或形状因子。图8示出了小形状因子装置800的实施例，其中系统700可以被具体化。在实施例中，例如，设备800可以被实现为具有无线能力的移动计算设备。移动计算设备可以指具有处理系统和移动电源或电源的任何设备，如一个或多个电池。
如上所述，移动计算设备的示例可包括个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备，等等。
移动计算装置的示例还可以包括被布置成由人佩戴的计算机，诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机以及其它可佩带的计算机。在实施例中，例如，移动计算设备可被实现为能够执行计算机应用，以及语音通信和/或数据通信的智能电话。尽管一些实施例可以以举例的方式实现为智能电话的移动计算设备进行描述，但是可以理解的是，其他实施例还可以使用其它无线移动计算设备实现。该实施例不限于该上下文。
图8示出设备800，其可以使用本发明的实施例。装置800包括外壳802、显示器804、输入/输出(I/O)设备806以及天线808。设备800还可以包括导航特征812。显示器804可以包括任何合适的显示单元，用于显示适于移动计算装置的信息。I/O设备806可以包括用于将信息输入到移动计算设备的任何合适的I/O设备。用于I/O设备806的实例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件等。信息还可以通过麦克风被输入到设备800。这样的信息可通过语音识别设备被数字化。该实施例不限于该上下文。
各种实施例可使用硬件元件、软件元件或两者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如、晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件的例子可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。确定使用硬件元件和/或软件元件是否可以实现实施例按照任何数量的因素可能会有所不同，如所希望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
术语“逻辑”可包括，通过示例，软件或硬件和/或软件和硬件的组合。
一些实施例可利用“耦合”和“连接”以及它们的派生的表达来描述。这些术语并不旨在作为彼此的同义词。例如，一些实施例可使用术语“连接的”和/或“耦合”来表示两个或更多元件彼此直接物理或电接触进行描述。然而，术语“耦合”，也可以指两个或更多个元件并非彼此直接接触，但仍协作或彼此交互。
一些实施例可被实现，例如，使用机器可读介质或制品，其可以存储指令或者一组指令，如果由机器执行，可使机器根据该实施例执行方法和/或操作。这样的机器可以包括，例如，任何合适的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器、或类似的、并且可以使用硬件和/或软件的任何适当组合来实现。所述机器可读介质或制品可以包括、例如、任何合适类型的存储器单元、存储器设备、存储器制品、存储器介质、存储设备、存储制品、存储介质和/或存储单元、例如、存储器、可移动的或不可移动介质、可擦除或不可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、压缩盘只读存储器(CD-ROM)、可记录压缩盘(CD-R)、可重写压缩盘(CD-RW)、光盘、磁介质、磁光介质、可移动存储卡或盘、各种类型的数字通用盘(DVD)、磁带、盒式磁带、或类似的。指令可以包括任何合适类型的代码、诸如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等，使用任何适合的高级的、低级的、对象取向、可视、编译和/或解释的编程语言实现的。
除非特别声明，否则可以理解的是，术语如“处理”，“运算”，“计算”，“确定”，或类似术语是指计算机或计算系统或类似的电子计算设备的动作和/或过程，其操纵和/或变换在计算系统的寄存器和/或存储器内表示为物理量(例如，电子的)的数据成为在计算系统的存储器、寄存器或其他这样的信息存储、传输或显示器内类似地表示为物理量的其他数据。该实施例不限于该上下文。
许多具体细节已经在此阐述以供彻底理解实施例。然而，本领域技术人员可以理解的是，实施例可以在没有这些具体细节的情况下实施。在其他实例中，众所周知的操作、组件和电路并未进行详细描述以免混淆这些实施例。可以理解的是，本文公开的具体结构和功能细节可以是代表性的而不一定限制实施例的范围。
虽然本主题已经以特定于结构特征和/或方法动作的语言进行了描述，但是应该理解的是，在所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作被公开作为实现权利要求的示例形式。
实施例可以包括对图像区域进行解码的装置，该装置可以包括：电路、逻辑或一个或多个处理器，编程、配置或适合于：至少部分基于参数识别第一参考区域，所述第一参考区域位于比图像区域要低的层中，并且第一参考区域与图像区域同定位或者没有同定位；并且至少基于第一参考区域形成预测区域；并至少基于所述预测区域和残余值形成图像区域。
实施例可包括一种计算机实现的方法，该方法可以包括：从接收到的视频流访问参数，所述参数识别一个或多个参考区域，所述参数包括一个或多个运动矢量、一个或多个偏移矢量、层标识符、一个或多个参考块索引和一个或多个参考区域的加权因子；基于所述一个或多个参考区域和加权因子确定预测区域；从接收到的视频流的至少一部分确定残余值；及基于所述预测区域和所述残余值形成第一区域。
实施例可包括一种系统，以对相对于一个或多个参考区域的图像区域进行编码。该系统可以包括：电路、逻辑或处理器，其被编程、配置或适于：识别或定位在比该图像区域低的层中的一个或多个参考区域；确定或计算应用到每个所述一个或多个参考区域的加权；并提供编码参数以传输到具有视频解码器的设备，或到视频解码器。
实施例可以包括一种方法，以对相对于一个或多个参考区域的图像区域进行编码。该方法包括识别或定位在比该图像区域低的层中的一个或多个参考区域；确定或计算应用到每个所述一个或多个参考区域的加权；并提供编码参数以传输到具有视频解码器的设备，或到视频解码器。
实施例可以包括一种方法，用于对用于编码的视频的第一区域进行编码，所述方法包括：识别用于编码的视频的第一区域；确定用于编码所述第一区域的一个或多个参考区域，所述一个或多个参考区域在比该第一区域低的层中，并且与所述第一区域同定位或者没有同定位；将所述一个或多个参考区域进行排序；并且确定用于编码所述第一区域的所述一个或多个参考区域的加权因子。
可以使用一个或多个运动矢量和/或一个或多个偏移矢量识别或者定位在比图像区域低的层中的所述一个或多个参考区域。此外，可以通过识别具有最低的或低速率失真成本的一个或多个区域来选择所述一个或多个参考区域。施加到每个参考区域的加权可以是均匀的或不均匀的。在一些情况下，所述参数可识别最佳的或若干最佳参考区域给解码器来使用。参数可以包括一个或多个运动矢量、一个或多个偏移矢量、层标识符、至少一个参考块索引、加权因子和偏移因子。所述参数可以被发送到接收机，其使用来自JCT-VC的高效率视频编码(HEVC)文本规范草案8(2012年)的第7.3.9.1或7.3.10部分的编码单元的语法。此外，该系统可以包括：电路、逻辑或处理器，其被编程、配置或适于：确定或计算在预测区域和图像区域之间的残余，并且量化和熵编码所述残余，用以发送到具有解码器的设备或发送到解码器。该方法可以包括确定或计算在预测区域和图像区之间的残余，并且量化和熵编码所述残余，用以发送到具有解码器的设备或发送到解码器。

Claims (25)

1.一种用于解码图像区域的装置，该装置包括：
一个或多个处理器，其被配置成：
从多个可用的参考区域中选择一个或多个参考区域；
至少部分基于参数识别第一参考区域，所述第一参考区域位于比所述图像区域低的层中，并且所述第一参考区域与所述图像区域同定位或者没有同定位；
至少基于所述第一参考区域形成预测区域；以及
至少基于所述预测区域和残余值形成所述图像区域。
2.根据权利要求1所述的装置，其中所述参数包括：一个或多个运动矢量、一个或多个偏移矢量、层标识符和一个或多个参考区域索引。
3.根据权利要求1所述的装置，其中，为了至少部分基于参数识别第一参考区域，所述一个或多个处理器用于：
响应于作为时间参考区域的所述第一参考区域，应用至少一个运动矢量来识别所述第一参考区域；
响应于作为层间参考区域的所述第一参考区域，应用至少一个相对于在比所述图像区域低的层中的同定位的区域的偏移矢量；
响应于作为相对于时间参考区域的层间参考区域的所述第一参考区域，应用运动矢量来定位所述时间参考区域，并应用偏移矢量来定位所述层间参考区域；以及
响应于作为相对于层间参考区域的时间参考区域的所述第一参考区域，应用偏移矢量来定位所述层间参考区域，并应用运动矢量来定位相对于所述层间参考区域的时间参考区域。
4.根据权利要求1所述的装置，其中，为了至少基于所述第一参考区域形成预测区域，所述一个或多个处理器用于：
应用加权因子到所述第一参考区域。
5.根据权利要求1所述的装置，其中所述第一参考区域包括具有最低速率失真成本来编码所述图像区域的区域。
6.根据权利要求1所述的装置，其中，所述至少一个处理器用于：
至少部分基于参数识别第二参考区域，所述第二参考区域位于比所述图像区域低的层中，并且所述第二参考区域与所述图像区域同定位或没有同定位；以及
至少基于所述第一参考区域和所述第二参考区域形成预测区域。
7.根据权利要求6所述的装置，其中，
所述第一和第二参考区域当用于形成所述预测区域时提供最低速率失真成本来编码所述图像区域。
8.根据权利要求6所述的装置，其中，为了至少基于所述第一参考区域和所述第二参考区域形成预测区域，所述一个或多个处理器用于：
应用加权因子到所述第一参考区域，以及
应用第二加权因子到所述第二参考区域。
9.一种用于形成图像区域的系统，包括：
显示器；
无线网络接口；
通信地耦合到所述显示器和所述无线网络接口的电路，该电路用于形成图像区域，其中，用于形成图像区域的所述电路用于：
从多个可用的参考区域中选择一个或多个参考区域；
至少部分基于参数定位第一参考区域，所述第一参考区域位于比所述图像区域低的层中，并且所述第一参考区域与所述图像区域同定位或没有同定位；
至少基于所述第一参考区域生成预测区域；以及
至少基于所述预测区域和残余值形成所述图像区域。
10.根据权利要求9所述的系统，其中所述参数包括：一个或多个运动矢量、一个或多个偏移矢量、层标识符和一个或多个参考区域索引。
11.根据权利要求9所述的系统，其中，为了至少部分基于参数定位第一参考区域，所述电路用于：
响应于作为时间参考区域所述第一参考区域，应用至少一个运动矢量来识别所述第一参考区域；
响应于作为层间参考区域的所述第一参考区域，应用至少一个相对于在比所述图像区域低的层中的同定位的区域的偏移矢量；
响应于作为相对于时间参考区域的层间参考区域的所述第一参考区域，应用运动矢量来定位所述时间参考区域，并应用偏移矢量来定位所述层间参考区域；以及
响应于作为相对于层间参考区域的时间参考区域的所述第一参考区域，应用偏移矢量来定位所述层间参考区域，并应用运动矢量来定位相对于所述层间参考区域的时间参考区域。
12.根据权利要求9所述的系统，其中，为了至少基于所述第一参考区域生成预测区域，所述电路用于：
应用加权因子到所述第一参考区域。
13.根据权利要求9所述的系统，其中，所述电路用于：
至少部分基于参数识别第二参考区域，所述第二参考区域位于比所述图像区域低的层中，并且所述第二参考区域与所述图像区域同定位或者没有同定位；以及
至少基于所述第一参考区域和所述第二参考区域生成预测区域。
14.根据权利要求13所述的系统，其中，为了至少基于所述第一参考区域和所述第二参考区域生成预测区域，所述电路用于：
应用加权因子到所述第一参考区域；
应用第二加权因子到所述第二参考区域；以及
对所加权的第一和第二参考区域求和。
15.一种计算机实现的方法，该方法包括：
从接收到的视频流访问参数，所述参数识别从多个可用的参考区域中选择的一个或多个参考区域，所述参数包括一个或多个运动矢量、一个或多个偏移矢量、层标识符、一个或多个参考区域索引和用于所述一个或多个参考区域的加权因子；
识别所述一个或多个参考区域；
基于所述一个或多个参考区域和所述加权因子确定预测区域；
从接收到的视频流的至少一部分确定残余值；以及
基于所述预测区域和所述残余值形成第一区域。
16.根据权利要求15所述的方法，其中基于所述一个或多个参考区域和所述加权因子确定预测区域包括：
应用加权因子到第一参考区域；
应用第二加权因子到第二参考区域；以及
对所加权的第一和第二参考区域求和。
17.根据权利要求15所述的方法，其中识别所述一个或多个参考区域包括：
响应于作为时间参考区域的第一参考区域，应用至少一个运动矢量来识别所述第一参考区域；
响应于作为层间参考区域的第一参考区域，应用至少一个相对于在比图像区域低的层中的同定位的区域的偏移矢量；
响应于作为相对于时间参考区域的层间参考区域的第一参考区域，应用运动矢量来定位所述时间参考区域，并应用偏移矢量来定位所述层间参考区域；以及
响应于作为相对于层间参考区域的时间参考区域的第一参考区域，应用偏移矢量来定位所述层间参考区域，并应用运动矢量来定位相对于所述层间参考区域的时间参考区域。
18.根据权利要求15所述的方法，其中，识别所述一个或多个参考区域包括：基于一个或多个参考区域的指示的优先级来识别所述一个或多个参考区域。
19.一种用于形成图像区域的装置，包括：
用于从多个可用的参考区域中选择一个或多个参考区域的部件；
用于识别用于解码图像区域的一个或多个参考区域的部件，所述一个或多个参考区域位于比所述图像区域低的层中，并且与所述图像区域同定位或者没有同定位；
用于至少基于一个或多个参考区域形成预测区域的部件；以及
用于至少基于所述预测区域和残余值形成所述图像区域的部件。
20.根据权利要求19所述的装置，其中用于识别一个或多个参考区域的部件使用至少以下之一：一个或多个运动矢量，一个或多个偏移矢量，层标识符和一个或多个参考区域索引。
21.一种用于形成图像区域的装置，该装置包括：
用于从接收到的视频流访问参数的部件，所述参数识别从多个可用的参考区域中选择的一个或多个参考区域，所述参数包括一个或多个运动矢量、一个或多个偏移矢量、层标识符、一个或多个参考区域索引和用于所述一个或多个参考区域的加权因子；
用于识别所述一个或多个参考区域的部件；
用于基于所述一个或多个参考区域和所述加权因子确定预测区域的部件；
用于从接收到的视频流的至少一部分确定残余值的部件；以及
用于基于所述预测区域和所述残余值形成第一区域的部件。
22.根据权利要求21所述的装置，其中基于所述一个或多个参考区域和所述加权因子确定预测区域包括：
应用加权因子到第一参考区域；
应用第二加权因子到第二参考区域；以及
对所加权的第一和第二参考区域求和。
23.根据权利要求21所述的装置，其中识别所述一个或多个参考区域包括：
响应于作为时间参考区域的第一参考区域，应用至少一个运动矢量来识别所述第一参考区域；
响应于作为层间参考区域的第一参考区域，应用至少一个相对于在比图像区域低的层中的同定位的区域的偏移矢量；
响应于作为相对于时间参考区域的层间参考区域的第一参考区域，应用运动矢量来定位所述时间参考区域，并应用偏移矢量来定位所述层间参考区域；以及
响应于作为相对于层间参考区域的时间参考区域的第一参考区域，应用偏移矢量来定位所述层间参考区域，并应用运动矢量来定位相对于所述层间参考区域的时间参考区域。
24.根据权利要求21所述的装置，其中，识别所述一个或多个参考区域包括：基于一个或多个参考区域的指示的优先级来识别所述一个或多个参考区域。
25.一种计算机可读介质，具有存储在其上的指令，所述指令在执行时促使计算机执行如权利要求15-18中任一项所述的方法。
CN201280075531.6A 2012-09-28 2012-09-28 可适性视频编码的增强参考区域利用 Active CN104937932B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/082339 WO2014047885A1 (en) 2012-09-28 2012-09-28 Enhanced reference region utilization for scalable video coding

Publications (2)

Publication Number Publication Date
CN104937932A CN104937932A (zh) 2015-09-23
CN104937932B true CN104937932B (zh) 2019-04-19

Family

ID=50386859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280075531.6A Active CN104937932B (zh) 2012-09-28 2012-09-28 可适性视频编码的增强参考区域利用

Country Status (6)

Country Link
US (1) US9769475B2 (zh)
EP (1) EP2901691A4 (zh)
JP (1) JP6005865B2 (zh)
KR (1) KR101766101B1 (zh)
CN (1) CN104937932B (zh)
WO (1) WO2014047885A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150014496A (ko) * 2012-05-14 2015-02-06 루카 로사토 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원
CN104885462A (zh) * 2012-12-28 2015-09-02 日本电信电话株式会社 视频编码装置和方法、视频解码装置和方法、以及其程序
KR20150009465A (ko) 2013-07-15 2015-01-26 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10390031B2 (en) * 2013-07-15 2019-08-20 Kt Corporation Method and apparatus for encoding/decoding scalable video signal
KR20150026927A (ko) * 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US10785475B2 (en) * 2014-11-05 2020-09-22 Mediatek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset
KR20170058838A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
US10368073B2 (en) * 2015-12-07 2019-07-30 Qualcomm Incorporated Multi-region search range for block prediction mode for display stream compression (DSC)
GB201607879D0 (en) * 2016-05-05 2016-06-22 Magic Pony Technology Ltd Video encoding using hierarchical algorithms
EP3306924A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and device for context-adaptive binary arithmetic coding a sequence of binary symbols representing a syntax element related to picture data
US11166013B2 (en) 2017-10-09 2021-11-02 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1254975C (zh) * 2001-02-26 2006-05-03 皇家菲利浦电子有限公司 对视频数据和视频信号进行编码和解码的方法及装置
CN101180885A (zh) * 2005-04-13 2008-05-14 Lg电子株式会社 使用参考图像解码视频信号的方法和装置
CN100450185C (zh) * 2002-07-15 2009-01-07 汤姆森特许公司 采用加权预测的运动估计

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US20020037046A1 (en) 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
JP4272810B2 (ja) * 2000-12-26 2009-06-03 キヤノン株式会社 放送受信装置及び放送受信装置の制御方法
KR100508798B1 (ko) * 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
US7881386B2 (en) * 2004-03-11 2011-02-01 Qualcomm Incorporated Methods and apparatus for performing fast mode decisions in video codecs
WO2006078115A1 (en) * 2005-01-21 2006-07-27 Samsung Electronics Co., Ltd. Video coding method and apparatus for efficiently predicting unsynchronized frame
US20080089411A1 (en) 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
WO2009009475A2 (en) 2007-07-06 2009-01-15 Massachusetts Institute Of Technology Batch fabricated rectangular rod, planar mems quadrupole with ion optics
TWI416961B (zh) 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1254975C (zh) * 2001-02-26 2006-05-03 皇家菲利浦电子有限公司 对视频数据和视频信号进行编码和解码的方法及装置
CN100450185C (zh) * 2002-07-15 2009-01-07 汤姆森特许公司 采用加权预测的运动估计
CN101180885A (zh) * 2005-04-13 2008-05-14 Lg电子株式会社 使用参考图像解码视频信号的方法和装置

Also Published As

Publication number Publication date
JP2015534361A (ja) 2015-11-26
US20140286409A1 (en) 2014-09-25
US9769475B2 (en) 2017-09-19
EP2901691A4 (en) 2016-05-25
WO2014047885A1 (en) 2014-04-03
JP6005865B2 (ja) 2016-10-12
EP2901691A1 (en) 2015-08-05
KR101766101B1 (ko) 2017-08-07
KR20150038357A (ko) 2015-04-08
CN104937932A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN104937932B (zh) 可适性视频编码的增强参考区域利用
CN104541505B (zh) 层间内部模式预测方法、设备及装置
CN104885467B (zh) 用于下一代视频编码的内容自适应参数变换
CN106170979B (zh) 一种用于视频编码的计算机实现的方法、系统、机器可读介质及设备
CN104219524B (zh) 使用感兴趣对象的数据对视频成码的比特率控制
CN103918265B (zh) 跨通道残余预测
CN104541506A (zh) 层间像素样本预测
KR101731335B1 (ko) 스케일러블 비디오 코딩의 층 간 예측을 위한 리파이닝 필터
CN103581665B (zh) 转码视频数据
CN104584553A (zh) 层间残差预测
CN104782124B (zh) 利用编码器硬件对视频内容进行预处理
CN104053005B (zh) 使用分级相平面相关性和块匹配的运动估计
CN104321970B (zh) 层间编码单元四叉树模式预测
CN104584552B (zh) Svc中重复使用层间sao参数的方法、设备、系统及机器可读存储介质
CN104756498B (zh) 跨层运动向量预测
CN104169971A (zh) 使用非线性缩放和自适应源块大小的分层运动估计
CN107005697A (zh) 用于视频译码的使用基于查找表的概率更新的熵译码的方法与系统
CN107005701A (zh) 使用减少数量的角模式来降低帧内预测复杂度及其后续改进
CN104798373A (zh) 包括在多个独立编码流之间的共享运动估计的视频编码
TWI559749B (zh) 層間移動資料繼承之技術
CN104322068A (zh) 跨层跨通道残差预测
CN104322062B (zh) 跨层跨通道样本预测
CN103975594B (zh) 用于残差预测的运动估计方法
CN104335584B (zh) 用于基于系数采样的可扩展视频编码的系统、方法和计算机程序产品
CN104023238B (zh) 跨通道残余预测

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant