CN103916673B - 基于双向预测的编码方法、解码方法和装置 - Google Patents

基于双向预测的编码方法、解码方法和装置 Download PDF

Info

Publication number
CN103916673B
CN103916673B CN201310003666.8A CN201310003666A CN103916673B CN 103916673 B CN103916673 B CN 103916673B CN 201310003666 A CN201310003666 A CN 201310003666A CN 103916673 B CN103916673 B CN 103916673B
Authority
CN
China
Prior art keywords
image
reference picture
enhancement layer
residual
prediction signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310003666.8A
Other languages
English (en)
Other versions
CN103916673A (zh
Inventor
杨海涛
张金雷
李斌
李厚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Original Assignee
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Huawei Technologies Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN201310003666.8A priority Critical patent/CN103916673B/zh
Priority to PCT/CN2014/070172 priority patent/WO2014106487A1/zh
Publication of CN103916673A publication Critical patent/CN103916673A/zh
Application granted granted Critical
Publication of CN103916673B publication Critical patent/CN103916673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Abstract

本发明提供了一种基于双向预测的编码方法、解码方法和装置。该解码方法包括：根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码。本发明无需为每个图像块设置是否使用差分模式的标记，实现代价较低。

Description

基于双向预测的编码方法、解码方法和装置
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于双向预测的编码方法、解码方法和装置。
背景技术
目前，可伸缩编码（Scalable Video Coding，SVC）技术已经被联合视频组（JointVideo Team，JVT）纳入到H.264/AVC标准。可伸缩编码技术使用多个层次的码流表示不同质量的视频图像，因此又称作分层编码。在SVC技术中，能提供的最低质量层被称作基本层，能增强空间分辨率、时间分辨率或者信噪比强度的层被称作增强层。空间可伸缩编码利用不同空间分层间的运动信息、纹理信息和残差信息；时间可伸缩编码采用分级双向预测图像(Hierarchical B)编码技术；信噪比可伸缩编码可以使用粗粒度质量可伸缩（CoarseGrain Scalability，CGS）方法和中等粒度质量可伸缩（Median GrainScalability，MGS）方法。
在空间可伸缩编码的情况下，增强层图像的内容与对应的基本层图像的内容相同，但是基本层图像的空间分辨率较低。因此，尽管增强层图像中的低频信号可以从基本层图像准确预测，但是增强层图像中的部分高频信号可能无法从基本层图像获得。另一方面，当前编码的增强层图像（以下简称增强层当前图像）在时间域上的增强层参考图像与该增强层当前图像的分辨率相同，可能包含增强层当前图像中的高频信号。为得到更准确的预测，可以结合从基本层获取的低频信号和从增强层获取的高频信号来确定增强层当前图像的预测信号。例如，可以使用增强层当前图像块的已经编码的增强层参考图像块与其对应的基本层重建图像块的上采样图像块的差值作为高频信号，使用当前处理的增强层图像块对应的基本层重建图像块的上采样图像块作为低频信号，并且将高频信号的强度值与低频信号的强度值叠加来获得增强层当前图像块的预测信号。这种处理方法可用于编、解码端，称为差分模式。
然而，为了实现上述技术方案，现有技术需要为每一个图像块添加一个标记，用于指示该图像块是否采用差分模式进行编解码处理，实现代价较高。
发明内容
本发明的实施例提供了一种基于双向预测的编码方法、解码方法和装置，能够以较低的代价实现差分模式。
第一方面，提供了一种基于双向预测的编码方法，包括：根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
在第一种可能的实现方式中，上述基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，具体包括：基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。
结合第一种可能的实现方式，在第二种可能的实现方式中，上述基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息，具体包括：对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；其中上述根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号，具体包括：若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值信，该加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，该加权预测参数被预先设置在编码端。
结合第二种可能的实现方式，在第三种可能的实现方式中，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中上述基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号，具体包括：基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
结合第四种可能的实现方式，在第五种可能的实现方式中，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝-2×offset，该offset为第一预测信号被转换成无符号数时偏移量。
结合第一方面或者上述任何一种可能的实现方式，在第五种可能的实现方式中，第一方面的编码方法还包括：在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
结合第一方面或者上述任何一种可能的实现方式，在第六种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
结合第一方面或者上述任何一种可能的实现方式，在第七种可能的实现方式中，第一方面的编码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识，以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
结合第七种可能的实现方式，在第八种可能的实现方式中，第一方面的编码方法还包括：根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；若根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
结合第八种可能的实现方式，在第九种可能的实现方式中，第一方面的编码方法还包括：生成解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；将解码图像管理信息添加到编码后形成的码流中。
结合第一方面或者上述任何一种可能的实现方式，在第十种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中上述根据该增强层当前图像对应的基本层图像生成第二参考图像，包括：对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
结合第一方面或者第一方面的第一种至第九种可能的实现方式中的任何一种，在第十一种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中上述根据该增强层当前图像对应的基本层图像生成第二参考图像，具体包括：将该增强层当前图像对应的基本层图像作为第二参考图像。
结合第一方面或者第一种至第十一种可能的实现方式中的任何一种，在第十二种可能的实现方式中，第一方面的编码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
结合第十二种可能的实现方式，在第十三种可能的实现方式中，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预测设置在编码端或者被添加在编码后形成的码流中。
结合第一方面或者第一方面的第一种至第十一种可能的实现方式中的任何一种，在第十四种可能的实现方式中，第一方面的编码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
结合第十四种可能的实现方式，在第十五种可能的实现方式中，根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定上述至少一个残差图像，包括：根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
第二方面，提供了一种基于双向预测的解码方法，包括：根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
在第一种可能的实现方式中，上述基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，包括：从编码后形成的码流中获取该增强层当前图像的图像块的运动信息和图像块的预测差值信号的编码信息，并对该编码信息解码得到该图像块的运动信息和预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。
结合第一种可能的实现方式，在第二种可能的实现方式中，上述运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中上述基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和预测差值信号，对该增强层当前图像的图像块进行运动补偿解码，包括：若该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建信号，其中该加权预测参数从码流中得到，或者该加权预测参数被预先设置在解码端。
结合第二种可能的实现方式，在第三种可能的实现方式中，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中上述基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号，包括：基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
结合第三种可能的实现方式，在第四种可能的实现方式中，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝-2×offset，上述offset为第一预测信号被转换成无符号数时偏移量。
结合第二方面或第二方面的上述任何一种可能的实现方式，在第五种可能的实现方式中，第二方面的解码方法还包括：从该码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。
结合第二方面的上述任何一种可能的实现方式，在第六种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
结合第二方面或第二方面的上述任何一种可能的实现方式，在第七种可能的实现方式中，第二方面的解码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致，并且为添加第一附加标识，以便编码端在管理图像缓存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
结合第二方面的第七种可能的实现方式，在第八种可能的实现方式中，第二方面的解码方法还包括：根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续解码的图像的参考图像；若根据预设的准则确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，第二方面的解码方法还包括：从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；若根据解码图像管理信息确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像，从图像缓存区中删除增强层参考图像和/或相应的残差图像。
结合第二方面或第二方面的上述任何一种可能的实现方式，在第十种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中上述根据该增强层当前图像对应的基本层图像生成第二参考图像，包括：对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
结合第二方面或第二方面的第一种至第九种可能的实现方式中的任何一种，在第十一种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中上述根据该增强层当前图像对应的基本层图像生成第二参考图像，包括：将该增强层当前图像对应的基本层图像作为第二参考图像。
结合第二方面或第二方面的第一种至第十一种可能的实现方式中的任一种，在第十二种可能的实现方式中，第二方面的解码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
结合第二方面的第十二种可能的实现方式，在第十三种可能的实现方式中，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预测设置在编码端或者从码流中获取。
结合第二方面或第二方面的第一种至第十一种可能的实现方式中的任何一种，在第十四种可能的实现方式中，第二方面的解码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
结合第二方面的第十四种可能的实现方式，在第十五种可能的实现方式中，上述根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定上述至少一个残差图像，包括：根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
第三方面，提供了一种基于双向预测的编码装置，包括：生成模块，用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；用于根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；编码模块，用于基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
在第一种可能的实现方式中，该编码模块基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。
结合第一种可能的实现方式，在第二种可能的实现方式中，该编码模块对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值信号其中，该加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，该加权预测参数被预先设置在编码端。
结合第二种可能的实现方式，在第三种可能的实现方式中，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中该编码模块基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
结合第三种可能的实现方式，在第四种可能的实现方式中，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝-2×offset，该offset为第一预测信号被转换成无符号数时偏移量。
结合第三方面或第三方面的上述任何一种可能的实现方式，在第五种可能的实现方式中，第三方面的编码装置还包括：第一添加模块，用于在编码后形成的码流中添加用于指示是否允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
结合第三方面或第三方面的上述任何一种可能的实现方式，在第六种可能的实现方式中，该生成模块根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
结合第三方面或第三方面的上述任何一种可能的实现方式，在第七种可能的实现方式中，第三方面的编码装置还包括：存储模块，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
结合第三方面的第七种可能的实现方式，在第八种可能的实现方式中，第三方面的编码装置还包括：第一确定模块，用于根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；删除模块，用于在根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
结合第三方面的第八种可能的实现方式，在第九种可能的实现方式中，生成模块还用于生成解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，编码装置还包括：第二添加模块，用于将解码图像管理信息添加到编码后形成的码流中。
结合第三方面或第三方面的上述任何一种可能的实现方式，在第十种可能的实现方式中，该生成模块对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像；对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
结合第三方面或第三方面的第一种至第九种可能的实现方式中的任何一种，在第十一种可能的实现方式中，该生成模块将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像；将该增强层当前图像对应的基本层图像作为第二参考图像。
结合第三方面或第三方面的第一种至第十一种可能的实现方式中的任何一种，在第十二种可能的实现方式中，第三方面的编码装置还包括：第二确定模块，用于根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
结合第三方面的第十二种可能的实现方式，在第十三种可能的实现方式中，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号的差值信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。
结合第三方面或第三方面的第一种至第十一种可能的实现方式中的任何一种，在第十四种可能的实现方式中，第三方面的编码装置还包括：第二确定模块，用于根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
结合第十四种可能的实现方式，在第十五种可能的实现方式中，上述根据上述增强层当前图像与上述至少一个增强层参考图像的时间相关性确定上述至少一个残差图像，包括：根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
第四方面，提供了一种基于双向预测的解码装置，包括：生成模块，用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；解码模块，用于基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
在第一种可能的实现方式中，该解码模块从编码后形成的码流中获取该增强层当前图像的编码信息，并对该编码信息解码得到该图像块的运动信息和该图像块的预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。
结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，该运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，该解码模块在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建信号，其中该加权预测参数从该码流中得到，或者该加权预测参数被预先设置在解码端。
结合第四方面的第二种可能的实现方式，在第三种可能的实现方式中，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中该解码模块基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
结合第二种可能的实现方式，在第四种可能的实现方式中，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝2×offset，该offset为第一预测信号被转换成无符号数时偏移量。
结合第四方面或者上述任何一种可能的实现方式，在第五种可能的实现方式中，第四方面的解码装置还包括：第一获取模块，用于从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。
结合第四方面或者上述任何一种可能的实现方式，在第六种可能的实现方式中，该生成模块根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
结合第四方面或者上述任何一种可能的实现方式，在第七种可能的实现方式中，第四方面的解码方式还包括：存储模块，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识，以便编码端在管理图像缓存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致。
结合第四方面或者上述任何一种可能的实现方式，在第八种可能的实现方式中，第四方面的解码方式还包括：第一确定模块，用于根据预设的准则确定图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续解码的图像的参考图像；删除模块，用于在根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
结合第四方面或者第八种可能的实现方式，在第九种可能的实现方式中。第四方面的编码装置还包括：第一获取模块，用于从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；删除模块，用于在根据解码图像管理信息确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从图像缓存区中删除增强层参考图像和/或相应的残差图像。
结合第四方面或者上述任何一种可能的实现方式，在第十种可能的实现方式中，该生成模块对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，并且对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
结合第四方面或者第一方面的第一种至第九种可能的实现方式中的任何一种，在第十一种可能的实现方式中，该生成模块将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，并且将该增强层当前图像对应的基本层图像作为第二参考图像。
结合第四方面或者第一种至第十一种可能的实现方式中的任何一种，在第十二种可能的实现方式中，第四方面的解码装置还包括：第二确定模块，用于根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
结合第四方面的第十二种可能的实现方式，在第十三种可能的实现方式中，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，第二标识信息被预先设置在解码端，或者从码流中获取。
结合第四方面或者第四方面的上述第一种至第十一种可能的实现方式中的任何一种，在第十四种可能的实现方式中，第四方面的解码装置还包括：第二确定模块，用于根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
结合第十四种可能的实现方式，在第十五种可能的实现方式中，第二确定模块根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需对编解码器的核心模块进行改动，因此，实现代价较低。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的基于双向预测的编码方法的示意性流程图。
图2是本发明一个实施例的基于双向预测的解码方法的示意性流程图。
图3A是根据本发明一个实施例的构造参考图像列表的示意图。
图3B是本发明一个实施例的基于双向预测的编码过程的示意性流程图。
图4是根据本发明一个实施例的基于双向预测的解码过程的示意性流程图。
图5是本发明一个实施例的基于双向预测的编码装置的示意性结构图。
图6是本发明另一实施例的基于双向预测的编码装置的示意性结构图。
图7是本发明一个实施例的基于双向预测的解码装置的示意性结构图。
图8是本发明另一实施例的基于双向预测的解码装置的示意性结构图。
图9是本发明又一实施例的基于双向预测的编码装置的示意性结构图。
图10是本发明又一实施例的基于双向预测的解码装置的示意性结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一个实施例的基于双向预测的编码方法的示意性流程图。图1的方法由编码器执行，包括如下内容。
110，根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中。
根据本发明的实施例，在加入上述至少一个残差图像之前，增强层当前图像的第一参考图像列表（例如，前向或后向参考图像列表）可以包括增强层当前图像的增强层参考图像（例如，前向或后向增强层参考图像）。每个增强层参考图像为增强层当前图像在时域上的参考图像，是编码器在处理增强层当前图像之前已经处理完成的增强层图像，其中的图像信号为编码器处理得到的重建信号。
本发明的实施例的增强层参考图像的残差图像可以是该增强层参考图像和该增强层参考图像对应的基本层图像的差值图像，即通过将该增强层参考图像减去与该增强层参考图像相对应的基本层图像获得的图像，例如，在增强层的分辨率高于基本层的分辨率的情况下，可以首先根据每个增强层参考图像对应的基本层图像生成上采样图像，然后将该增强层参考图像与该上采样图像相减得到残差图像。本发明的实施例并不限于此，例如，在增强层的分辨率与基本层的分辨率相同的情况下，也可以直接将上述增强层参考图像与增强层参考图像对应的基本层图像相减得到残差图像。这里所说的两个图像相减指的是分辨率相同的两个图像的对应位置的图像信号（即采样点信号）的信号值相减。这里所说的基本层图像的图像信号是经编码处理后重建得到。假设图像信号采用8个比特表示，则信号取值范围为0~255，那么残差图像信号的取值范围为-255~255。因为残差图像信号的取值一般较小，可以将残差图像信号钳位到范围-128~127之间，以便用8比特表示，从而减小实现代价。在某些实现中，在不便存储和处理带符号数的情况下，可将残差图像信号值加128，使得其取之范围在0~255之间。
120，根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。
例如，在加入上述第二参考图像之前，增强层当前图像的第二参考图像列表（例如，后向或前向参考图像列表）可以包括增强层当前图像的增强层参考图像（例如，后向或前向增强层参考图像）。在增强层的分辨率高于基本层的分辨率的情况下，第二参考图像可以是根据该增强层当前图像对应的基本层图像生成的上采样图像。本发明的实施例并不限于此，例如，在增强层的分辨率与基本层的分辨率相同的情况下，也可以直接将该增强层当前图像对应的基本层图像作为第二参考图像，或者将该增强层当前图像对应的基本层图像经平滑滤波等滤波处理后作为第二参考图像。
130，根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
双向预测方法是指利用前向参考图像和后向参考图像对增强层当前图像的图像块进行预测的方法。本发明的实施例借助于主流视频压缩方案中的双向预测机制，能够将上述残差图像的采样点信号与第二参考图像的采样点信号进行叠加，以实现差分模式编码。
在本发明的实施例的第一参考图像列表为前向参考图像列表的情况下，第二参考图像列表为后向参考图像列表，或者，在第一参考图像列表为后向参考图像列表的情况下，第二参考图像列表为前向参考图像列表。应理解，本发明的实施例也可以适用于第一参考图像列表和第二参考图像列表均为前向或后向参考图像列表的情况。
本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
在130中，可以基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。
例如，本发明的实施例通过双向预测，在第一参考图像列表和第二参考列表中搜索（即运动估计）该图像块的最优匹配块，最优匹配块所在的参考图像为最优参考图像。图像块的运动信息可以包括运动矢量，用于指示该图像块在时域参考图像中的匹配块与该图像块的相对位移。运动信息还可以包括预测方向，例如，单向预测或者双向预测。另外，在多帧参考图像情况下，运动信息还可以包括用于指示该图像块的最优参考图像的信息。
根据本发明的实施例，在130中，可以对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值信号。
例如，本发明的实施例可以分别对第一参考图像列表中除残差图像之外的参考图像和第二参考图像列表中除第二参考图像之外的参考图像进行单向搜索，可以对第一参考图像列表中除残差图像之外的参考图像和第二参考图像列表中除第二参考图像之外的参考图像进行双向搜索，并且可以对第一参考图像列表中的至少一个残差图像和第二参考图像列表中的第二参考图像进行双向搜索，以获得最优参考图像，例如，确定使得图像块与匹配块的绝对差之和（Sum of Absolute Difference，SAD）最小的参考图像作为最优参考图像，其中该最优参考图像包含该匹配块。
可选地，本发明的实施例还可以先对第一参考图像列表和第二参考图像列表进行单向搜索，以确定第一参考图像列表中的最优参考图像和第二参考图像列表中的最优参考图像，在这种情况下，还可以比较单向搜索得到的最优参考图像和双向搜索得到的最优参考图像，以得到最终的预测方向和最优参考图像，例如，如果单向搜索时获得的图像块与匹配块的绝对差之和（Sumof Absolute Difference，SAD）大于双向搜索时获得的图像块与匹配块的绝对差之和（Sum of Absolute Difference，SAD），则选择双向预测为最终的预测方式，选择双向搜索时获得的最优参考图像作为最终的最优参考图像，反之亦然。与常规双向预测方法相比，本发明的实施例在第一参考图像列表和第二参考图像列表中分别增加了上述至少一个残差图像和第二参考图像，使得在上述至少一个残差图像之一和第二参考图像被确定为最优参考图像的情况下，可以将残差图像与第二参考图像进行叠加，从而实现差分模式。
可选地，本发明的实施例还可以先对第二参考图像列表进行单向搜索，并且在确定第二参考图像为最优参考图像的情况下，才使用第一参考图像列表中的至少一个残差图像和第二参考图像列表中的第二参考图像进行双向搜索，确定最优参考图像，并且比较这两种情况下的图像块与匹配块的绝对差之和，以确定最终的预测方向和最优参考图像。
根据本发明的实施例，在加权预测运算时，可以基于预设的规则，或者加权预测得到的最终预测信号与原信号的相似程度分别为第一预测信号和第二预测信号设置相应的权重，即加权预测参数。例如，一般情况下，图像块的最终预测信号为第一预测信号与第二预测信号的平均值，此时第一预测信号的加权预测参数和第二预测信号的加权预测参数分别设置为0.5。再例如，在具有淡入、淡出效果的场景切换情况下，可根据当前处理图像的内容与第一预测信号所在图像内容的相似度以及当前处理图像的内容与第二预测信号所在图像内容的相似度确定第一预测信号与第二预测信号的加权预测参数，目的是使得最终预测信号与原信号最为相似。根据本发明的实施例，为了实现差分模块，在最优参考图像为残差图像和第二参考图像的情况下，可以设置合适的加权预测参数，使得图像块的最终预测信号为第一预测信号与第二预测信号的叠加。例如，在理想情况下，例如，第一预测信号的加权预测参数和第二预测信号的加权预测参数均被设置为1，以使得对第一预测信号和第二预测信号进行加权预测运算得到第一预测信号和第二预测信号相叠加的效果。
根据本发明的实施例，上述加权预测参数由编码端确定并且添加在编码后形成的码流中。
可选地，作为另一实施例，该加权预测参数被预先设置在编码端。
根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中在130中，可以基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0+o1＝-2×offset，该offset为第一预测信号被转换成无符号数时偏移量。
例如，在该公式中，w0与w1均应设置为(1<<shift)，以达到实际权重为1的效果。在残差图像信号的实际取值范围为-128~127而整体偏移128转换为无符号数进行存储与处理的情况下，需要将o0与o1的和设置为-256，才可以补偿前述偏移量128以实现P0与P1相叠加的效果，此时可以将o0与o1分别设置为-128。概括的说，为补偿残差图像信号的偏移offset，需要设置o0与o1使得两者之和的幅度为两倍的offset并且符号与offset相反，即o0+o1＝-2×offset。在残差图像信号的实际取值范围为-128~127而可按照带符号数进行存储与处理的情况下，无需进行补偿，只要保证o0与o1的和为0即可实现P0与P1相叠加的效果，此时可将o0与o1分别设置为0。
应理解，可以根据实际情况对加权预测参数进行调整，只要使得图像块的最终预测信号为第一预测信号和第二预测信号的叠加即可。本发明的实施例可以通过设置加权参数实现差分模式，从而实现从残差图像得到的第一预测信号与从第二参考图像得到的第二预测信号相叠加得到图像块的最终预测信号，由于设置加权参数并不需要对常规编解码器中的块级别核心模块进行改动，只需进行图像级别的操作，就可以实现与块级别的差分模式相同的功能，因此在得到差分模式编码增益的同时，降低了实现代价。
可选地，作为另一实施例，图1的编码方法还包括：在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
例如，可在码流中加入标识位以表示当前图像序列中的图像是否采用差分模式。具体而言，可以在序列参数集（Sequence Parameter Set，SPS）或图像参数集（PictureParameter Set，PPS）中加入该标识位，例如，标识位1表示采用差分模式，标识位0表示不采用差分模式。在这种情况下，编码端或解码端可以根据该标识位判断当前图像序列中的图像是否采用差分模式，根据本发明的实施例并不限于此，也可通过其它方式告知解码端是否采用差分模式，例如，编码端和解码端预先约定使用差分模式等。
根据本发明的实施例，在110中，可以根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
例如，可以根据前向增强层参考图像以及该前向增强层参考图像对应的基本层图像生成至少一个残差图像。本发明的实施例并不限于此，例如，也可以根据前向增强层参考图像和该前向增强层参考图像对应的基本层图像生成一部分残差图像，根据后向增强层参考图像和该后向增强层参考图像对应的基本层图像生成另一部分残差图像，并且将这两部分残差图像均放置在第一参考图像列表中，以便为差分模式提供更多的选择，从而提高预测的精度。
可选地，作为另一实施例，图1的编码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号（Picture order count，POC）一致，并且为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分。
例如，上述图像缓存区可以为解码图像缓存区（Decoded Picture Buffer，DPB）。较佳地增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号（Picture order count，POC）可以相同，本发明的实施例并不限于此，例如，还可以通过映射的方式来实现增强层参考图像和残差图像之间的对应。
本发明的实施例的增强层参考图像为已经完成编码的增强层图像，即增强层重建图像，例如，在完成对增强层图像的编码之后，可以将增强层重建图像存储到解码图像缓存区中，并且将该增强层重建图像减去根据该增强层重建图像对应的基本层图像生成的图像，得到残差图像，并将该残差图像存储到同一解码图像缓存区中。上述POC可以标识图像在视频序列中的位置，因此，在后续的处理中，可以依据该POC索引DPB中的增强层重建图像和残差图像。由于增强层重建图像和相应的残差图像使用了相同的POC，因此可以使用现有的DPB管理机制，基于POC对增强层重建图像以及对应的残差图像进行索引、移除等操作。
可选地，作为另一实施例，图1的编码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的解码图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
由于增强层重建图像与相对应的残差图像使用独立的DPB进行管理，例如，使用增强层重建图像DPB管理增强层重建图像，使用残差图像DPB管理残差图像，此时，在一个DPB中仅有一帧图像与一个POC数值对应，因此无需添加额外的标识区分增强层重建图像与相对应的残差图像。尽管增强层重建图像与相对应的残差图像存储在不同的DPB中，仍然可以为一帧增强层重建图像与其对应的残差图像设置相同的POC数值，以方便对增强层重建图像和相应的残差图像的管理。
可选地，作为另一实施例，图1的编码方法还包括：根据预设的准则确定该解码图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；若根据预设的准则确定该解码图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像，从该解码图像缓存区中删除该增强层参考图像和/或相应的残差图像。
例如，可以使用滑窗准则确定DPB中图像的移除。具体说，可按照POC由大到小对DPB中所有图像排序，可按照给定的滑窗大小（例如4），将排在第4位以后的所有图像移除。编码器和解码器可以约定所使用的准则。或者，编码器将上述解码图像管理信息添加到码流中，告知解码端编码端所使用的解码图像管理方法。
可选地，作为另一实施例，图1的方法还包括：生成解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，并且将解码图像管理信息添加到编码后形成的码流中。
根据本发明的实施例，在110中，可以对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中在120中，可以对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
根据本发明的实施例，在110中，可以将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中在120中，可以将该增强层当前图像对应的基本层图像作为第二参考图像。
可选地，作为另一实施例，图1的编码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
例如，在编码端，可以将用于构造第一参考图像列表的残差图像的信息写入视频压缩码流。在解码端，可以基于视频压缩码流中的残差图像的信息按照与编码端相同的方法构造参考图像列表。
根据本发明的实施例第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。
例如，可以将表示加入第一参考图像列表中的残差图像的数量（例如，M）的信息写入码流，而编解码端将第一参考图像列表中参考图像索引编号前M个增强层参考图像对应的残差图像加入参考图像列表，例如，可以将根据参考图像索引编号为0，1，2，…M-1的参考图像得到的残差图像加入到参考图像列表中。注意，编解码端也可以约定残差图像的数量，例如约定仅使用一个残差图像，此时则无需将残差图像数量信息添加到码流中。
例如，可以在编码端和解码端预先约定将哪些增强层参考图像对应的残差图像加入参考图像列表，例如，将第一参考图像列表中的增强层参考图像对应的残差图像加入参考图像列表，或者同时将第一参考图像列表中与第二参考图像列表中的增强层参考图像对应的残差图像均加入到第一参考图像列表中。
又如，可以将与编码端指定的残差图像对应的增强层参考图像信息写入码流以告知解码端。具体而言，在将参考图像列表信息写入码流的情况下，可以为每一个增强层参考图像额外添加一个标识，指示是否将其对应的残差图像加入参考图像列表。
再如，可以将与编码端指定的残差图像对应的增强层参考图像的POC添加到码流中。或者，可以使用POC差值信息而不是原始POC值，以节约比特开销。例如，可以在码流中携带增强层当前图像的POC以及与需要加入第一参考图像列表的残差图像对应的增强层参考图像的POC的差值信息，以便在解码端可以通过该POC的差值信息和增强层当前图像的POC确定该增强层参考图像的POC，再根据该增强层参考图像的POC从DPB中获取该增强层参考图像对应的残差图像。
可选地，作为另一实施例，图1的编码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像，此时则无需将残差图像对应的增强层参考图像信息写入码流，也无需将残差图像对应的增强层参考图像的图像顺序编号信息写入码流。
一般而言，与距离增强层当前图像较远的参考图像相比，距离增强层当前图像较近的参考图像与增强层当前图像的相关性更强。因此，根据本发明的实施例，在构造第一参考图像列表时，可优先选择与增强层当前图像的时间相关性较强的参考图像所对应的残差图像加入第一参考图像列表，这样使得预测信号更加准确。
根据本发明的实施例，在根据增强层当前图像与至少一个增强层参考图像的时间相关性确定上述至少一个残差图像时，可以根据至少一个增强层参考图像中图像顺序编码号与增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定至少一个残差图像。
例如，图像的图像顺序编号可以反映图像在时间上的距离远近，图像顺序编号越接近的两个图像的时间距离越近。因此，可优先选择具有与增强层当前图像的图像顺序编号接近的图像顺序编号的增强层参考图像用于确定上述至少一个残差图像。举例来说，在该预测的阈值为2的情况下，选择其图像顺序编号与增强层当前图像的图像顺序编号之差的绝对值为1的增强层参考图像用于确定上述至少一个残差图像，例如，在增强层当前图像的图像顺序编号为5的情况下，选择图像顺序编号为4和6的增强层参考图像作为其残差图像。
图2是本发明一个实施例的基于双向预测的解码方法的示意性流程图。图2的方法由解码器执行，与图1的方法相对应，在此适当省略详细的描述。图2的方法包括如下内容。
210，根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中。
220，根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。
230，基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行解码，实现差分解码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
在230中，可以从编码后形成的码流中获取该增强层当前图像的图像块的编码信息，并对该编码信息解码得到该图像块的运动信息和预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该图像块的预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。
该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中在230中，可以在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建图像。
根据本发明的实施例，该加权预测参数从码流中得到，或者该加权预测参数被预先设置在解码端。
根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中在230中，可以基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0+o1＝-2×offset，该offset为第一预测信号被转换成无符号数时偏移量。
可选地，作为另一实施例，图2的方法还包括：从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
在210中，可以根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
可选地，作为另一实施例，图2的解码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识，以便编码端在管理图像缓存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分。
可选地，作为另一实施例，图2的解码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致。
可选地，作为另一实施例，图2的解码方法还包括：根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续解码的图像的参考图像；若根据预设的准则确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
可选地，作为另一实施例，图2的方法还包括：从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；若根据解码图像管理信息确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像，从图像缓存区中删除增强层参考图像和/或相应的残差图像。
在210中，可以对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中在220中，可以对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
在210中，可以将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中在120中，可以将该增强层当前图像对应的基本层图像作为第二参考图像。
可选地，作为另一实施例，图2的解码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在解码端或者从码流中获取。注意，若编解码端约定残差图像的数量，则无需将残差图像数量信息添加到码流中。
可选地，作为另一实施例，图2的解码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
根据本发明的实施例，在根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定上述至少一个残差图像时，可以根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
此时则无需从码流中获取残差图像对应的增强层参考图像的标识信息，也无需从码流中获取残差图像对应的增强层参考图像的图像顺序编号信息。
下面详细描述本发明的实施例的参考图像列表的构造过程。本发明的实施例可以在编码端与解码端构造参考图像列表。因此，下面构造参考图像列表的方法既可应用于编码端，也可以应用于解码端。应理解，本发明的实施例中描述的处理指编码操作或解码操作。本实施例中，当增强层重建图像作为其它图像的参考图像时，称为增强层参考图像。
在编码端或解码端处理（例如，编码或解码）完一帧基本层图像后，在处理与该基本层图像相对应的增强层图像（即增强层当前图像）前，可以基于该基本层图像的重建图像（以下简称基本层图像）获取上采样图像，将该上采样图像存储到DPB中，并将该上采样图像的图像顺序编号（Picture OrderCount，POC）设置成与相对应的增强层当前图像的POC相同。然后对相对应的增强层当前图像进行处理，处理完成后，将得到的增强层重建图像存储到该DPB中。基于该增强层重建图像与该上采样图像生成残差图像，将该残差图像存储到该DPB中，并将该上采样图像从该DPB中移除。本发明的实施例还可以设置该增强层重建图像与该残差图像的POC为相同的数值。因为增强层当前图像的重建图像与相对应的残差图像的POC值相同，所以需要为该DPB中的残差图像加入一个附加标识进行区分。
应理解，由于只有在增强层当前图像处理完成后才能得到相对应的重建图像与残差图像，因此在DPB中按增强层当前图像的POC数值索引只会找到与该增强层当前图像相对应的基本层图像的上采样图像，因此可以不对该上采样图像添加标识进行区分。应理解的是，上采样图像仅在处理增强层当前图像时使用，而不会在处理后续图像时使用，因此，也可以不存储到DPB中。
除了可以按照约定将每帧残差图像存储DPB中之外，还可以根据码流中的指示信息确定是否将某一帧残差图像存储到DPB中。例如，该指示信息可在PPS或片头（sliceheader）中携带。
另外，编码端或解码端可以根据给定准则确定DPB中与某个POC对应的所有图像（例如，增强层重建图像与相对应的残差图像），是否会被用作后续处理图像的参考图像。该给定准则可以在编解码端预先约定，或者由编码端确定后通知解码端。如果一帧图像不再被用作参考图像，则可以从DPB中移除。
上面描述了增强层重建图像及残差图像放在同一个DPB中进行管理的方法。可选地，作为另一实施例，还可以分别将增强层重建图像和残差图像存储到独立的DPB进行管理。换句话说，使用增强层重建图像DPB管理增强层重建图像，使用残差图像DPB管理残差图像。在这种情况下，在一个DPB中仅有一帧图像与每个POC相对应，因此无需添加额外的标识区分增强层重建图像与残差图像。应理解，在不同的DPB中，可以为一帧增强层重建图像和相对应的残差图像设置相同的POC。
图3A是根据本发明一个实施例的构造参考图像列表的示意图。
本实施例以上述第一参考图像列表为前向参考图像列表、上述第二参考图像列表为后向参考图像列表为例进行说明。在本实施例中，假设增强层图像与基本层图像的分辨率不一样，例如，基本层图像的分辨率低于增强层图像的分辨率，因此，需要将基本层图像的上采样图像加入到后向参考图像列表中。
具体而言，参考图像列表可以包括：前向参考图像列表list0与后向参考图像列表list1，可以将上述残差图像放入list0，将上述上采样图像放入list1，在这里，将图像放入参考图像列表是指将图像的索引或标识设置在参考图像列表中。在进行双向预测时，增强层当前图像中的一个图像块的预测信号由两个预测信号组合产生，这两个预测信号包括：从list0中的参考图像获得的前向预测信号和从list1中的参考图像获得的后向预测信号，使得能够利用双向预测机制将残差图像中的信号与上采样图像中的信号进行叠加，达到与常规块级别的差分模式相同的效果。
参见图3A，第一行图像为增强层（Enhancement Layer，EL）图像，其中，Curr图像表示增强层当前图像，即正在进行处理（例如，正在进行编码或解码）的图像。Ref0，Ref1，…，Refn表示增强层当前图像的参考图像，这些参考图像是增强层重建图像，即增强层中已经完成编码或解码操作而产生的图像，例如，Curr图像左侧的图像为list0中的参考图像，即前向参考图像，Curr图像右侧的图像为list1中的参考图像，即后向参考图像。第二行图像表示第三行的基本层重建图像（简称基本层图像）上采样后所得的基本层上采样(BaseLayer Upsmaple，BL Upsample)图像，例如，BLUpCurr表示增强层当前图像对应的基本层图像的上采样图像。第三行图像表示基本层(Base Layer，BL）图像，例如，BLCurr图像为Curr图像对应的基本层图像。
在图3A中，同一列对应位置的图像表示同一时刻的基本层重建图像、基本层图像的上采样图像和增强层图像。例如，与list0中的参考图像Ref0，Ref1，…，Refn对应的基本层图像分别为BLL00 BLL01，…，BLL0n，上采样图像分别为BLUpL00 BLUpL01，…，BLUpL0n；与list1中的参考图像Ref0，Ref1，…，Refn对应的基本层图像分别为BLL10 BLL11，…，BLL1n，上采样图像分别为BLUpL10 BLUpL11，…，BLUpL1n。
另外，本发明的实施例在list0中添加了残差图像Dif0，Dif1，…，Difn，在list1中添加了上采样图像BLUpCurr。为了清楚起见，图3A中只图示说明了在list0中添加list0的参考图像的残差图像作为新的参考图像。应理解的是，在本发明的实施中，也可以将list1中的Ref0，Ref1，…，Refn对应的残差图像也加入到list0中，在这种情况下，list1中的BLUpCurr不用于生成残差图像。
根据本发明的实施例，残差图像可以放置在参考图像列表中的任意位置。例如，图3A给出一种可能的放置方法，其中Diff0置于list0中的Ref0之后，Diff1置于Ref1之后，依此类推。应理解的是，残差图像与上采样图像应该放置在不同的参考图像列表中，以便通过双向预测将残差信号与基本层上采样信号叠加来实现差分模式。
下面参照图3A描述基于双向预测实现差分模式的编码过程。图3B是本发明一个实施例的基于双向预测的编码过程的示意性流程图。图3的实施例是图1的实施例的例子。
本实施例详细描述了在采用双向预测实现差分模式的情况下，增强层中一帧双向预测图像的编码流程。
310，构造增强层当前图像的参考图像列表。
例如，可以按照图3A描述的方法构造参考图像列表，将残差图像放置在list0中，在上采样图像放置在list1中，在此不再赘述。
320，确定加权预测参考图像，并为加权预测参考图像设置相应的加权预测参数。
例如，将list0中的残差图像和list1中的上采样图像标记为加权预测参考图像。在所有参考图像均为加权预测参考图像的情况下，也可以不进行标记。按照下面的方法为加权预测参考图像设置加权预测参数，即为加权预测参考图像绑定加权预测参数。
下面以一种常规加权预测方法为例，说明加权预测参数的设置方法。例如，在加权预测方法中，w0表示list0中的参考图像的权重，w1表示list1中的参考图像的权重，o0表示list0中的参考图像的偏移，o1表示list1中的参考图像的偏移，shift表示精度控制因子。例如，可以按照公式（1）所示方法确定这些参数。
w0=(1<<luma_log2_weight_denom)+delta_luma_weight_l0
w1=(1<<luma_log2_weight_denom)+delta_luma_weight_l1
o0=luma_offset_l0 （1）
o1=luma_offset_l1
shift=luma_log2_weight_denom
其中，luma_log2_weight_denom可以按照默认的方法设置，即当参考图像数目小于3时设置为6，否则设置为7。delta_luma_weight_l0和delta_luma_weight_l1可以设置为0，luma_offset_l0和luma_offset_l1可以设置为-128。编码端可以将luma_log2_weight_denom、delta_luma_weight_l0、delta_luma_weight_l1、luma_offset_l0和luma_offset_l1等五个参数告知解码端，以便解码端能够根据这五个参数生成相同的加权预测参数w0、w1、o0、o1和shift。
330，对增强层当前图像的图像块进行运动估计，确定其运动信息。
例如，首先可以对参考图像列表进行单向搜索，即遍历List0中除残差图像外的所有图像进行运动搜索以确定最优前向参考图像，遍历list1中除BLUpCurr外的所有图像进行运动搜索以确定最优后向参考图像。然后，可以再进行双向搜索确定最优双向参考图像。在使用上采样图像和残差图像进行双向预测搜索时，使用步骤320中确定的加权预测参数进行加权预测。
如果从List1中选出的最优参考图像是BLUpCurr，则对List0中的残差图像进行搜索。如果list1中的最优参考图像不是BLUpCurr，则只对list0中除残差图像之外的参考图像进行搜索得到最优双向预测参考图像，而不对残差图像进行搜索。由于本发明的实施例添加残差图像只是为了实现差分模式预测，因此，在编码端进行双向预测的运动估计操作时，仅在list1中的最优参考图像为BLUpCurr的情况下，才需要使用list0中的各个残差图像作为前向参考图像进行运动搜索。
此外，编码端进行单向预测的运动估计操作时，也无需使用list0中的残差图像作为参考图像进行运动搜索。
经过上述运动估计过程，可以为增强层当前图像的每个图像块确定运动信息，例如，为每个图像块确定最优前向参考图像和最优后向参考图像的标识和运动矢量。
340，根据确定的运动信息，对当前增强层图像的图像块进行运动补偿预测，得到增强层重建图像。
如果330中确定的运动信息指示该图像块的前向预测信号P0来自于残差图像，其中前向预测信号的取值范围为0~255（为存储与处理方便，已添加128偏移后转换为无符号数），后向预测信号P1来自于上采样图像，其中信号的取值范围为0~255，则可按照下面的公式（2）计算该图像块的预测信号predSamples。
predSamples=(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift=(P0-128)+P1 （2）
另外，可以对预测信号predSamples进行钳位操作，以将数值约束在[0，255]之间。从公式（2）可以看到，按照步骤320中的加权预测参数的设置，可以实现原始残差信号(P0-128)与上采样信号P1的叠加，从而达到与常规块级别的差分模式编码相同的效果。
在获取该图像块的预测信号predSamples后，可以进一步基于已经获取的预测信号对图像块进行预测编码，即计算预测差值信号，并将该预测差值信号写入视频压缩码流。基于已经获取的预测信号对图像块进行预测编码是常规技术，在此不再赘述。
350，基于增强层重建图像生成相对应的残差图像，并将该残差图像放入DPB中。
例如，在完成对增强层当前图像的编码得到增强层重建图像（即编码后的图像）之后，可以基于该增强层重建图像生成相对应的残差图像，并将该残差图像放入DPB中，以便在后续的编码过程中使用。
本发明的实施例可以在完成每帧增强层图像的编码之后，计算得到的增强层重建图像信号与相对应的基本层上采样图像的差值图像，并且将该差值图像作为该增强层重建图像的残差图像。例如，可以按照下列公式(3)的方法构造残差图像Dif0：
Dif0(x,y)＝Ref0(x,y)-BLUpL00(x,y)+128 (3)
其中(x，y)表示图像中采样点的坐标，其余残差图像也可使用相同的方法构造，在此不再赘述。由于一些常规编解码方案中规定参考图像中的像素值不能为负值，为了使得本发明的实施例能够应用于这些编解码方案，可以将残差图像中所有信号均加上128，并进行钳位操作以将信号值约束在区间[0，255]之内，目的是将带符号数转换为无符号数进行存储与处理。
下面参照图3A描述基于双向预测实现差分模式的解码过程。
图4是本发明一个实施例的基于双向预测的解码过程的示意性流程图。图4的实施例是图2的实施例的例子。
本实施例详细描述了在采用双向预测实现差分模式的情况下，增强层中一帧双向预测图像的解码流程。
410，构造增强层当前图像的参考图像列表。
例如，可以按照图3A描述的方法构造参考图像列表，将残差图像放置在list0中，在上采样图像放置在list1中，在此不再赘述。
420，从码流中获取增强层当前图像中的图像块的运动信息，并根据该运动信息对该图像块进行运动补偿解码操作，得到该图像块的重建图像。
如果330中确定的运动信息指示该图像块的前向预测信号P0来自于前向参考列表中的残差图像，后向预测信号P1来自于后向参考列表中的上采样图像，则可按照上面的公式（2）计算该图像块的预测信号predSamples。另外，可以对预测信号predSamples进行钳位操作，以将数值约束在[0，255]之间。在获取图像块的预测信号predSamples后，可以进行叠加解码得到的差值信号，并进一步进行环路滤波等解码操作从而获取最终的重建信号。基于已经获取的预测信号对图像块进行解码操作以获取最终重建信号是常规技术，在此不再赘述。
430，基于增强层重建图像生成相对应的残差图像，并将该残差图像放入DPB中。
例如，在完成对增强层当前图像的解码得到增强层重建图像之后，可以按照图3A中描述的方法基于该增强层重建图像生成相对应的残差图像，并将该残差图像放入DPB中，以便在后续的解码过程中使用。
可选地，作为图3B和图4的实施例的替代方案，残差图像和上采样图像可以不存储在DPB中，在这种情况下，在对增强层当前图像进行编码或解码时，可以先根据参考图像的POC从DPB中获取增强层当前图像的参考图像，如图3A中的参考图像Ref0，Ref1，…，Refn。然后根据上述公式（3）计算得到与这些参考图像相对应的残差图像，并将残差图像加入到参考图像列表中，同时将增强层当前图像对应的基本层图像的上采样图像加入到list1的参考图像列表中。本实施例并未将残差图像和上采样图像存储到DPB中进行统一管理，而是在需要进行编码或解码时才计算残差图像和上采样图像。这样做的优点在于，生成残差图像仅在处理增强层当前图像时有效，在增强层当前图像的处理结束后可以立即销毁。与图3B和图4的实施例的方法相比，该方法对残差图像与上采样图像的管理简单。然而，图3B和图4的实施例的优点在于能够避免同时使用多个残差图像的情况下可能导致的重复计算。因此，本实施例的方法适用于残差图像较少的情况，例如，在增强层当前图像的参考图像列表中加入一个残差图像的情况下，结合常规的采用滑窗方式设置参考图像列表的方法，则不会出现重复计算残差图像的情况。
可选地，作另一实施例，在构造参考图像列表时，通常会将时间相关性强的参考图像放置在列表的前端。例如，图3所示list0和list1中的首个增强层参考图像Ref0与当前处理图像的时间相关性分别强于list0和list1中增强层参考图像Ref1与当前处理图像的时间相关性，依此类推。而list0和list1中同位置的参考图像可认为其与当前处理图像的时间相关性没有明显差别。在这种情况下，可按时间照相关性从强到弱的顺序，从参考图像列表中选择参考图像并将其对应的残差图像加入一个参考图像列表，例如list0。若两个参考图像的时间相关性没有差别，则可以按照预置的次序依次添加其对应的残差图像到list0中。残差图像可放置在list0中的任意位置。需注意，list0与list1中的参考图像可能有重复，因此，对应的残差图像也可能有重复。在检测到当前处理的增强层参考图像与已处理完成的增强层参考图像有重复时，则无需生成对应的残差图像。
上述实施例以基本层图像与增强层图像分辨率不同的情况下进行了说明，然而本技术领域人员应理解的是，上述实施例也可应用于基本层图像与增强层图像分辨率相同的情况，在这种情况下，除了无需对基本层图像进行上采样操作之外，其余处理流程与上述实施例相同。
图5是本发明一个实施例的基于双向预测的编码装置500的示意性结构图。编码装置500包括：生成模块510和编码模块520。
生成模块510根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；用于根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。编码模块520基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
图6是本发明另一实施例的基于双向预测的编码装置600的示意性结构图。编码装置600包括：生成模块610和编码模块620。生成模块610和编码模块620与图5的生成模块510和编码模块520类似，在此不再赘述。
根据本发明的实施例，编码模块620根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。
根据本发明的实施例，编码模块620对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值。
根据本发明的实施例，该加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，该加权预测参数被预先设置在编码端。
根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中编码模块620基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=((P0+128)×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝-2×offset，该offset为第一预测信号被转换成无符号数时偏移量。
可选地，作为另一实施例，编码装置600还包括：第一添加模块630。
第一添加模块630在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
根据本发明的实施例，生成模块610根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
可选地，作为另一实施例，编码装置600还包括：存储模块640。存储模块640将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
可选地，作为另一实施例，编码装置600还包括：第一确定模块650和删除模块660。第一确定模块650根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像。删除模块660在根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
可选地，作为另一实施例，生成模块610还用于生成解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，编码装置还包括：第二添加模块680，用于将解码图像管理信息添加到编码后形成的码流中。
根据本发明的实施例，生成模块610对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像；对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
根据本发明的实施例，生成模块610将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像；将该增强层当前图像对应的基本层图像作为第二参考图像。
可选地，作为另一实施例，编码装置600还包括：第二确定模块670。
第二确定模块670用于根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。
根据本发明的实施例，图6的编码装置600还包括：第二确定模块670。第二确定模块670根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
根据本发明的实施例，第二确定模块670根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
图7是本发明一个实施例的基于双向预测的解码装置700的示意性结构图。解码装置700包括：生成模块710和解码模块720。
生成模块710根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。解码模块720用于基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行解码，实现了差分解码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
图8是本发明另一实施例的基于双向预测的解码装置800的示意性结构图。解码装置800包括：生成模块810和解码模块820，与图7的生成模块710和解码模块720类似，在此不再赘述。
根据本发明的实施例，解码模块820从编码后形成的码流中获取该增强层当前图像的图像块的编码信息，并对该编码信息解码得到该图像块的运动信息和图像块的预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。
根据本发明的实施例，该运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，解码模块820在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建图像。
根据本发明的实施例，该加权预测参数从码流中得到，或者该加权预测参数被预先设置在解码端。
根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中该解码模块820基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=((P0+128)×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝-2×offset，该offset为第一预测信号被转换成无符号数时偏移量。
可选地，作为另一实施例，图8的解码装置800还包括：第一获取模块830。第一获取模块830从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。
根据本发明的实施例，生成模块810根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
可选地，作为另一实施例，图8的解码装置800还包括：存储模块840。存储模块840将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识，以便编码端在管理图像缓存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致。
可选地，作为另一实施例，图8的解码装置800还包括：第一确定模块850和删除模块860。第一确定模块850根据预设的准则或从码流中获取的解码图像管理信息确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续解码的图像的参考图像，并且将解码图像管理信息添加到码流中，其中该解码图像管理信息用于指示该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像。删除模块860在根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
可选地，作为另一实施例，图8的解码装置还包括：第二获取模块870，用于从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；删除模块860，用于在根据解码图像管理信息确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从图像缓存区中删除增强层参考图像和/或相应的残差图像。
根据本发明的实施例，生成模块810对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，并且对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
根据本发明的实施例，生成模块810将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，并且将该增强层当前图像对应的基本层图像作为第二参考图像。
可选地，作为另一实施例，图8的解码装置800还包括：第二确定模块880。第二确定模块880根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
根据本发明的实施例，第二标识信息包括：第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中，第二标识信息被预先设置在解码端，或者从码流中获取。
可选地，作为另一实施例，图8的解码装置800还包括：第二确定模块880。第二确定模块880根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
根据本发明的实施例，第二确定模块880根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
图9是本发明又一实施例的基于双向预测的编码装置900的示意性结构图。编码装置900包括：处理器910和存储器920。
处理器910调用存储器920中存储的代码，以用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；用于根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
根据本发明的实施例，处理器910根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。
根据本发明的实施例，处理器910对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值。
根据本发明的实施例，该加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，该加权预测参数被预先设置在编码端。
根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中处理器910基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=((P0+128)×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝-2×offset，该offset为第一预测信号被转换成无符号数时偏移量。
可选地，作为另一实施例，处理器910在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。
根据本发明的实施例，处理器910根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
可选地，作为另一实施例，处理器910将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，用于将该上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
可选地，作为另一实施例，处理器910根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；在根据预设的准则确定该图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从该图像缓存区中删除该增强层参考图像和/或相应的残差图像。
可选地，作为另一实施例，处理器910还用于生成解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，并且将解码图像管理信息添加到编码后形成的码流中。
根据本发明的实施例，处理器910对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像；对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
根据本发明的实施例，处理器910将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像；将该增强层当前图像对应的基本层图像作为第二参考图像。
可选地，作为另一实施例，处理器910根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。
根据本发明的实施例，处理器910根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
根据本发明的实施例，处理器910根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
图10是本发明又一实施例的基于双向预测的解码装置1000的示意性结构图。解码装置1000包括：处理器1010和存储器1020。
处理器1010调用存储器1020中存储的代码，用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。
本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行解码，实现了差分解码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。
根据本发明的实施例，处理器1010从编码后形成的码流中获取该增强层当前图像的图像块的编码信息，并对该编码信息解码得到该图像块的运动信息和图像块的预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。
根据本发明的实施例，该运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中处理器1010在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建图像。
根据本发明的实施例，该加权预测参数从码流中得到，或者该加权预测参数被预先设置在解码端。
根据本发明的实施例，该加权预测参数包括：第一预测信号的权重w0，第二预测信号的权重w1，第一预测信号的偏移o0，第二预测信号的偏移o1，精度控制因子shift，其中处理器1010基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：
predSamples=((P0+128)×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，predSamples为图像块的预测信号，该<<表示向左移位，该>>表示向右移位，P0为第一预测信号，该P1为第二预测信号。
根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝-2×offset，该offset为第一预测信号被转换成无符号数时偏移量。
可选地，作为另一实施例，处理器1010从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于解码端根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。
根据本发明的实施例，处理器1010根据该增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。
可选地，作为另一实施例，处理器1010将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识，以便编码端在管理图像缓存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。
可选地，作为另一实施例，处理器1010根据预设的准则或从码流中获取的解码图像管理信息确定该图像缓存区中与一个图像顺序编号对应的图像和/或相应的残差图像是否作为后续解码的图像的参考图像，并且将解码图像管理信息添加到码流中，其中该解码图像管理信息用于指示该图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；在根据预设的准则确定该图像缓存区中与上述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像缓存区中删除该图像和/或相应的残差图像。
可选地，作为另一实施例，图10的解码装置还包括：接收器1030，用于从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，其中处理器1010在根据解码图像管理信息确定图像缓存区中与一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从图像缓存区中删除增强层参考图像和/或相应的残差图像。
根据本发明的实施例，处理器1010对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，并且对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。
根据本发明的实施例，处理器1010将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，并且将该增强层当前图像对应的基本层图像作为第二参考图像。
可选地，作为另一实施例，处理器1010根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。
根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号的差值信息。
可选地，作为另一实施例，处理器1010根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。
根据本发明的实施例，处理器1010根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (58)

1.一种基于双向预测的编码方法，其特征在于，包括：
根据增强层当前图像的至少一个增强层参考图像以及所述至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将所述至少一个残差图像作为至少一个第一参考图像加入到所述增强层当前图像的第一参考图像列表中；
根据所述增强层当前图像对应的基本层图像生成第二参考图像，并将所述第二参考图像加入到所述增强层当前图像的第二参考图像列表中；
基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行编码，其中所述第一参考图像列表是所述增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，所述第二参考图像列表是所述前向参考图像列表和所述后向参考图像列表中的另一个；
所述基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行编码，具体包括：
基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行运动估计，以确定所述图像块的运动信息，其中所述运动信息包括所述第一参考图像列表中的最优参考图像的索引和第一运动矢量以及所述第二参考图像列表中的最优参考图像的索引和第二运动矢量；
根据所述图像块的运动信息，对所述增强层当前图像的图像块进行运动补偿预测得到所述图像块的预测差值信号；
对所述运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端；
其中所述根据所述图像块的运动信息，对所述增强层当前图像的图像块进行运动补偿预测得到所述图像块的预测差值信号，具体包括：
若所述运动信息指示所述图像块在所述第一参考列表中的最优参考图像为所述至少一个残差图像之一且所述图像块在所述第二参考图像列表中的最优参考图像为所述第二参考图像，根据所述第一运动矢量从所述至少一个残差图像之一获取第一预测信号，根据所述第二运动矢量从所述第二参考图像获取第二预测信号；
基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以便将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号；
根据所述预测信号计算所述图像块的预测差值其中所述加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，所述加权预测参数被预先设置在编码端。
2.根据权利要求1所述的编码方法，其特征在于，所述基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行运动估计，以确定所述图像块的运动信息，具体包括：
对所述第一参考图像列表和所述第二参考图像列表进行双向搜索，为所述图像块确定所述第一参考图像列表中的最优参考图像和所述第一运动矢量以及所述第二参考图像列表中的最优参考图像和所述第二运动矢量。
3.根据权利要求2所述的编码方法，其特征在于，所述加权预测参数包括：所述第一预测信号的权重w0，所述第二预测信号的权重w1，所述第一预测信号的偏移o0，所述第二预测信号的偏移o1，精度控制因子shift，
其中所述基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号，具体包括：
基于所述加权预测参数采用如下公式对所述第一预测信号和所述第二预测信号进行加权预测运算得到所述图像块的预测信号：
predSamples＝(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，所述predSamples为所述图像块的预测信号，所述<<表示向左移位，所述>>表示向右移位，P0为所述第一预测信号，所述P1为所述第二预测信号。
4.根据权利要求3所述的编码方法，其特征在于，所述第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0+o1＝-2×offset，所述offset为第一预测信号被转换成无符号数时偏移量。
5.根据权利要求1至4中的任一项所述的编码方法，所述方法还包括：
在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据所述第一标识信息确定允许基于所述第一参考图像列表中的所述至少一个残差图像之一和所述第二参考图像列表中的所述第二参考图像，采用双向预测方法对所述增强层当前图像的图像块进行解码。
6.根据权利要求1至4中的任一项所述的编码方法，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：
根据所述增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成所述至少一个残差图像，其中所述前向增强层参考图像为所述前向参考图像列表中的一个，所述后向增强层参考图像为所述后向参考图像列表中的一个。
7.根据权利要求1至4中的任一项所述的编码方法，其特征在于，所述方法还包括：
将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致，并且为所述相对应的残差图像添加第一附加标识以便编码端在管理所述残差图像和所述增强层参考图像时根据所述第一附加标识将所述增强层参考图像与所述相对应的残差图像相区分；
或者，
将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致。
8.根据权利要求7所述的编码方法，其特征在于，所述方法还包括：
根据预设的准则确定所述图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；
若根据所述预设的准则确定所述图像缓存区中与所述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像，从所述图像缓存区中删除所述增强层参考图像和/或相应的残差图像。
9.根据权利要求8所述的编码方法，其特征在于，所述方法还包括：
生成解码图像管理信息，其中所述解码图像管理信息用于指示所述图像缓存区中与所述一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；
将所述解码图像管理信息添加到编码后形成的码流中。
10.根据权利要求1至4中的任一项所述的编码方法，其特征在于，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：
对所述增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将所述至少一个上采样图像分别与其对应的增强层参考图像相减，得到所述至少一个残差图像，
其中所述根据所述增强层当前图像对应的基本层图像生成第二参考图像，具体包括：
对所述增强层当前图像对应的基本层图像进行上采样，以生成所述第二参考图像。
11.根据权利要求1至4中的任一项所述的编码方法，其特征在于，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：
将所述至少一个增强层参考图像与其对应的基本层图像相减，得到所述至少一个残差图像，
其中所述根据所述增强层当前图像对应的基本层图像生成第二参考图像，具体包括：
将所述增强层当前图像对应的基本层图像作为所述第二参考图像。
12.根据权利要求1至4中的任一项所述的编码方法，其特征在于，所述方法还包括：
根据第二标识信息确定用于生成所述至少一个残差图像的增强层参考图像，其中所述第二标识信息用于指示所述至少一个残差图像的信息。
13.根据权利要求12所述的编码方法，其特征在于，所述第二标识信息包括：所述至少一个残差图像的数目、所述至少一个残差图像对应的增强层参考图像的标识信息，或者所述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中所述第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。
14.根据权利要求1至4中的任一项所述的编码方法，其特征在于，还包括：
根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定用于生成所述至少一个残差图像的增强层参考图像。
15.根据权利要求14所述的编码方法，其特征在于，所述根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定所述至少一个残差图像，具体包括：
根据所述至少一个增强层参考图像中图像顺序编码号与所述增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定所述至少一个残差图像。
16.一种基于双向预测的解码方法，其特征在于，包括：
根据增强层当前图像的至少一个增强层参考图像以及所述至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将所述至少一个残差图像作为至少一个第一参考图像加入到所述增强层当前图像的第一参考图像列表中；
根据所述增强层当前图像对应的基本层图像生成第二参考图像，并将所述第二参考图像加入到所述增强层当前图像的第二参考图像列表中；
基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行解码，其中所述第一参考图像列表是所述增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，所述第二参考图像列表是所述前向参考图像列表和所述后向参考图像列表中的另一个；
所述基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行解码，具体包括：
从编码后形成的码流中获取所述增强层当前图像的图像块的编码信息，并对该编码信息解码得到所述图像块的运动信息和所述图像块的预测差值信号；
基于所述第一参考图像列表和所述第二参考图像列表，根据所述图像块的运动信息和所述预测差值信号，对所述增强层当前图像的图像块进行运动补偿解码；
所述运动信息包括所述第一参考图像列表中的选用参考图像的索引和第一运动矢量以及所述第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中所述基于所述第一参考图像列表和所述第二参考图像列表，根据所述图像块的运动信息和所述预测差值信号，对所述增强层当前图像的图像块进行运动补偿解码，包括：
若所述运动信息指示所述图像块在所述第一参考图像列表中的选用参考图像为所述至少一个残差图像之一并且所述图像块在所述第二参考图像列表中的选用参考图像为所述第二参考图像，根据所述第一运动矢量从所述至少一个残差图像之一获取第一预测信号，根据所述第二运动矢量从所述第二参考图像获取第二预测信号；
基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号；
根据所述预测差值信号和所述图像块的预测信号得到所述图像块的重建信号，其中所述加权预测参数从所述码流中得到，或者所述加权预测参数被预先设置在解码端。
17.根据权利要求16所述的解码方法，其特征在于，所述加权预测参数包括：所述第一预测信号的权重w0，所述第二预测信号的权重w1，所述第一预测信号的偏移o0，所述第二预测信号的偏移o1，精度控制因子shift，
其中所述基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号，包括：
基于所述加权预测参数采用如下公式对所述第一预测信号和所述第二预测信号进行加权预测运算得到所述图像块的预测信号：
predSamples＝(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，所述predSamples为所述图像块的预测信号，所述<<表示向左移位，所述>>表示向右移位，P0为所述第一预测信号，所述P1为所述第二预测信号。
18.根据权利要求17所述的解码方法，其特征在于，所述第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0+o1＝-2×offset，所述offset为第一预测信号被转换成无符号数时偏移量。
19.根据权利要求16至18中的任一项所述的解码方法，所述方法还包括：
从编码后形成的码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据所述第一标识信息确定允许基于所述第一参考图像列表中的所述至少一个残差图像之一和所述第二参考图像列表中的所述第二参考图像，采用双向预测方法对所述增强层当前图像的图像块进行解码。
20.根据权利要求16至18中的任一项所述的解码方法，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：
根据所述增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成所述至少一个残差图像，其中所述前向增强层参考图像为所述前向参考图像列表中的一个，所述后向增强层参考图像为所述后向参考图像列表中的一个。
21.根据权利要求16至18中的任一项所述的解码方法，其特征在于，所述方法还包括：
将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致，并且为所述相对应的残差图像添加第一附加标识，以便编码端在管理所述图像缓存区中的所述残差图像和所述增强层参考图像时根据所述第一附加标识将所述增强层参考图像与所述相对应的残差图像相区分；
或者，
将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致。
22.根据权利要求21所述的解码方法，其特征在于，所述方法还包括：
根据预设的准则确定所述图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续解码的图像的参考图像；
若根据所述预设的准则确定所述图像缓存区中与所述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像，从所述图像缓存区中删除所述增强层参考图像和/或相应的残差图像。
23.根据权利要求21所述的解码方法，其特征在于，所述方法还包括：
从编码后形成的码流中获取的解码图像管理信息，其中所述解码图像管理信息用于指示所述图像缓存区中与所述一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；
若根据所述解码图像管理信息确定所述图像缓存区中与所述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像，从所述图像缓存区中删除所述增强层参考图像和/或相应的残差图像。
24.根据权利要求16至18中的任一项所述的解码方法，其特征在于，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：
对所述增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将所述至少一个上采样图像分别与其对应的增强层参考图像相减，得到所述至少一个残差图像，
其中所述根据所述增强层当前图像对应的基本层图像生成第二参考图像，包括：
对所述增强层当前图像对应的基本层图像进行上采样，以生成所述第二参考图像。
25.根据权利要求16至18中的任一项所述的解码方法，其特征在于，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：
将所述至少一个增强层参考图像与其对应的基本层图像相减，得到所述至少一个残差图像，
其中所述根据所述增强层当前图像对应的基本层图像生成第二参考图像，包括：
将所述增强层当前图像对应的基本层图像作为所述第二参考图像。
26.根据权利要求16至18中的任一项所述的解码方法，其特征在于，所述方法还包括：
根据第二标识信息确定用于生成所述至少一个残差图像的增强层参考图像，其中所述第二标识信息用于指示所述至少一个残差图像的信息。
27.根据权利要求26所述的解码方法，其特征在于，所述第二标识信息包括：所述至少一个残差图像的数目、所述至少一个残差图像对应的增强层参考图像的标识信息，或者所述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中所述第二标识信息被预先设置在解码端或者从编码后形成的码流中获取。
28.根据权利要求16至18中的任一项所述的解码方法，其特征在于，所述方法还包括：
根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定用于生成所述至少一个残差图像的增强层参考图像。
29.根据权利要求28所述的解码方法，其特征在于，所述根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定所述至少一个残差图像，包括：
根据所述至少一个增强层参考图像中图像顺序编码号与所述增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定所述至少一个残差图像。
30.一种基于双向预测的编码装置，其特征在于，包括：
生成模块，用于根据增强层当前图像的至少一个增强层参考图像以及所述至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将所述至少一个残差图像作为至少一个第一参考图像加入到所述增强层当前图像的第一参考图像列表中；用于根据所述增强层当前图像对应的基本层图像生成第二参考图像，并将所述第二参考图像加入到所述增强层当前图像的第二参考图像列表中；
编码模块，用于基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行编码，其中所述第一参考图像列表是所述增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，所述第二参考图像列表是所述前向参考图像列表和所述后向参考图像列表中的另一个；
所述编码模块基于所述第一参考图像列表中和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行运动估计，以确定所述图像块的运动信息，其中所述运动信息包括所述第一参考图像列表中的最优参考图像的索引和第一运动矢量以及所述第二参考图像列表中的最优参考图像的索引和第二运动矢量；根据所述图像块的运动信息，对所述增强层当前图像的图像块进行运动补偿预测得到所述图像块的预测差值信号；对所述运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端；若所述运动信息指示所述图像块在所述第一参考列表中的最优参考图像为所述至少一个残差图像之一且所述图像块在所述第二参考图像列表中的最优参考图像为所述第二参考图像，根据所述第一运动矢量从所述至少一个残差图像之一获取第一预测信号，根据所述第二运动矢量从所述第二参考图像获取第二预测信号；基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以便将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号；根据所述预测信号计算所述图像块的预测差值，其中所述加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，所述加权预测参数被预先设置在编码端。
31.根据权利要求30所述的编码装置，其特征在于，所述编码模块对所述第一参考图像列表和所述第二参考图像列表进行双向搜索，为所述图像块确定所述第一参考图像列表中的最优参考图像和所述第一运动矢量以及所述第二参考图像列表中的最优参考图像和所述第二运动矢量。
32.根据权利要求31所述的编码装置，其特征在于，所述加权预测参数包括：所述第一预测信号的权重w0，所述第二预测信号的权重w1，所述第一预测信号的偏移o0，所述第二预测信号的偏移o1，精度控制因子shift，其中编码模块基于所述加权预测参数采用如下公式对所述第一预测信号和所述第二预测信号进行加权预测运算得到所述图像块的预测信号：
predSamples＝(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，所述predSamples为所述图像块的预测信号，所述<<表示向左移位，所述>>表示向右移位，P0为所述第一预测信号，所述P1为所述第二预测信号。
33.根据权利要求32所述的编码装置，其特征在于，所述第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝-2×offset，所述offset为第一预测信号被转换成无符号数时偏移量。
34.根据权利要求30至33中的任一项所述的编码装置，还包括：
第一添加模块，用于在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据所述第一标识信息确定允许基于所述第一参考图像列表中至少一个残差图像之一和所述第二参考图像列表中的第二参考图像，采用双向预测方法对所述增强层当前图像的图像块进行解码。
35.根据权利要求30至33中的任一项所述的编码装置，所述生成模块根据所述增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成所述至少一个残差图像，其中所述前向增强层参考图像为所述前向参考图像列表中的一个，所述后向增强层参考图像为所述后向参考图像列表中的一个。
36.根据权利要求30至33中的任一项所述的编码装置，其特征在于，还包括：
存储模块，用于将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致，并且为所述相对应的残差图像添加第一附加标识以便编码端在管理所述残差图像和所述增强层参考图像时根据所述第一附加标识将所述增强层参考图像与所述相对应的残差图像相区分；或者，用于将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致。
37.根据权利要求36所述的编码装置，其特征在于，还包括：
第一确定模块，用于根据预设的准则确定所述图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；
删除模块，用于在根据所述预设的准则确定所述图像缓存区中与所述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从所述图像缓存区中删除所述增强层参考图像和/或相应的残差图像。
38.根据权利要求37所述的编码装置，其特征在于，所述生成模块还用于生成解码图像管理信息，其中所述解码图像管理信息用于指示所述图像缓存区中与所述一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像，所述编码装置还包括：第二添加模块，用于将所述解码图像管理信息添加到编码后形成的码流中。
39.根据权利要求30至33中的任一项所述的编码装置，其特征在于，所述生成模块对所述增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将所述至少一个上采样图像分别与其对应的增强层参考图像相减，得到所述至少一个残差图像；对所述增强层当前图像对应的基本层图像进行上采样，以生成所述第二参考图像。
40.根据权利要求30至33中的任一项所述的编码装置，其特征在于，所述生成模块将所述至少一个增强层参考图像与其对应的基本层图像相减，得到所述至少一个残差图像；将所述增强层当前图像对应的基本层图像作为所述第二参考图像。
41.根据权利要求30至33中的任一项所述的编码装置，其特征在于，还包括：
第二确定模块，用于根据第二标识信息确定用于生成所述至少一个残差图像的增强层参考图像，其中所述第二标识信息用于指示所述至少一个残差图像的信息。
42.根据权利要求41所述的编码装置，其特征在于，所述第二标识信息包括：所述至少一个残差图像的数目、所述至少一个残差图像对应的增强层参考图像的标识信息，或者所述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中所述第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。
43.根据权利要求30至33中的任一项所述的编码装置，其特征在于，还包括：
第二确定模块，用于根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定用于生成所述至少一个残差图像的增强层参考图像。
44.根据权利要求43所述的编码装置，其特征在于，所述第二确定模块根据所述至少一个增强层参考图像中图像顺序编码号与所述增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定所述至少一个残差图像。
45.一种基于双向预测的解码装置，其特征在于，包括：
生成模块，用于根据增强层当前图像的至少一个增强层参考图像以及所述至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将所述至少一个残差图像作为至少一个第一参考图像加入到所述增强层当前图像的第一参考图像列表中；根据所述增强层当前图像对应的基本层图像生成第二参考图像，并将所述第二参考图像加入到所述增强层当前图像的第二参考图像列表中；
解码模块，用于基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行解码，其中所述第一参考图像列表是所述增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，所述第二参考图像列表是所述前向参考图像列表和所述后向参考图像列表中的另一个；
所述解码模块从编码后形成的码流中获取所述增强层当前图像的图像块的编码信息，并对该编码信息解码得到所述图像块的运动信息和所述图像块的预测差值信号；基于所述第一参考图像列表和所述第二参考图像列表，根据所述图像块的运动信息和所述预测差值信号，对所述增强层当前图像的图像块进行运动补偿解码；
所述运动信息包括所述第一参考图像列表中的选用参考图像的索引和第一运动矢量以及所述第二参考图像列表中的选用参考图像的索引和第二运动矢量，所述解码模块在所述运动信息指示所述图像块在所述第一参考图像列表中的选用参考图像为所述至少一个残差图像之一并且所述图像块在所述第二参考图像列表中的选用参考图像为所述第二参考图像的情况下，根据所述第一运动矢量从所述至少一个残差图像之一获取第一预测信号，根据所述第二运动矢量从所述第二参考图像获取第二预测信号；基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号；根据所述预测差值信号和所述图像块的预测信号得到所述图像块的重建信号，其中所述加权预测参数从所述码流中得到，或者所述加权预测参数被预先设置在解码端。
46.根据权利要求45所述的解码装置，其特征在于，所述加权预测参数包括：所述第一预测信号的权重w0，所述第二预测信号的权重w1，所述第一预测信号的偏移o0，所述第二预测信号的偏移o1，精度控制因子shift，其中所述解码模块基于所述加权预测参数采用如下公式对所述第一预测信号和所述第二预测信号进行加权预测运算得到所述图像块的预测信号：
predSamples＝(P0×w0+P1×w1+((o0+o1+1)<<(shift-1)))>>shift，其中，所述predSamples为所述图像块的预测信号，所述<<表示向左移位，所述>>表示向右移位，P0为所述第一预测信号，所述P1为所述第二预测信号。
47.根据权利要求46所述的解码装置，其特征在于，所述第一预测信号为经过偏移后转换成的无符号数，w0＝w1＝(1<<shift)，o0＝o1＝-2×offset，所述offset为第一预测信号被转换成无符号数时偏移量。
48.根据权利要求45至47中的任一项所述的解码装置，还包括：
第一获取模块，用于从编码后形成的码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据所述第一标识信息确定允许基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行解码。
49.根据权利要求45至47中的任一项所述的解码装置，所述生成模块根据所述增强层当前图像的前向增强层参考图像和/或后向增强层参考图像以及对应的基本层图像生成所述至少一个残差图像，其中所述前向增强层参考图像为所述前向参考图像列表中的一个，所述后向增强层参考图像为所述后向参考图像列表中的一个。
50.根据权利要求45至47中的任一项所述的解码装置，其特征在于，还包括：
存储模块，用于将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像缓存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致，并且为所述相对应的残差图像添加第一附加标识，以便编码端在管理所述图像缓存区中的所述残差图像和所述增强层参考图像时根据所述第一附加标识将所述增强层参考图像与所述相对应的残差图像相区分；或者，将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像缓存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致。
51.根据权利要求50所述的解码装置，其特征在于，还包括：
第一确定模块，用于根据预设的准则确定所述图像缓存区中与一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续解码的图像的参考图像；
删除模块，用于在根据所述预设的准则确定所述图像缓存区中与所述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从所述图像缓存区中删除所述增强层参考图像和/或相应的残差图像。
52.根据权利要求50所述的解码装置，其特征在于，还包括：
第二获取模块，用于从编码后形成的码流中获取的解码图像管理信息，其中所述解码图像管理信息用于指示所述图像缓存区中与所述一个图像顺序编号对应的增强层参考图像和/或相应的残差图像是否作为后续编码的图像的参考图像；
删除模块，用于在根据所述解码图像管理信息确定所述图像缓存区中与所述一个图像顺序编号对应的增强层图像和/或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从所述图像缓存区中删除所述增强层参考图像和/或相应的残差图像。
53.根据权利要求45至47中的任一项所述的解码装置，所述生成模块对所述增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将所述至少一个上采样图像分别与其对应的增强层参考图像相减，得到所述至少一个残差图像，并且对所述增强层当前图像对应的基本层图像进行上采样，以生成所述第二参考图像。
54.根据权利要求45至47中的任一项所述的解码装置，其特征在于，所述生成模块将所述至少一个增强层参考图像与其对应的基本层图像相减，得到所述至少一个残差图像，并且将所述增强层当前图像对应的基本层图像作为所述第二参考图像。
55.根据权利要求45至47中的任一项所述的解码装置，其特征在于，还包括：
第二确定模块，用于根据第二标识信息确定用于生成所述至少一个残差图像的增强层参考图像，其中所述第二标识信息用于指示所述至少一个残差图像的信息。
56.根据权利要求55所述的解码装置，其特征在于，所述第二标识信息包括：所述至少一个残差图像的数目、所述至少一个残差图像对应的增强层参考图像的标识信息，或者所述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，所述第二标识信息被预先设置在解码端，或者从编码后形成的码流中获取。
57.根据权利要求45至47中的任一项所述的解码装置，其特征在于，还包括：
第二确定模块，用于根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定用于生成所述至少一个残差图像的增强层参考图像。
58.根据权利要求57所述的解码装置，其特征在于，所述第二确定模块根据所述至少一个增强层参考图像中图像顺序编码号与所述增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定所述至少一个残差图像。
CN201310003666.8A 2013-01-06 2013-01-06 基于双向预测的编码方法、解码方法和装置 Active CN103916673B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310003666.8A CN103916673B (zh) 2013-01-06 2013-01-06 基于双向预测的编码方法、解码方法和装置
PCT/CN2014/070172 WO2014106487A1 (zh) 2013-01-06 2014-01-06 基于双向预测的编码方法、解码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310003666.8A CN103916673B (zh) 2013-01-06 2013-01-06 基于双向预测的编码方法、解码方法和装置

Publications (2)

Publication Number Publication Date
CN103916673A CN103916673A (zh) 2014-07-09
CN103916673B true CN103916673B (zh) 2017-12-22

Family

ID=51042017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310003666.8A Active CN103916673B (zh) 2013-01-06 2013-01-06 基于双向预测的编码方法、解码方法和装置

Country Status (2)

Country Link
CN (1) CN103916673B (zh)
WO (1) WO2014106487A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3416386B1 (en) 2014-09-30 2021-01-13 Microsoft Technology Licensing, LLC Hash-based encoder decisions for video coding
CN104581172A (zh) * 2014-12-08 2015-04-29 北京中星微电子有限公司 一种实现svc宏块级算法的硬件结构
CN106303544B (zh) * 2015-05-26 2019-06-11 华为技术有限公司 一种视频编解码方法、编码器和解码器
EP3457694A4 (en) * 2016-05-24 2019-05-22 Huawei Technologies Co., Ltd. IMAGE FORECASTING METHOD AND ASSOCIATED DEVICE
CN107318024A (zh) * 2017-06-27 2017-11-03 北京奇艺世纪科技有限公司 基于运动场的视频编码方法及装置
CN109963155B (zh) 2017-12-23 2023-06-06 华为技术有限公司 图像块的运动信息的预测方法、装置及编解码器
KR20210089133A (ko) 2018-11-06 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측에 대한 단순화된 파라미터 유도
WO2020098808A1 (en) 2018-11-17 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Construction of merge with motion vector difference candidates
WO2020108591A1 (en) 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CA3121671A1 (en) 2018-12-07 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
CN113196747B (zh) 2018-12-21 2023-04-14 北京字节跳动网络技术有限公司 当前图片参考模式下的信息信令通知
CA3128769C (en) 2019-02-24 2023-01-24 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
WO2020192642A1 (en) 2019-03-24 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
CN112135141A (zh) * 2019-06-24 2020-12-25 华为技术有限公司 视频编码器、视频解码器及相应方法
CN114205615B (zh) * 2021-12-03 2024-02-06 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222630A (zh) * 2007-11-30 2008-07-16 武汉大学 一种实现实时双帧参考的时域可分级视频编码方法
CN102595135A (zh) * 2012-02-24 2012-07-18 中国科学技术大学 一种可伸缩视频编码的方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693669B1 (ko) * 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
JP4949836B2 (ja) * 2003-08-29 2012-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 記述的モデルパラメータを用いたエンハンスメントレイヤデータを符号化及び復号化するシステム及び方法
EP1695555A1 (en) * 2003-12-08 2006-08-30 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme with a dead zone
CN101040533B (zh) * 2004-10-13 2010-10-06 汤姆逊许可公司 复杂性可伸缩的视频编码和解码方法和设备
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
US8498336B2 (en) * 2006-02-02 2013-07-30 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
WO2007092192A2 (en) * 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for motion estimation using combined reference bi-prediction
EP2080378B1 (en) * 2006-10-20 2012-08-15 Nokia Corporation Virtual decoded reference picture marking and reference picture list
CN101119493B (zh) * 2007-08-30 2010-12-01 威盛电子股份有限公司 区块式数字编码图像的译码方法及装置
US8681855B2 (en) * 2007-10-12 2014-03-25 Thomson Licensing Method and apparatus for video encoding and decoding geometrically partitioned bi-predictive mode partitions
CN101742324A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
WO2011086836A1 (ja) * 2010-01-12 2011-07-21 シャープ株式会社 符号化装置、復号装置、および、データ構造
JP2012169763A (ja) * 2011-02-10 2012-09-06 Sony Corp 画像符号化装置と画像符号化方法およびプログラム
CN108391137B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222630A (zh) * 2007-11-30 2008-07-16 武汉大学 一种实现实时双帧参考的时域可分级视频编码方法
CN102595135A (zh) * 2012-02-24 2012-07-18 中国科学技术大学 一种可伸缩视频编码的方法及装置

Also Published As

Publication number Publication date
WO2014106487A1 (zh) 2014-07-10
CN103916673A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
CN103916673B (zh) 基于双向预测的编码方法、解码方法和装置
EP1781042B1 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program
CN103299642B (zh) 编码和解码图像信息的方法和使用该方法的装置
CN104980760B (zh) 用于对运动矢量进行编码和解码的方法和设备
CN104935939B (zh) 对图像进行编码/解码的装置和方法
CN104980735B (zh) 用于对运动矢量进行编码和解码的方法和设备
CN105721876B (zh) 图像解码方法
CN103748880B (zh) 图像序列的编码方法和装置及图像序列的解码方法和装置
CN106101720B (zh) 视频解码方法
CN104967857B (zh) 对图像进行编码/解码的方法和设备
KR101370919B1 (ko) 신호처리방법 및 장치
CN108632629A (zh) 针对多视图视频信号生成合并候选列表的方法及解码装置
TW201136325A (en) Selectively motion vector prediction method, motion estimation method and device thereof applied to scalable video coding system
CN105075261B (zh) 用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备
CN106803961A (zh) 图像解码设备
CN105847836A (zh) 处理视频信号的方法和设备
CN104255032B (zh) 层间预测方法和使用其的编码设备和解码设备
CN106464889A (zh) 执行基于子块的预测的层间视频解码方法和层间视频编码方法及其设备
WO2011150840A1 (zh) 一种生成图像预测值的方法和装置
CN109076213A (zh) 基于间预测模式的图像处理方法及其装置
JP2022530172A (ja) 適応解像度ビデオ符号化のためのインター符号化
CN108235034A (zh) 视频编码方法和设备以及视频解码方法和设备
CN105191314B (zh) 用于对多层视频进行编码的方法和设备、用于对多层视频进行解码的方法和设备
CN110024396A (zh) 通过块映射来对图像进行编码或解码的方法和装置
JP2012513141A (ja) ビデオピクチャ系列の動きパラメータを予測及び符号化する方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant