CN110832868A - 编码方法、解码方法、编码设备和解码设备 - Google Patents

编码方法、解码方法、编码设备和解码设备 Download PDF

Info

Publication number
CN110832868A
CN110832868A CN201880042495.0A CN201880042495A CN110832868A CN 110832868 A CN110832868 A CN 110832868A CN 201880042495 A CN201880042495 A CN 201880042495A CN 110832868 A CN110832868 A CN 110832868A
Authority
CN
China
Prior art keywords
output
image
picture
pictures
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880042495.0A
Other languages
English (en)
Inventor
郑萧桢
李蔚然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110832868A publication Critical patent/CN110832868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Abstract

一种编码方法(100)、解码方法、编码设备和解码设备，该编码方法(100)包括：对待编码图像进行编码以生成码流，该待编码图像包括不输出图像和输出图像，该输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，该输出图像中的任意两个输出图像的图像顺序序号的差与该任意两个输出图像的拍摄时间间隔的比值相同，至少一个该不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间(S110)；发送该码流(S120)。编码方法(100)使得不输出图像可以在不影响输出图像的POC的时间相关性的情况下，被插入输出图像中，能够避免编码时出现运动矢量预测错误及缩放失效等问题。

Description

编码方法、解码方法、编码设备和解码设备
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及视频编解码领域，尤其涉及一种编码方法、解码方法、编码设备和解码设备。
背景技术
在现有的一些视频编解码技术中，编码设备会对一些特定图像进行编码并将其在码流中进行传输。这些特定图像被解码设备解码，并用于作为参考图像或作为其它参考，其不被解码设备输出。本文中将这些特定图像称为不输出图像。
现有的视频编解码技术通常不在码流中对不输出图像进行编码，而是在编码设备和解码设备两端分别构造不输出图像。在解码设备构造不输出图像会造成解码设备的处理较为复杂，因此在另外一些视频编解码技术中，编码设备编码时在输出图像中插入不输出图像，然后将所有图像进行图像顺序序号(picture order count，POC)的连续编码。然而，不输出图像的随意插入会导致输出图像的POC的时间相关性被破坏，从而可能会引起编码或解码时运动矢量预测错误及缩放失效等问题。
发明内容
本申请提供了一种编码方法、解码方法、编码设备和解码设备，能够避免编码时出现运动矢量预测错误及缩放失效等问题。
第一方面，提供了一种编码方法，包括：对待编码图像进行编码以生成码流，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；发送所述码流。
第二方面，提供了一种解码方法，包括：接收码流，所述码流中包括不输出图像和输出图像的待解码数据，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；对所述码流进行解码。
第三方面，提供了一种编码设备，所述编码设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令时，使得所述编码设备执行以下步骤：对待编码图像进行编码以生成码流，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；发送所述码流。
第四方面，提供了一种解码设备，所述解码设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令时，使得所述解码设备执行以下步骤：接收码流，所述码流中包括不输出图像和输出图像的待解码数据，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；对所述码流进行解码。
第五方面，提供了一种计算机可读存储介质，其上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面所述的方法。
第六方面，提供了一种计算机可读存储介质，其上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行第二方面所述的方法。
第七方面，提供了一种计算机程序，该计算机程序使得计算机执行第一方面的方法。
第八方面，提供了一种计算机程序，该计算机程序使得计算机执行第二方面的方法。
本申请各方面，将不输出图像编入码流中，通过使得输出图像中显示顺序相邻的任意两个输出图像的POC的差大于1，输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，并且POC上相邻的两个输出图像的POC之间可以存在不输出图像的POC，这样使得不输出图像可以在不影响输出图像的POC的时间相关性的情况下，被插入输出图像中，能够避免编码时出现运动矢量预测错误及缩放失效等问题。
附图说明
图1是本申请一个实施例提供的编码方法的示意性流程图。
图2是本申请一个实施例提供的GOP中图像的参考关系的示意图。
图3是本申请另一个实施例提供的GOP中图像的参考关系的示意图。
图4是本申请又一个实施例提供的GOP中图像的参考关系的示意图。
图5是本申请又一个实施例提供的GOP中图像的参考关系的示意图。
图6是本申请一个实施例提供的解码方法的示意性流程图。
图7是本申请一个实施例提供的编码设备的示意性框图。
图8是本申请另一个实施例提供的编码设备的示意性框图。
图9是本申请一个实施例提供的解码设备的示意性框图。
图10是本申请另一个实施例提供的解码设备的示意性框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
首先介绍本申请实施例涉及的相关技术及概念。
近年来，由于便携式设备、手持式设备以及可穿戴设备的盛行，视频的内容量不断增长。随着视频形式变得越来越复杂，视频的存储和传输变得越来越具有挑战性。为了减少视频存储和传输所占用的带宽，通常在编码端对视频数据进行编码压缩，在解码端进行解码。
编码压缩过程包括预测、变换、量化和熵编码等处理。其中，预测包括帧内预测和帧间预测两种类型，其目的在于利用预测块数据去除当前待编码图像块的冗余信息。帧内预测利用本帧图像的信息获得预测块数据。帧间预测利用参考图像的信息获得预测块数据，其过程包括将当前待编码图像划分成若干个待编码图像块，再针对待编码图像块进行至少一次的划分(例如利用HEVC标准中的四叉树划分方法，或者利用四叉树二叉树划分方法)，划分成若干个图像块；然后，针对每个子图像块，在参考图像中搜索与当前子图像块最匹配的图像块作为预测图像块，预测图像块与当前子图像块的相对位移即为运动矢量；其后，将该子图像块与预测图像块的相应像素值相减得到残差。将得到的各子图像块对应的残差组合在一起，得到待编码图像块的残差。残差经过变换、量化和熵编码等处理后得到熵编码比特流，将熵编码比特流及进行编码后的编码模式信息，例如帧内预测模式、运动矢量(或运动矢量残差)等信息，进行存储或发送到解码端。
在图像的解码端，获得熵编码比特流后进行熵解码，得到相应的残差；根据解码得到的运动矢量、帧内预测等信息找到待解码图像块对应的预测图像块；根据预测图像块与残差得到待解码图像块中各像素点的值。
通过以上说明可知，在进行帧间预测时，选取的参考图像与当前待编码图像越相似则帧间预测产生的残差越小，从而可以提升帧间预测的编码效率。具体地，现有的一些技术可以利用视频中的各图像构建一个包含场景的背景内容的高质量的长期参考图像。在进行帧间预测时当前待编码图像或当前待解码图像的背景部分可通过参考所述的高质量的长期参考图像用于减少帧间预测的残差信息，从而提高编码效率。也即，该长期参考图像是作为帧间预测的参考图像。在一个实施例中，长期参考图像是一个已编/解码的图像，例如是一个已编/解码的I帧。在一个实施例中，长期参考图像是一个构造的图像。长期参考图像中包括多个图像块，任意一个图像块均是从某个已编/解码图像中取出的，长期参考图像中的不同图像块可能取自于不同的已编/解码图像。
视频是由多个图像构成的。如前文中描述地，对视频进行编/解码时，视频中不同的图像可采用不同的预测方式。根据图像所采用的预测方式，可以将图像区分为帧内预测图像和帧间预测图像，其中帧间预测图像包括前向预测图像和双向预测图像。I图像是帧内预测图像，也称为关键帧；P图像是前向预测图像，也即采用之前已编/解码的一个P图像或者I图像作为参考图像；B图像是双向预测图像，也即采用前后的图像作为参考图像。
一种实现方式是编/解码端将多张图像进行编/解码后产生一段一段的图像组(group ofpicture，GOP)。在一种可选的方式中，GOP是由一张I图像，以及多张B图像(或双向预测图像)和/或P图像(或前向预测图像)构成的图像组。在另一种可选的方式中，GOP由单独的帧内预测图像组成；或者GOP由多个帧间预测图像组成，例如GOP由多个B图像和/或P图像组成。解码端在播放时则是读取一段一段的GOP进行解码后读取画面再渲染显示。
在现代视频编/解码标准中，可以通过将图像分成多个小块来对不同分辨率的图像进行编/解码，即图像可以被分成多个图像块。图像可以被分成任何数量的图像块。例如，该图像可以被分成一个m×n图像块阵列。图像块可以具有矩形形状、正方形形状、圆形形状或任何其他形状。图像块可以具有任何尺寸，例如p×q像素。每个图像块都可以具有相同尺寸和/或形状。可替代地，两个或更多图像块可以具有不同的尺寸和/或形状。图像块可以具有或者可以不具有任何重叠部分。在一些实施例中，该图像块在一些编/解码标准中被称为宏块或最大编码单元(1argest coding unit，LCU)。对于H.264标准，该图像块被称为宏块，其大小可以是16×16像素。对于高效率视频编码(HighEfficiency Video Coding，HEVC)标准，图像块被称为编码树单元(Coding Tree Unit，CTU)，其大小可以是8×8像素～64×64像素。
在另一些实施例中，一个图像块也可以不是一个宏块或编码树单元，而是包含一个宏块或编码树单元的部分，或者包含至少两个完整的宏块(或编码树单元)，或者包含至少一个完整的宏块(或编码树单元)和一个宏块(或编码树单元)的部分，或者包含至少两个完整的宏块(或编码树单元)和一些宏块(或编码树单元)的部分。如此，在图像被分成多个图像块之后，可以分别对图像数据中的这些图像块进行编/解码。
在另一些实施例中，一个图像块可以指的是一个宏块或编码树单元的部分。例如，一个图像块可以指的是在一些视频编/解码标准中的编码单元(Coding Unit，CU)。
上述长期参考图像是不输出图像的一个具体举例。在一些实现方式中，不输出图像可以具有以下至少一种性质：构造帧(composite reference)、长期参考图像、短期参考图像、构造的长期参考图像。在一些实现方式中，构造帧也被称为合成参考帧。在另一些实现方式中，该不输出图像可以包括除构造帧以外的图像，或者包括除长期参考图像以外的图像，或者包括除构造的长期参考图像以外的图像等等。其中，该不被输出的图像，指的是不被输出显示的图像；一般来说，该不被输出的图像是作为其他图像的参考图像存在的。
在一些实现方式中，视频中的图像可作为参考图像时，可以区分长期参考图像和短期参考图像的。其中，该短期参考图像是与长期参考图像相对应的一个概念。短期参考图像存在于参考图像缓冲区中一段时间，经过该短期参考图像之后的已解码的参考图像在参考图像缓冲区中的若干移入和移出操作之后，短期参考图像会被移出参考图像缓冲区。参考图像缓冲区也可以称为参考图像列表缓存、参考图像列表、参考帧列表缓存或参考帧列表等，本文中将其统称为参考图像缓冲区。
长期参考图像(或长期参考图像中的一部分数据)可以一直存在于参考图像缓冲区中，该长期参考图像(或长期参考图像中的一部分数据)不受已解码的参考图像在参考图像缓冲区中的移入和移出操作的影响，只有在解码端发出更新指令操作时该长期参考图像(或长期参考图像中的一部分数据)才会被移出参考图像缓冲区。
短期参考图像和长期参考图像在不同的标准中的叫法可能不同，例如，在H.264/高级视频编码(advanced video coding，AVC)或者H.265/HEVC等标准中短期参考图像被称为短期参考帧(short-term reference)，长期参考图像被称为长期参考帧(long-termreference)。又如在信源编码标准(audio video coding standard，AVS)1-P2、AVS2-P2、电气和电子工程师协会(institute of electrical and electronics engineers，IEEE)1857.9-P4等标准中，长期参考图像被称为背景帧(background picture)。又如在VP8、VP9等标准中，长期参考图像被称为黄金帧(golden frame)。
应理解，本申请实施例中采用特定了术语，并不代表必须应用到特定场景下，例如，将长期参考图像称为长期参考帧并不代表必须用到H.264/AVC或者H.265/HEVC等标准对应的技术中。
以上提到的长期参考图像可以是从多个已编/解码图像中取出的图像块构造得到的，或者利用多个已编/解码图像对已有参考帧(例如，预存的参考帧)进行更新得到。一种可能的构造方式为，在编码完随机访问点的图像(I图像)时，将构造帧初始化为该随机访问点的图像，在编码下一个随机访问点之前的任一图像时，使用当前图像与前一帧图像逐块进行比较，当当前图像的图像块与前一帧图像对应位置的图像块相似的时候，则认为是背景的一部分，将构造帧对应位置使用这个块替代。当构造帧中被替换掉的块达到一定比例时，认为该构造帧已经构造完成。将该构造帧作为长期参考图像。当然，本申请其他实现方式中，长期参考图像也可以不是构造的参考图像。
可选地，图像的类型可以在码流结构中通过特殊字段标识出来。
可选地，在确定图像为长期参考图像时，确定该图像为不输出图像；或，在确定图像为构造帧时，确定该图像为不输出图像。
可选地，不输出图像和输出图像都可以具有相应的标识，此时对于解码端而言，可以依据图像所具有的标识来确定该图像是不输出图像还是输出图像。
在一些实现方式中，在确定图像具有长期参考图像的标识时，确定该图像为不输出图像。
在一些实现方式中，在确定图像具有不被输出的标识时，确定该图像为不输出图像。
在一些实现方式中，在确定图像具有构造帧的标识时，确定该图像为不输出图像。
可选地，上述各种标识可以包含在序列头、图像头(picture header)、图像参数集(picture parameter set，PPS)、条带头(slice header)中，以确定图像是否为不输出图像。
在本申请各实施例中，一帧图像可以划分为至少一个条带(slice)，每个条带包含一组编码单元。每个条带可以独立编码、解码或重建。编/解码中使用到的参考图像等信息可以在条带头进行编码。
在编/解码设备中，为了便于区分或者索引每个编/解码的图像，会对每个图像进行编号。例如，当前的HEVC等标准中对图像按照显示顺序编号，在索引参考图像或者计算图像距离时，均使用显示顺序的编号进行运算。
在HEVC等标准中，对参考图像的管理采用称为参考图像集(reference picturesset，RPS)的概念。RPS配置参数对编码使用的参考图像进行标识，该参考图像可以包括短期参考图像和/或长期参考图像。通过RPS信息指示RPS配置参数，可以知道编/解码当前图像需要使用哪些图像作为参考图像。在一些可能的实现方式中，可以知道参考图像缓冲区中哪些图像不再被参考使用。对于不同的条带，可以有不同的RPS配置参数以灵活选择参考图像。RPS信息可以编码在每个条带的开头，即条带头处；RPS信息还可以编码在序列头、图像头、PPS中。应理解，图像头中可以包括整个图像的参数。为简化图像头的编码，之后的图像如果图像头没有太大变化可以用PPS中的index来标识。如果图像划分有条带，RPS信息通常不位于图像头中，而是位于条带头中。
例如，短期参考图像的RPS配置参数需要标注出的参考图像的信息有：当前图像有多少个短期参考图像，每个短期参考图像相对于当前图像的顺序序号(POC)的偏移是多少，所有的短期参考图像中哪些是当前图像可以使用的等。一个典型的低延迟(lowdelay)-B编码中短期参考图像的RPS配置参数可以如表1所示。
表1 lowdelay B编码中短期参考图像的RPS配置参数
Figure BDA0002334580150000091
其中，index表示短期参考图像的RPS配置参数的索引。type表示编码方式，B是指采用双向预测的编码方式。POC是指该RPS配置参数所适用的图像在GOP中的位置。ref_pics_active表示该RPS配置参数所适用的可以使用的短期参考图像的总数量。ref_pics表示参考图像缓冲区中的短期参考图像的数量。reference_pictures表示参考图像缓冲区中的短期参考图像相对于当前图像的的POC偏移。在编码RPS配置参数时，可以采用两种方式，分别是直接编码和预测编码。直接编码是将所有需要编码的元素直接写入码流。预测编码则是采用使用已经编码的RPS配置参数来简化编码元素。如表1的RPS配置参数的predict就表示采用何种方式来编码RPS配置参数。indexl的RPS配置参数中predict为0，表示indexl的RPS配置参数采用直接编码的方式；index2-4的RPS配置参数中predict为l，表示index2-4的RPS配置参数采用预测编码的方式。预测编码的方式具体可以如下：deltaRPS表示该RPS配置参数与参考的RPS配置参数在reference_pictures上的偏差。例如deltaRPS值为-1，则在预测时用参考的reference_pictures的POC加上-1即得到该RPS配置参数的reference_pictures。ref_idcs表示需要用多少个reference_pictures的POC做参考，对应的具体图像列在了reference idcs中。例如，此处index2的RPS配置参数的reference idcs为11101，其含义是，需要用被参考的RPS配置参数(index1的RPS配置参数)的reference_pictures的第1、2、3、5个值来做参考(index1的RPS配置参数中不存在的reference_pictures，例如第5个reference_pictures的POC认为是0)。因此，index2的RPS配置参数使用相对于index1的RPS配置参数的-1、-5、-9、0来做参考，加上deltaRPS之后，得到-2、-6、-10、-1这4个reference_pictures的值，排序之后得到-1、-2、-6、-10，即为表1中index2的RPS配置参数的reference_pictures。同理，index3的RPS配置参数中reference idcs为01111，用index2的RPS配置参数对应的reference_pictures-2、-6、-10、0加上deltaRPS，得到-3、-7、-11、-1，排序之后得到index3的RPS配置参数的reference_pictures的值-1、-3、-7、-11。index4的RPS配置参数同理，此处不再赘述。
上述表1仅是对采用现有的POC配置方法的短期参考图像的RPS配置参数的一个示例性说明。应理解，短期参考图像的RPS配置可以有其他的形式，而不局限于上表的格式和内容。本申请中的短期参考图像的RPS配置和长期参考图像的RPS配置将继续在下文中详细说明。
图1是本申请一个实施例提供的编码方法100的示意性流程图。如图1所示，编码方法100可以包括以下步骤。
S110，对待编码图像进行编码以生成码流，该待编码图像包括不输出图像和输出图像，该输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号(POC)的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个该不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间。
S120，发送该码流。
本申请实施例的编码方法，将不输出图像编入码流中，通过使得输出图像中显示顺序相邻的任意两个输出图像的POC的差大于1，输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，并且POC上相邻的两个输出图像的POC之间可以存在不输出图像的POC，这样使得不输出图像可以在不影响输出图像的POC的时间相关性的情况下，被插入输出图像中，能够避免编码时出现运动矢量预测错误及缩放失效等问题。
本申请各实施例中，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同是指：所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值是成比例的。换而言之，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值，与另外任意两个输出图像的图像顺序序号的差与所述另外任意两个输出图像的拍摄时间间隔的比值相等。
下面对“任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值是成比例的”进行详细的说明。对于输出图像中的两帧，例如输出图像A和输出图像B，假设输出图像A的图像顺序序号为POCA，拍摄时间为tA；假设输出图像B的图像顺序序号为POCB，拍摄时间为tB。输出图像A和输出图像B的图像顺序序号的差为POCB-POCA。输出图像A和输出图像B的拍摄时间间隔为tB-tA。对于输出图像中的两帧，例如输出图像C和输出图像D，假设输出图像C的图像顺序序号为POCC，拍摄时间为tC；假设输出图像D的图像顺序序号为POCD，拍摄时间为tD。输出图像C和输出图像D的图像顺序序号的差为POCD-POCC。输出图像C和输出图像D的拍摄时间间隔为tD-tC。任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值是成比例的是指：POCB-POCA与tB-tA的比值和POCD-POCC与tD-tC的比值相等。其中，输出图像C和输出图像D中最多有一帧与输出图像A或输出图像B相同。
应理解，本申请实施例中，保证任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值是成比例的，可以保证多个输出图像的POC能够反映拍摄时间的时间特性，从而使得基于POC预测的运动矢量或基于POC进行的缩放操作的正确性。
在一些实现方式中，在输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等。
可选地，在本申请的一些实施例中，可以基于图像的拍摄顺序乘以一定的倍数来确定图像顺序序号，即POC。假设输出图像的原本的拍摄顺序为0，1，2，3……。在本申请的一些实施例中，输出图像的POC可以是原本的拍摄顺序的倍数，例如可以为0，2，4，6……，或者可以为0，3，6，9……等；输出图像的POC可以是原本的拍摄顺序的倍数加减一个常数，例如可以为1，3，5，7……，或者可以为-1，2，5，8……等。由此，输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差是相等并且大于1的，这保证了输出图像的显示顺序保持不变，并且本申请实施例不改变输出图像的编码顺序。任意两个输出图像满足图像顺序序号上的距离相对于显示顺序上的距离成比例增长，这不会影响运动矢量预测和缩放等操作。
应理解，在一些应用场景中，输出图像原本的显示顺序不一定是等距的，例如，输出图像的原本的拍摄顺序为0，1，2，3，4，5，6，7，8……，中间的图像3和图像6因为一些原因(例如比较卡)被丢弃掉了，变为0，1，2，4，5，7，8……。在本申请的一些实施例中，输出图像的POC可以是原本的拍摄顺序的倍数，例如可以为0，2，4，8，10，14，16……。在其他一些应用场景中，输出图像原本的显示顺序有可能有其他的表现形式。本申请实施例中，输出图像的POC也可以具有其他的表现形式，本申请实施例对此不作限定。
在本申请的一些实施例中，典型地，显示顺序相邻的任意两个输出图像的图像顺序序号的差可以是2。例如，输出图像的POC的序列为为0，2，4，6……或者为1，3，5，7……。
可选地，在本申请的一些实施例中，可以有至少一个(即一个或多个)不输出图像的图像顺序序号是位于显示顺序相邻的两个输出图像的图像顺序序号之间的。换而言之，POC上相邻的两个输出图像的POC之间可以存在一个或多个不输出图像的POC。由此，不输出图像的POC不会影响任意两帧输出图像的POC间的距离。不输出图像的存在不会影响任意两帧输出图像的运动矢量预测和缩放等操作所参考的距离。
POC上相邻的某两个输出图像的POC之间可以存在不输出图像，也可以不存在不输出图像，但整个码流上存在至少一个不输出图像，即至少有两个输出图像的POC之间存在不输出图像。POC上相邻的任意两个输出图像的POC之间存在的不输出图像的POC的个数可以相同也可以不同。
一个具体的例子中，在输出图像的POC的序列1，3，5，7……中，例如POC＝3的图像和POC＝5的图像之间可以存在POC＝4的图像，该POC＝4的图像为不输出图像。POC＝5的图像和POC＝7的图像之间可以存在不输出图像也可以不存在不输出图像。
另一个具体的例子中，在输出图像的POC的序列0，3，6，9……中，例如POC＝3的图像和POC＝6的图像之间可以存在POC＝4的图像和POC＝5的图像；POC＝6的图像和POC＝9的图像之间可以存在POC＝7的图像。该POC＝4的图像、POC＝5的图像和POC＝7的图像为不输出图像。
应理解，本文中前面列举的以及下文中将列举的输出图像的POC的序列仅是示例性的，而非对本申请实施例的限定。例如输出图像的POC的最小编号可以不从0开始或者不从1开始等，本申请对POC的具体形式不作限定。
可选地，在本申请的一些实施例中，在S110对待编码图像进行编码以生成码流之前，所述编码方法100还可以包括：将所述待编码图像划分为多个图像组，所述图像组由单独的帧内预测图像组成，或者由多个帧间预测图像组成。
例如，在本申请实施例使用的一个lowdelay-B结构中，待编码图像的序列为I0，B2，B4，B6，B8，B10，B12，B14，B16，B17，B18……，其中B17为不输出图像，其他为输出图像。可以将I图像即I0划分为一个GOP，之后的每四个输出图像为一个GOP，例如，B2，B4，B6，B8为一个GOP，B10，B12，B14，B16为一个GOP。
图2是本申请一个实施例提供的GOP中图像的参考关系(即参考的短期参考图像)的示意图。其中GOP中每一帧图像帧间预测都会使用当前图像的前一帧图像以及前面连续几个GOP中最后一帧图像作为短期参考图像。每一帧图像的短期参考图像的总数不超过4帧。例如，B16使用的短期参考图像有B14(当前图像的前一帧图像)，以及B8和I0(前面连续几个GOP的最后一帧图像)。以此类推，图像B28使用的短期参考图像有B26(当前图像的前一帧图像)，以及B24、B16、B8(前面连续3个GOP的最后一帧图像，且短期参考图像的总数不超过4)。
再如，在本申请实施例使用的一种层次的编码结构中，待编码图像的序列为I0，P16，B8，B4，B2，B6，B12，B10，B14，B17，P32，B24，B20，B18，B22，B28，B26，B30……，其中B17为不输出图像，其他为输出图像。可以将I图像即I0划分为一个GOP，之后的每八个输出图像为一个GOP，例如，P16，B8，B4，B2，B6，B12，B10，B14为一个GOP，P32，B24，B20，B18，B22，B28，B26，B30为一个GOP。
可选地，在本申请的一些实施例中，待编码图像包括第一不输出图像。或者说，待编码图像的至少一个不输出图像中包括第一不输出图像。第一不输出图像的编码顺序在第一图像组之后且在第二图像组之前。应理解，第一图像组和第二图像组可以是在编码顺序上连续的两个输出图像的GOP。这样有利于不扰乱每个GOP中图像的参考关系，提高编码效率。例如，在上述的前一个例子中，不输出图像B17在B10，B12，B14，B16组成的GOP之后，在B18……组成的GOP之前编码。再如，在上述的后一个例子中，不输出图像B17在P16，B8，B4，B2，B6，B12，B10，B14组成的GOP之后，在P32，B24，B20，B18，B22，B28，B26，B30组成的GOP之前编码。当然，第一不输出图像的编码顺序也可以不考虑GOP的划分，而是在适合的两帧输出图像之间编码，或者第一不输出图像可以在任意两帧输出图像之间编码，本申请实施例对此不作限定。
应理解，由于本申请实施例中输出图像的图像顺序序号相对于现有的编号方式有变化，相应地对图像进行编码时所使用的参考图像集配置参数，例如RPS配置参数也相应进行调整。本申请一些实施例中，RPS配置参数相对表1可以变化为表2的内容。
表2本申请实施例的lowdelay B编码中短期参考图像的RPS配置参数
Figure BDA0002334580150000151
Figure BDA0002334580150000161
可选地，在本申请一些实施例中，编码不输出图像可以采用与输出图像类似的编码方式，例如编码不输出图像可以使用帧间预测的编码方式。编码不输出图像所使用到的短期参考图像可以为已经编码过的图像。
可选地，在一种实现方式中，S110对待编码图像进行编码以生成码流，可以包括：参考与所述第一图像组中的最后一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。即第一不输出图像所参考的短期参考图像，与编码顺序与该第一不输出图像相邻且在该第一不输出图像之前的第一图像组中的最后一个图像的短期参考图像相同。
应理解，第一图像组中的最后一个图像可以是第一图像组中编码顺序位于最后的一个图像。当然，第一图像组中的最后一个图像也可以是第一图像组中显示顺序位于最后的一个图像，本申请实施例对此不作限定。
可选地，在一种实现方式中，S110对待编码图像进行编码以生成码流，可以包括：参考与所述第二图像组中的第一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。即第一不输出图像所参考的短期参考图像，与编码顺序与该第一不输出图像相邻且在该第一不输出图像之后的第二图像组中的第一个图像的短期参考图像相同。
应理解，第二图像组中的第一个图像可以是第二图像组中编码顺序位于第一的图像。当然，第二图像组中的第一个图像也可以是第二图像组中显示顺序位于第一的图像，本申请实施例对此不作限定。
在此以一个具体的例子，即以第一不输出图像以第二图像组中的第一个图像的短期参考图像作参考的情况进行说明。参考表2，GOP中第一个图像的短期参考图像为-2，-10，-18，-26。由于不输出图像的POC比第二图像组中的第一个图像的POC小1，所以不输出图像的短期参考图像应为-1，-9，-17，-25。
下面将详细说明编码不输出图像所使用的短期参考图像的RPS信息。
可选地，在本申请一些实施例中，所述待编码图像包括第二不输出图像，所述码流中可以包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。即第一类参考图像集的信息包括编码第二不输出图像所使用的短期参考图像的RPS信息。应理解，短期参考图像的RPS信息可以通过序列头和/或条带头来传输。
可选地，在一种实现方式中，可以将可用于不输出图像的短期参考图像的多个RPS配置参数，例如多个不输出图像可共用的RPS配置参数，提前在序列头中配置好。后续某一个不输出图像，例如第二不输出图像具体使用哪一个RPS配置参数，用所用指示即可。所述码流的序列头中可以包括至少一帧短期参考图像的配置参数与索引的对应关系；所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。其中，至少一帧短期参考图像的配置参数是编码不输出图像可使用的短期参考图像的RPS配置参数。第一类参考图像集的信息，即第二不输出图像所使用的短期参考图像的配置参数对应的索引，可以位于第二不输出图像的条带头中，或者可以位于图像头中。
可选地，在另一种实现方式中，当RPS配置参数不是多个不输出图像共用的时，可以直接指示某一个不输出图像的短期参考图像的RPS配置参数，而不通过索引的方式。相应地，所述第一类参考图像集的信息可以包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数。第一类参考图像集的信息，即第二不输出图像所使用的短期参考图像的配置参数，可以位于第二不输出图像的条带头中，或者可以位于图像头中。
可选地，在本申请一些实施例中，所述第二不输出图像所使用的短期参考图像的配置参数可以包括：所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。即类似输出图像所使用的短期参考图像的配置参数的编码方式，可以使用预测编码的方式对不输出图像所使用的短期参考图像的配置参数进行编码。通过预测编码的方式可以节省编码比特数。
仍以不输出图像以下一个GOP中的第一个图像的短期参考图像作参考的情况进行说明。当前的不输出图像与下一个GOP中的第一个图像的deltaRPS为1。ref_idcs为4，即使用下一个GOP中的第一个图像的4个reference_pictures作为短期参考图像。不输出图像的reference_pictures为-1，-9，-17，-25。reference idcs为1 1 1 1。
编码不输出图像所使用的长期参考图像，可以与前一图像组中的最后一个图像所使用的长期参考图像相同，或者与后一图像组中的第一个图像所使用的长期参考图像相同。或者，编码不输出图像可以使用参考图像缓冲区中任意的长期参考图像。或者编码不输出图像可以不参考长期参考图像，本申请实施例对此不作限定。编码不输出图像和/或输出图像所使用的长期参考图像
下面详细说明本申请实施例编码图像(包括输出图像和不输出图像)所使用的长期参考图像的RPS信息。
可选地，在本申请一些实施例中，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
长期参考图像的RPS信息可以与短期参考图像的RPS信息的指示方式相类似。可选地，在一种实现方式中，所述码流的序列头中可以包括至少一帧长期参考图像的配置参数与索引的对应关系；所述第二类参考图像集的信息可以包括：用于指示图像所使用的长期参考图像的配置参数对应的索引。可选地，在另一种实现方式中，第二类参考图像集的信息可以包括：用于指示图像所使用的长期参考图像的配置参数。图像所使用的长期参考图像的配置参数也可以称为图像所使用的长期参考图像的RPS配置参数。图像所使用的长期参考图像的RPS配置参数可以包括：图像所使用的长期参考图像的图像顺序序号相对于该图像的图像顺序序号的偏移。
长期参考图像的RPS信息和短期参考图像的RPS信息的指示方式也可以有不同。长期参考图像的RPS信息可以不基于预测编码的方式，而是采用直接编码的方式。
可选地，在一种实现方式中，所述第二类参考图像集的信息位于所述码流的序列头中，所述第二类参考图像集的信息包括：第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。序列头中的不输出图像的图像顺序序号可以作为该序列头对应的序列中的图像(包括输出图像和/或不输出图像)的图像块的长期参考图像。第三不输出图像可以包括一个不输出图像也可以包括多个不输出图像。
可选地，在另一种实现方式中，所述第二类参考图像集的信息位于所述码流的序列头中，序列头中的不输出图像的图像顺序序号有可能作为该序列头对应的序列中的图像(包括输出图像和/或不输出图像)的图像块的长期参考图像。序列头中可以包括一个或多个不输出图像的图像顺序序号。具体的图像或图像的条带是否以序列头中图像顺序序号对应的不输出图像作为长期参考图像，还可以在图像头或者条带头中具体指示。
可选地，在又一种实现方式中，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。在该实现方式中，位于条带头的第二类参考图像集的信息，可以用于指示相应条带中的图像块的长期参考图像的配置。
具体而言，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，可以包括：不输出图像的数量和不输出图像的图像顺序序号。在一种具体方案中，在该长期参考图像的配置参数中，条带头所包含的图像顺序序号对应的不输出图像均作为第一条带中的图像块的长期参考图像。在另一种具体方案中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还可以包括：用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。在该具体方案中，条带头所包含的图像顺序序号对应的不输出图像并不全部作为第一条带中的图像块的长期参考图像。是否作为第一条带的长期参考图像还依赖于第一标识符的指示。
具体地，当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，编码设备会将所述第四不输出图像从参考图像缓冲区中删除。或者说，编码设备将所述第四不输出图像从参考图像缓冲区中删除，并使用第一标识符指示不将第四不输出图像作为第一条带中的图像块的长期参考图像。将第四不输出图像从参考图像缓冲区中删除后，在第一条带后编码的条带或图像将均不再参考第四不输出图像。
应理解，本申请各实施例中条带头也可以替换为图像头，相应地，一个图像头也对应一个图像。
可选地，在又一种实现方式中，可以同时在序列头中和在条带头中指示长期参考图像的配置。序列头中的长期参考图像的配置适用于序列头对应的序列中的所有图像(或条带，或图像块)。条带头中的长期参考图像的配置适用于本条带头对应的条带中的图像块。
可选地，在本申请一些实施例中，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成编码。S110对待编码图像进行编码以生成码流，可以包括：以所述第五不输出图像作为长期参考图像，对编码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行编码。换而言之，编码顺序在第五不输出图像和第六不输出图像之间的图像，可以均以第五不输出图像作为长期参考图像。如前文所述，待编码图像参考的长期参考图像可以以其他的规则约定，本申请实施例对此不作限定。
在编码完一帧不输出图像之后，编码完下一一帧不输出图像之前，所有的输出图像均可以使用该不输出图像作为参考图像。可以将不输出图像标识为长期参考图像，并使其位于参考图像缓冲区中。为了增加这个特征，可以对不输出图像之后的输出图像的RPS信息进行一定的修改，具体可以增加一帧长期参考图像的RPS配置参数。在编码完其RPS配置参数的短期参考图像的部分后，按前文所述，可以编码RPS配置参数的长期参考图像的部分。长期参考图像的部分具体可以包括长期参考图像的数量，使用不输出图像作为长期参考图像的POC，标记该不输出图像是否被当前图像参考使用的第一标识符等。
可选地，在本申请一些实施例中，所述编码方法100还可以包括：根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像。例如所述根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像，可以包括：基于原始图像，根据所述多个图像更新所述原始图像的图像块；当被更新的图像块的数量大于或等于预设阈值时，将更新后的原始图像作为所述不输出图像。
构造一个不输出图像，可以基于原始图像。该原始图像可以为帧内预测图像，即I帧。例如，原始图像可以为随机访问点对应的图像。构造方式可以基于逐块更新的方式。当对不输出图像构造完成时，即可进行不输出图像的编码。不输出图像构造完成的认定方式可以为：不输出图像相对原始图像已经有具有不少于预设阈值的图像块被更新，例如已经有不少于25％的图像块被更新，则可以认为当前的不输出图像已经构造完毕。本申请各实施例还可以可以基于其他的方式选定或者构造不输出图像，例如直接将I帧确定为不输出图像等，本申请实施例对此不作限定。
可选地，在本申请一些实施例中，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。例如，当图像为不输出图像时，其PPS的参数output_flag_present_flag可以设置为1，表示条带头中包含pic_output_flag这个值。该不输出图像的条带头的参数pic_output_flag设置为0，表示该条带所在的图像为不输出图像。
不同于表1和表2所描述的例子，下面给出了另外一种编码方式的例子。如下表3是采样现有的POC配置方式的短期参考图像的RPS配置参数的一个示例。该编码方式下每个GOP中有两帧输出图像。
表3一种编码方式下短期参考图像的RPS配置参数
Figure BDA0002334580150000221
每一帧图像的短期参考图像是前一帧图像，以及前面连续的GOP的最后一帧图像。短期参考图像的总数不超过2帧。图3是本申请一个实施例提供的GOP中图像的参考关系的示意图。
应理解，由于本申请实施例中输出图像的图像顺序序号相对于现有的编号方式有变化，相应地对图像进行编码时所使用的参考图像集配置参数，例如RPS配置参数也相应进行调整。本申请一些实施例中，RPS配置参数相对表3可以变化为表4的内容。
表4一种编码方式下短期参考图像的RPS配置参数
从第一个输出图像编码完之后开始构造不输出图像，当不输出图像构造完成后，选择在一个GOP结束之后，下一个GOP结束之前编码该不输出不输出图像。
编码该不输出图像的RPS信息可以使用帧间编码的方式。仍以不输出图像以下一个GOP中的第一个图像的短期参考图像作参考的情况进行说明。当前的不输出图像与下一个GOP中的第一个图像的deltaRPS为1。ref_idcs为2，即使用下一个GOP中的第一个图像的2个reference_pictures作为短期参考图像。不输出图像的reference_pictures为-1，-5。reference idc为1 1。该不输出图像的PPS的参数output_flag_present_flag可以设置为1，表示条带头中包含pic_output_flag这个值。该不输出图像的条带头的参数pic_output_flag设置为0，表示该条带所在的图像为不输出图像。
在编码完一帧不输出图像之后，编码完下一一帧不输出图像之前，所有的输出图像均可以使用该不输出图像作为参考图像。可以将不输出图像标识为长期参考图像，并使其位于参考图像缓冲区中。为了增加这个特征，可以对不输出图像之后的输出图像的RPS信息进行一定的修改，具体可以增加一帧长期参考图像的RPS配置参数。在编码完其RPS配置参数的短期参考图像的部分后，按前文所述，可以编码RPS配置参数的长期参考图像的部分。长期参考图像的部分具体可以包括长期参考图像的数量，使用不输出图像作为长期参考图像的POC，标记该不输出图像是否被当前图像参考使用的第一标识符等。
下面给出了另外一种编码方式的例子。如下表5是采样现有的POC配置方式的短期参考图像的RPS配置参数的一个示例。该编码方式下每个GOP中有1帧输出图像。
表5另一种编码方式下短期参考图像的RPS配置参数
Figure BDA0002334580150000231
每一帧图像的短期参考图像是前一帧图像，以及前面连续的GOP的最后一帧图像。短期参考图像的总数不超过2帧。图4是本申请一个实施例提供的GOP中图像的参考关系的示意图。
应理解，由于本申请实施例中输出图像的图像顺序序号相对于现有的编号方式有变化，相应地对图像进行编码时所使用的参考图像集配置参数，例如RPS配置参数也相应进行调整。本申请一些实施例中，RPS配置参数相对表5可以变化为表6的内容。
表6一种编码方式下短期参考图像的RPS配置参数
Figure BDA0002334580150000232
Figure BDA0002334580150000241
从第一个输出图像编码完之后开始构造不输出图像，当不输出图像构造完成后，选择在一个GOP结束之后，下一个GOP结束之前编码该不输出不输出图像。
编码该不输出图像的RPS信息可以使用帧间编码的方式。仍以不输出图像以下一个GOP中的第一个图像的短期参考图像作参考的情况进行说明。当前的不输出图像与下一个GOP中的第一个图像的deltaRPS为1。ref_idcs为2，即使用下一个GOP中的第一个图像的2个reference_pictures作为短期参考图像。不输出图像的reference_pictures为-1，-3。reference idc为11。该不输出图像的PPS的参数output_flag_present_flag可以设置为1，表示条带头中包含pic_output_flag这个值。该不输出图像的条带头的参数pic_output_flag设置为0，表示该条带所在的图像为不输出图像。
在编码完一帧不输出图像之后，编码完下一帧不输出图像之前，所有的输出图像均可以使用该不输出图像作为参考图像。可以将不输出图像标识为长期参考图像，并使其位于参考图像缓冲区中。为了增加这个特征，可以对不输出图像之后的输出图像的RPS信息进行一定的修改，具体可以增加一帧长期参考图像的RPS配置参数。在编码其RPS配置参数的短期参考图像的部分之外，按前文所述，可以编码RPS配置参数的长期参考图像的部分。长期参考图像的部分具体可以包括长期参考图像的数量，使用不输出图像作为长期参考图像的POC，标记该不输出图像是否被当前图像参考使用的第一标识符等。
下面给出了另外一种层次编码方式的例子。如下表7是一种层次编码方式下采用现有的POC设置方法的短期参考图像的RPS配置参数的一个示例。该编码方式下每个GOP中有4帧输出图像。
表7一种编码方式下短期参考图像的RPS配置参数
Figure BDA0002334580150000242
Figure BDA0002334580150000251
图5是本申请一个实施例提供的GOP中图像的参考关系的示意图。其编码顺序是I0，B4，B2，B1，B3，B8，B6，B5，B7。
应理解，由于本申请实施例中输出图像的图像顺序序号相对于现有的编号方式有变化，相应地对图像进行编码时所使用的参考图像集配置参数，例如RPS配置参数也相应进行调整。本申请一些实施例中，RPS配置参数相对表7可以变化为表8的内容。
表8一种编码方式下短期参考图像的RPS配置参数
从第一个输出图像编码完之后开始构造不输出图像，当不输出图像构造完成后，选择在一个GOP结束之后，下一个GOP结束之前编码该不输出不输出图像。
编码该不输出图像的RPS信息可以使用帧间编码的方式。仍以不输出图像以下一个GOP中的第一个图像的短期参考图像作参考的情况进行说明。当前的不输出图像与下一个GOP中的第一个图像的deltaRPS为1。ref_idcs为2，即使用下一个GOP中的第一个图像的2个reference_pictures作为短期参考图像。不输出图像的reference_pictures为-7，-15。reference idc为11。该不输出图像的PPS的参数output_flag_present_flag可以设置为1，表示条带头中包含pic_output_flag这个值。该不输出图像的条带头的参数pic_output_flag设置为0，表示该条带所在的图像为不输出图像。
在编码完一帧不输出图像之后，编码完下一帧不输出图像之前，所有的输出图像均可以使用该不输出图像作为参考图像。可以将不输出图像标识为长期参考图像，并使其位于参考图像缓冲区中。为了增加这个特征，可以对不输出图像之后的输出图像的RPS信息进行一定的修改，具体可以增加一帧长期参考图像的RPS配置参数。在编码完其RPS配置参数的短期参考图像的部分之外，按前文所述，可以编码RPS配置参数的长期参考图像的部分。长期参考图像的部分具体可以包括长期参考图像的数量，使用不输出图像作为长期参考图像的POC，标记该不输出图像是否被当前图像参考使用的第一标识符等。
图6是本申请一个实施例提供的解码方法200的示意性流程图。如图6所示，解码方法200可以包括以下步骤。
S210，接收码流，该码流中包括不输出图像和输出图像的待解码数据，该输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个该不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间。
S220，对该码流进行解码。
本申请实施例的解码方法，将不输出图像存在于码流中，通过使得输出图像中显示顺序相邻的任意两个输出图像的POC的差大于1，输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，并且POC上相邻的两个输出图像的POC之间可以存在不输出图像的POC，这样使得不输出图像可以在不影响输出图像的POC的时间相关性的情况下，被插入输出图像中，能够避免编码时出现运动矢量预测错误及缩放失效等问题。
可选地，在本申请的一些实施例中，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值是成比例的。换而言之，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值，与另外任意两个输出图像的图像顺序序号的差与所述另外任意两个输出图像的拍摄时间间隔的比值相等。
可选地，在本申请的一些实施例中，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。
可选地，在本申请的一些实施例中，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。
可选地，在本申请的一些实施例中，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。
可选地，在本申请的一些实施例中，所述第二不输出图像所使用的短期参考图像的配置参数包括：所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。
可选地，在本申请的一些实施例中，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的序列头中，所述第二类参考图像集的信息包括：第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：不输出图像的数量和不输出图像的图像顺序序号。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。
可选地，在本申请的一些实施例中，S220对所述码流进行解码，包括：当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。
可选地，在本申请的一些实施例中，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成解码；S220对所述码流进行解码，包括：以所述第五不输出图像作为长期参考图像，对待解码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行解码。
可选地，在本申请的一些实施例中，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。
可选地，在本申请的一些实施例中，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。
以上结合图1至图6详细说明了本申请实施例的方法，下面结合图7至图10详细说明本申请实施例的编码设备和解码设备。
图7是本申请实施例提供的编码设备300的示意性框图。该编码设备300包括：编码模块310，用于对待编码图像进行编码以生成码流，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；发送模块320，用于发送编码模块310生成的码流。
本申请实施例的编码设备，将不输出图像编入码流中，通过使得输出图像中显示顺序相邻的任意两个输出图像的POC的差大于1，并且POC上相邻的两个输出图像的POC之间可以存在不输出图像的POC，这样使得不输出图像可以在不影响输出图像的POC的时间相关性的情况下，被插入输出图像中，能够避免编码时出现运动矢量预测错误及缩放失效等问题。
可选地，在本申请的一些实施例中，所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等。
可选地，在本申请的一些实施例中，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。
可选地，在本申请的一些实施例中，编码设备300还包括处理模块330，用于在编码模块310对待编码图像进行编码以生成码流之前，将所述待编码图像划分为多个图像组，所述图像组由单独的帧内预测图像组成，或者由多个帧间预测图像组成。
可选地，在本申请的一些实施例中，所述待编码图像包括第一不输出图像，所述第一不输出图像的编码顺序在第一图像组之后且在第二图像组之前。
可选地，在本申请的一些实施例中，编码模块310具体用于参考与所述第一图像组中的最后一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。
可选地，在本申请的一些实施例中，编码模块310具体用于参考与所述第二图像组中的第一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。
可选地，在本申请的一些实施例中，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。
可选地，在本申请的一些实施例中，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。
可选地，在本申请的一些实施例中，所述第二不输出图像所使用的短期参考图像的配置参数包括：所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。
可选地，在本申请的一些实施例中，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的序列头中，所述第二类参考图像集的信息包括：第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：不输出图像的数量和不输出图像的图像顺序序号。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。
可选地，在本申请的一些实施例中，所述编码模块310具体用于当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。
可选地，在本申请的一些实施例中，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成编码；所述编码模块310具体用于：以所述第五不输出图像作为长期参考图像，对编码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行编码。
可选地，在本申请的一些实施例中，所述编码设备还包括的处理模块330，还可以用于根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像。
可选地，在本申请的一些实施例中，所述处理模块330根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像，包括：基于原始图像，根据所述多个图像更新所述原始图像的图像块；当被更新的图像块的数量大于或等于预设阈值时，将更新后的原始图像作为所述不输出图像。
可选地，在本申请的一些实施例中，所述原始图像为帧内预测图像。
可选地，在本申请的一些实施例中，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。
可选地，在本申请的一些实施例中，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。
图8是本申请实施例提供的编码设备400的示意性框图。如图8所示的编码设备400可以包括处理器410和存储器420，所述存储器420中存储有计算机指令，所述处理器410执行所述计算机指令时，使得所述编码设备400执行以下步骤：对待编码图像进行编码以生成码流，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；发送所述码流。
应理解，本申请实施例的编码设备400还可以包括网络接口，以用于传输码流。
可选地，在本申请的一些实施例中，所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等。
可选地，在本申请的一些实施例中，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。
可选地，在本申请的一些实施例中，所述处理器410还用于执行所述计算机指令，使得所述编码设备400在所述对待编码图像进行编码以生成码流之前，还执行以下步骤：将所述待编码图像划分为多个图像组，所述图像组由单独的帧内预测图像组成，或者由多个帧间预测图像组成。
可选地，在本申请的一些实施例中，所述待编码图像包括第一不输出图像，所述第一不输出图像的编码顺序在第一图像组之后且在第二图像组之前。
可选地，在本申请的一些实施例中，所述处理器410执行对待编码图像进行编码以生成码流的计算机指令，使得所述编码设备具体执行以下步骤：参考与所述第一图像组中的最后一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。
可选地，在本申请的一些实施例中，所述处理器410执行对待编码图像进行编码以生成码流的计算机指令，使得所述编码设备具体执行以下步骤：参考与所述第二图像组中的第一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。
可选地，在本申请的一些实施例中，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。
可选地，在本申请的一些实施例中，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。
可选地，在本申请的一些实施例中，所述第二不输出图像所使用的短期参考图像的配置参数包括：所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。
可选地，在本申请的一些实施例中，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的序列头中，所述第二类参考图像集的信息包括：第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：不输出图像的数量和不输出图像的图像顺序序号。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。
可选地，在本申请的一些实施例中，所述处理器410执行对待编码图像进行编码以生成码流的计算机指令，使得所述编码设备400具体执行以下步骤：当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。
可选地，在本申请的一些实施例中，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成编码；所述处理器410执行对待编码图像进行编码以生成码流的计算机指令，使得所述编码设备400具体执行以下步骤：以所述第五不输出图像作为长期参考图像，对编码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行编码。
可选地，在本申请的一些实施例中，所述处理器410还用于执行所述计算机指令，使得所述编码设备400执行以下步骤：根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像。
可选地，在本申请的一些实施例中，所述处理器410执行根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像，使得所述编码设备400具体执行以下步骤：基于原始图像，根据所述多个图像更新所述原始图像的图像块；当被更新的图像块的数量大于或等于预设阈值时，将更新后的原始图像作为所述不输出图像。
可选地，在本申请的一些实施例中，所述原始图像为帧内预测图像。
可选地，在本申请的一些实施例中，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。
可选地，在本申请的一些实施例中，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。
应理解，图7所示的编码设备300或图8所示的编码设备400，可用于执行上述方法实施例中编码设备的操作或流程，并且编码设备300或编码设备400中的各个模块和器件的操作和/或功能分别为了实现上述方法实施例中的相应流程，为了简洁，在此不再赘述。
图9是本申请实施例提供的解码设备500的示意性框图。该解码设备500包括：接收模块510，用于接收码流，所述码流中包括不输出图像和输出图像的待解码数据，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；解码模块520，用于对接收模块510接收的所述码流进行解码。
本申请实施例的解码设备，将不输出图像存在于码流中，通过使得输出图像中显示顺序相邻的任意两个输出图像的POC的差大于1，并且POC上相邻的两个输出图像的POC之间可以存在不输出图像的POC，这样使得不输出图像可以在不影响输出图像的POC的时间相关性的情况下，被插入输出图像中，能够避免编码时出现运动矢量预测错误及缩放失效等问题。
可选地，在本申请的一些实施例中，所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等。
可选地，在本申请的一些实施例中，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。
可选地，在本申请的一些实施例中，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。
可选地，在本申请的一些实施例中，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。
可选地，在本申请的一些实施例中，所述第二不输出图像所使用的短期参考图像的配置参数包括：所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。
可选地，在本申请的一些实施例中，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的序列头中，所述第二类参考图像集的信息包括：第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：不输出图像的数量和不输出图像的图像顺序序号。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。
可选地，在本申请的一些实施例中，解码模块520具体用于当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。
可选地，在本申请的一些实施例中，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成解码；解码模块520具体用于：以所述第五不输出图像作为长期参考图像，对待解码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行解码。
可选地，在本申请的一些实施例中，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。
可选地，在本申请的一些实施例中，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。
图10是本申请实施例提供的解码设备600的示意性框图。如图10所示的解码设备600可以包括处理器610和存储器620，所述存储器620中存储有计算机指令，所述处理器610执行所述计算机指令时，使得所述解码设备600执行以下步骤：接收码流，所述码流中包括不输出图像和输出图像的待解码数据，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；对所述码流进行解码。
应理解，本申请实施例的解码设备600还可以包括网络接口，以用于传输码流。
可选地，在本申请的一些实施例中，所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等。
可选地，在本申请的一些实施例中，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。
可选地，在本申请的一些实施例中，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。
可选地，在本申请的一些实施例中，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息包括：用于指示所述第二不输出图像所使用的短期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。
可选地，在本申请的一些实施例中，所述第二不输出图像所使用的短期参考图像的配置参数包括：所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。
可选地，在本申请的一些实施例中，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的序列头中，所述第二类参考图像集的信息包括：第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。
可选地，在本申请的一些实施例中，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：不输出图像的数量和不输出图像的图像顺序序号。
可选地，在本申请的一些实施例中，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。
可选地，在本申请的一些实施例中，所述处理器610执行对所述码流进行解码的计算机指令，使得所述解码设备600具体执行以下步骤：当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。
可选地，在本申请的一些实施例中，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成解码；所述处理器610执行对所述码流进行解码的计算机指令，使得所述解码设备600具体执行以下步骤：以所述第五不输出图像作为长期参考图像，对待解码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行解码。
可选地，在本申请的一些实施例中，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。
可选地，在本申请的一些实施例中，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。
应理解，图9所示的解码设备500或图10所示的解码设备600，可用于执行上述方法实施例中解码设备的操作或流程，并且解码设备500或解码设备600中的各个模块和器件的操作和/或功能分别为了实现上述方法实施例中的相应流程，为了简洁，在此不再赘述。
应理解，本申请各实施例的设备可以基于存储器和处理器实现，各存储器用于存储用于执行本申请个实施例的方法的指令，处理器执行上述指令，使得设备执行本申请各实施例的方法。
应理解，本申请实施例中提及的处理器可以包括中央处理器(centralprocessing pnit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic Device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(genericarray logic，GAL)或其任意组合。
还应理解，本申请实施例中提及的存储器可以是易失性存储器(volatilememory)或非易失性存储器(non-volatile memory)，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DRRAM)。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得所述计算机执行上述方法实施例的由编码设备执行的步骤。
本申请实施例还提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得所述计算机执行上述方法实施例的由解码设备执行的步骤。
本申请实施例还提供一种计算设备，该计算设备包括上述计算机可读存储介质。
本申请实施例还提供一种包括指令的计算机程序产品，其特征在于，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述方法实施例的由编码设备执行的步骤。
本申请实施例还提供一种包括指令的计算机程序产品，其特征在于，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述方法实施例的由解码设备执行的步骤。
本申请实施例还提供一种计算机芯片，该计算机芯片使得计算机执行上述方法实施例的由编码设备执行的步骤。
本申请实施例还提供一种计算机芯片，该计算机芯片使得计算机执行上述方法实施例的由解码设备执行的步骤。
本申请实施例可以应用在飞行器，尤其是无人机领域。
应理解，本申请各实施例的电路、子电路、子单元的划分只是示意性的。本领域普通技术人员可以意识到，本文中所公开的实施例描述的各示例的电路、子电路和子单元，能够再行拆分或组合。
本申请实施例提供给的设备，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，SSD)等。
应理解，本文中涉及的第一、第二以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请的范围。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应理解，在本申请实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (84)

1.一种编码方法，其特征在于，包括：
对待编码图像进行编码，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；
生成所述带编码图像的码流。
2.根据权利要求1所述的编码方法，其特征在于，所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等。
3.根据权利要求1或2所述的编码方法，其特征在于，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。
4.根据权利要求1至3中任一项所述的编码方法，其特征在于，在所述对待编码图像进行编码以生成码流之前，所述编码方法还包括：
将所述待编码图像划分为多个图像组，所述图像组由单独的帧内预测图像组成，或者由多个帧间预测图像组成。
5.根据权利要求1至4中任一项所述的编码方法，其特征在于，所述待编码图像包括第一不输出图像，所述第一不输出图像的编码顺序在第一图像组之后且在第二图像组之前。
6.根据权利要求5所述的编码方法，其特征在于，所述对待编码图像进行编码以生成码流，包括：
参考与所述第一图像组中的最后一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。
7.根据权利要求5所述的编码方法，其特征在于，所述对待编码图像进行编码以生成码流，包括：
参考与所述第二图像组中的第一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。
8.根据权利要求1至7中任一项所述的编码方法，其特征在于，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。
9.根据权利要求8所述的编码方法，其特征在于，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；
所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。
10.根据权利要求8所述的编码方法，其特征在于，所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数。
11.根据权利要求9或10所述的编码方法，其特征在于，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。
12.根据权利要求9至11中任一项所述的编码方法，其特征在于，所述第二不输出图像所使用的短期参考图像的配置参数包括：
所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。
13.根据权利要求1至12中任一项所述的编码方法，其特征在于，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
14.根据权利要求13所述的编码方法，其特征在于，所述第二类参考图像集的信息位于所述码流的序列头中，
所述第二类参考图像集的信息包括：
第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。
15.根据权利要求13或14所述的编码方法，其特征在于，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，
所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。
16.根据权利要求15所述的编码方法，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：
不输出图像的数量和不输出图像的图像顺序序号。
17.根据权利要求16所述的编码方法，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：
用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。
18.根据权利要求17所述的编码方法，其特征在于，所述对待编码图像进行编码以生成码流，包括：
当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。
19.根据权利要求1至18中任一项所述的编码方法，其特征在于，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成编码；
所述对待编码图像进行编码以生成码流，包括：
以所述第五不输出图像作为长期参考图像，对编码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行编码。
20.根据权利要求1至19中任一项所述的编码方法，其特征在于，所述编码方法还包括：
根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像。
21.根据权利要求20任一项所述的编码方法，其特征在于，所述根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像，包括：
基于原始图像，根据所述多个图像更新所述原始图像的图像块；
当被更新的图像块的数量大于或等于预设阈值时，将更新后的原始图像作为所述不输出图像。
22.根据权利要求21任一项所述的编码方法，其特征在于，所述原始图像为帧内预测图像。
23.根据权利要求1至22中任一项所述的编码方法，其特征在于，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。
24.根据权利要求1至23中任一项所述的编码方法，其特征在于，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。
25.一种解码方法，其特征在于，包括：
接收码流，所述码流中包括不输出图像和输出图像的待解码数据，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；
对所述码流进行解码。
26.根据权利要求25所述的编码方法，其特征在于所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等
27.根据权利要求25或26所述的解码方法，其特征在于，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。
28.根据权利要求25至27中任一项所述的解码方法，其特征在于，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。
29.根据权利要求28所述的解码方法，其特征在于，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；
所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。
30.根据权利要求28所述的解码方法，其特征在于，所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数。
31.根据权利要求29或30所述的解码方法，其特征在于，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。
32.根据权利要求29至31中任一项所述的解码方法，其特征在于，所述第二不输出图像所使用的短期参考图像的配置参数包括：
所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。
33.根据权利要求25至32中任一项所述的解码方法，其特征在于，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
34.根据权利要求33所述的解码方法，其特征在于，所述第二类参考图像集的信息位于所述码流的序列头中，
所述第二类参考图像集的信息包括：
第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。
35.根据权利要求33或34所述的解码方法，其特征在于，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，
所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。
36.根据权利要求35所述的解码方法，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：
不输出图像的数量和不输出图像的图像顺序序号。
37.根据权利要求36所述的解码方法，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：
用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。
38.根据权利要求37所述的解码方法，其特征在于，所述对所述码流进行解码，包括：
当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。
39.根据权利要求25至38中任一项所述的解码方法，其特征在于，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成解码；
所述对所述码流进行解码，包括：
以所述第五不输出图像作为长期参考图像，对待解码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行解码。
40.根据权利要求25至39中任一项所述的解码方法，其特征在于，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。
41.根据权利要求25至40中任一项所述的解码方法，其特征在于，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。
42.一种编码设备，其特征在于，所述编码设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令时，使得所述编码设备执行以下步骤：
对待编码图像进行编码以生成码流，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；
发送所述码流。
43.根据权利要求42所述的编码设备，其特征在于，所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等。
44.根据权利要求42或43所述的编码设备，其特征在于，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。
45.根据权利要求42至44中任一项所述的编码设备，其特征在于，所述处理器还用于执行所述计算机指令，使得所述编码设备在所述对待编码图像进行编码以生成码流之前，还执行以下步骤：
将所述待编码图像划分为多个图像组，所述图像组由单独的帧内预测图像组成，或者由多个帧间预测图像组成。
46.根据权利要求42至45中任一项所述的编码设备，其特征在于，所述待编码图像包括第一不输出图像，所述第一不输出图像的编码顺序在第一图像组之后且在第二图像组之前。
47.根据权利要求46所述的编码设备，其特征在于，所述处理器执行对待编码图像进行编码以生成码流的计算机指令，使得所述编码设备具体执行以下步骤：
参考与所述第一图像组中的最后一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。
48.根据权利要求46所述的编码设备，其特征在于，所述处理器执行对待编码图像进行编码以生成码流的计算机指令，使得所述编码设备具体执行以下步骤：
参考与所述第二图像组中的第一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。
49.根据权利要求42至48中任一项所述的编码设备，其特征在于，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。
50.根据权利要求49所述的编码设备，其特征在于，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；
所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。
51.根据权利要求49所述的编码设备，其特征在于，所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数。
52.根据权利要求50或51所述的编码设备，其特征在于，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。
53.根据权利要求50至52中任一项所述的编码设备，其特征在于，所述第二不输出图像所使用的短期参考图像的配置参数包括：
所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。
54.根据权利要求42至53中任一项所述的编码设备，其特征在于，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
55.根据权利要求54所述的编码设备，其特征在于，所述第二类参考图像集的信息位于所述码流的序列头中，
所述第二类参考图像集的信息包括：
第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。
56.根据权利要求54或55所述的编码设备，其特征在于，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，
所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。
57.根据权利要求56所述的编码设备，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：
不输出图像的数量和不输出图像的图像顺序序号。
58.根据权利要求57所述的编码设备，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：
用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。
59.根据权利要求58所述的编码设备，其特征在于，所述处理器执行对待编码图像进行编码以生成码流的计算机指令，使得所述编码设备具体执行以下步骤：
当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。
60.根据权利要求42至59中任一项所述的编码设备，其特征在于，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成编码；
所述处理器执行对待编码图像进行编码以生成码流的计算机指令，使得所述编码设备具体执行以下步骤：
以所述第五不输出图像作为长期参考图像，对编码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行编码。
61.根据权利要求42至60中任一项所述的编码设备，其特征在于，所述处理器还用于执行所述计算机指令，使得所述编码设备执行以下步骤：
根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像。
62.根据权利要求61任一项所述的编码设备，其特征在于，所述处理器执行根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像，使得所述编码设备具体执行以下步骤：
基于原始图像，根据所述多个图像更新所述原始图像的图像块；
当被更新的图像块的数量大于或等于预设阈值时，将更新后的原始图像作为所述不输出图像。
63.根据权利要求62任一项所述的编码设备，其特征在于，所述原始图像为帧内预测图像。
64.根据权利要求42至63中任一项所述的编码设备，其特征在于，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。
65.根据权利要求42至64中任一项所述的编码设备，其特征在于，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。
66.一种解码设备，其特征在于，所述解码设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令时，使得所述解码设备执行以下步骤：
接收码流，所述码流中包括不输出图像和输出图像的待解码数据，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；
对所述码流进行解码。
67.根据权利要求66所述的解码设备，其特征在于，所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等。
68.根据权利要求66或67所述的解码设备，其特征在于，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。
69.根据权利要求66至68中任一项所述的解码设备，其特征在于，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。
70.根据权利要求69所述的解码设备，其特征在于，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；
所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。
71.根据权利要求69所述的解码设备，其特征在于，所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数。
72.根据权利要求70或71所述的解码设备，其特征在于，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。
73.根据权利要求70至72中任一项所述的解码设备，其特征在于，所述第二不输出图像所使用的短期参考图像的配置参数包括：
所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。
74.根据权利要求66至73中任一项所述的解码设备，其特征在于，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。
75.根据权利要求74所述的解码设备，其特征在于，所述第二类参考图像集的信息位于所述码流的序列头中，
所述第二类参考图像集的信息包括：
第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。
76.根据权利要求74或75所述的解码设备，其特征在于，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，
所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。
77.根据权利要求76所述的解码设备，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：
不输出图像的数量和不输出图像的图像顺序序号。
78.根据权利要求77所述的解码设备，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：
用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。
79.根据权利要求78所述的解码设备，其特征在于，所述处理器执行对所述码流进行解码的计算机指令，使得所述解码设备具体执行以下步骤：
当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。
80.根据权利要求66至79中任一项所述的解码设备，其特征在于，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成解码；
所述处理器执行对所述码流进行解码的计算机指令，使得所述解码设备具体执行以下步骤：
以所述第五不输出图像作为长期参考图像，对待解码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行解码。
81.根据权利要求66至80中任一项所述的解码设备，其特征在于，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。
82.根据权利要求66至81中任一项所述的解码设备，其特征在于，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。
83.一种计算机可读存储介质，其特征在于，其上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行权利要求1至24中任一项所述的方法。
84.一种计算机可读存储介质，其特征在于，其上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行权利要求25至41中任一项所述的方法。
CN201880042495.0A 2018-08-31 2018-08-31 编码方法、解码方法、编码设备和解码设备 Pending CN110832868A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/103692 WO2020042191A1 (zh) 2018-08-31 2018-08-31 编码方法、解码方法、编码设备和解码设备

Publications (1)

Publication Number Publication Date
CN110832868A true CN110832868A (zh) 2020-02-21

Family

ID=69547526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042495.0A Pending CN110832868A (zh) 2018-08-31 2018-08-31 编码方法、解码方法、编码设备和解码设备

Country Status (5)

Country Link
US (1) US11368679B2 (zh)
EP (1) EP3846471A4 (zh)
JP (1) JP2021535671A (zh)
CN (1) CN110832868A (zh)
WO (1) WO2020042191A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI792348B (zh) * 2020-06-11 2023-02-11 寰發股份有限公司 視訊處理方法和裝置
US11601647B2 (en) 2020-06-10 2023-03-07 Hfi Innovation Inc. Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
CN117793367A (zh) * 2024-02-26 2024-03-29 此芯科技(上海)有限公司 一种图像编码方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050072A1 (en) * 2021-09-28 2023-04-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods and systems for video compression

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954602A (zh) * 2004-03-15 2007-04-25 夏普株式会社 录像再生编辑装置
CN101300851A (zh) * 2005-12-02 2008-11-05 英特尔公司 低延迟和小存储器占用区的画面缓冲
US20090232199A1 (en) * 2008-03-17 2009-09-17 Fujitsu Limited Encoding apparatus, decoding apparatus, encoding method, and decoding method
US20110199501A1 (en) * 2010-02-18 2011-08-18 Canon Kabushiki Kaisha Image input apparatus, image verification apparatus, and control methods therefor
WO2014106388A1 (zh) * 2013-01-07 2014-07-10 华为技术有限公司 确定时域运动矢量预测值的方法和装置
CN104067618A (zh) * 2011-11-25 2014-09-24 三星电子株式会社 用于解码器的缓冲器管理的图像编码方法和装置、以及图像解码方法和装置
CN104937942A (zh) * 2013-01-16 2015-09-23 瑞典爱立信有限公司 用于视频序列编码的解码器、编码器和方法
US20150373377A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Value ranges for syntax elements in video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100463527C (zh) * 2005-10-18 2009-02-18 宁波大学 一种多视点视频图像视差估计的方法
US9131245B2 (en) * 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US9374581B2 (en) * 2013-01-07 2016-06-21 Qualcomm Incorporated Signaling of picture order count to timing information relations for video timing in video coding
CN105208390B (zh) * 2014-06-30 2018-07-20 杭州海康威视数字技术股份有限公司 视频编码的码率控制方法及其系统
CN106797495B (zh) * 2014-08-20 2020-12-22 弗劳恩霍夫应用研究促进协会 视频合成系统、视频合成方法及计算机可读存储介质
CN105163117B (zh) * 2015-08-26 2019-08-16 华为技术有限公司 一种图像编码方法及装置
US10630992B2 (en) * 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
CN108243339B (zh) * 2016-12-27 2021-02-26 浙江大学 图像编解码方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954602A (zh) * 2004-03-15 2007-04-25 夏普株式会社 录像再生编辑装置
CN101300851A (zh) * 2005-12-02 2008-11-05 英特尔公司 低延迟和小存储器占用区的画面缓冲
US20090232199A1 (en) * 2008-03-17 2009-09-17 Fujitsu Limited Encoding apparatus, decoding apparatus, encoding method, and decoding method
US20110199501A1 (en) * 2010-02-18 2011-08-18 Canon Kabushiki Kaisha Image input apparatus, image verification apparatus, and control methods therefor
CN104067618A (zh) * 2011-11-25 2014-09-24 三星电子株式会社 用于解码器的缓冲器管理的图像编码方法和装置、以及图像解码方法和装置
WO2014106388A1 (zh) * 2013-01-07 2014-07-10 华为技术有限公司 确定时域运动矢量预测值的方法和装置
CN104937942A (zh) * 2013-01-16 2015-09-23 瑞典爱立信有限公司 用于视频序列编码的解码器、编码器和方法
US20150373377A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Value ranges for syntax elements in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEIRAN LI, XIAOZHEN ZHENG: ""CE11: HEVC-like encoder only solution for composite reference picture"", 《JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11601647B2 (en) 2020-06-10 2023-03-07 Hfi Innovation Inc. Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
TWI792348B (zh) * 2020-06-11 2023-02-11 寰發股份有限公司 視訊處理方法和裝置
US11711513B2 (en) 2020-06-11 2023-07-25 Hfi Innovation Inc. Methods and apparatuses of coding pictures partitioned into subpictures in video coding systems
CN117793367A (zh) * 2024-02-26 2024-03-29 此芯科技(上海)有限公司 一种图像编码方法及系统

Also Published As

Publication number Publication date
JP2021535671A (ja) 2021-12-16
WO2020042191A1 (zh) 2020-03-05
US20210185309A1 (en) 2021-06-17
US11368679B2 (en) 2022-06-21
EP3846471A4 (en) 2022-02-23
EP3846471A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
US10856007B2 (en) Decoded picture buffer management
CN113852828B (zh) 获取视频图像运动矢量的方法与装置
US11706458B2 (en) High-level syntax designs for point cloud coding
CN113727101B (zh) 编码器、解码器及对应帧间预测方法
US11831878B2 (en) Video decoding and encoding
US9648321B2 (en) Coding picture order count values identifying long-term reference frames
US11368679B2 (en) Encoding method, decoding method, encoding apparatus, and decoding apparatus
CN115174900B (zh) 视频编码器和相关编码方法
ES2696723T3 (es) Diseño del valor de POC para codificación de vídeo multicapa
US20210329252A1 (en) Motion information acquisition method and device for video encoding or decoding
CN115103184A (zh) 一种使用基于历史的运动矢量预测的编码器、解码器及相应方法
US20240007635A1 (en) Video coding apparatus and video decoding apparatus
EP3981154A1 (en) Spatial scalability support in video encoding and decoding
CN110366851B (zh) 编码、解码方法及编码、解码设备
US11895313B2 (en) Motion model signaling
CN111108749A (zh) 编码方法、解码方法、编码设备和解码设备
CN110235446B (zh) 视频编码方法、视频解码方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication