CN117640940A - 视频编码方法、视频解码方法、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种视频编码方法、视频解码方法、计算机设备及存储介质。该方法包括：计算当前帧和知识图像缓存中各个知识图像之间的差异程度；基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧。上述方案，能够提升预测准确性。

Description

视频编码方法、视频解码方法、计算机设备及存储介质

技术领域

本申请涉及视频编解码技术领域，特别是涉及一种视频编码方法、视频解码方法、计算机设备及存储介质。

背景技术

由于视频图像数据量比较大，通常需要对其进行编码压缩，压缩之后的视频图像数据称之为视频码流。视频码流可以通过有线或者无线网络传输至用户端，再进行解码观看。其中，整个视频编码压缩流程可以包括预测、变换、量化、编码等过程。

现有技术的视频编码方法，存在预测效果较低等问题。

发明内容

本申请主要解决的技术问题是提供一种视频编码方法、视频解码方法、计算机设备及存储介质，能够提升预测准确性。

为了解决上述问题，本申请第一方面提供了一种视频编码方法，该方法包括：计算当前帧和知识图像缓存中各个知识图像之间的差异程度；基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧。

为了解决上述问题，本申请第二方面提供了一种视频编码方法，该方法包括：接收视频码流，其中，所述视频码流是编码端采用上述视频编码方法得到的；对所述视频码流进行解码。

为了解决上述问题，本申请第三方面提供了一种计算机设备，该计算机设备包括相互耦接的存储器和处理器，存储器中存储有程序数据，处理器用于执行程序数据以实现上述视频编码方法和视频解码方法的任一步骤。

为了解决上述问题，本申请第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有能够被处理器运行的程序数据，程序数据用于实现上述视频编码方法和视频解码方法的任一步骤。

上述方案，计算当前帧和知识图像缓存中各个知识图像之间的差异程度，基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧，可以更加灵活的适配场景变化，达到节省比特开销，提升预测准确性的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要的附图作简单的介绍，显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请视频编解码系统一实施例的结构示意图；

图2是一段包含I帧和P帧的码流中帧参考关系的示意图；

图3是一段包含I帧、P帧和B帧的码流中帧参考关系的示意图；

图4是一实施方式的码流结构示意图；

图5是本申请视频编码方法一实施方式的流程示意图；

图6是本申请视频编码方法中一实施例的码流结构示意图；

图7是本申请视频编码方法中另一实施例的码流结构示意图；

图8是本申请视频解码方法一实施方式的流程示意图；

图9是本申请计算机设备一实施例的结构示意图；

图10是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

本申请提供以下实施例，下面对各实施例进行具体说明。

请参阅图1，图1是本申请视频编解码系统一实施例的结构示意图。

视频编解码系统100包括编码端101和解码端102，其中，编码端101和解码端102可以是计算机设备、电子设备等，如可以为具有处理能力的任意设备，例如，电脑、服务器、手机、平板等，本申请对此不做限制。编码端101和解码端102之间可以进行通信，可以用于执行对图像/视频的进行编码和/或解码的操作。

编码端101可以用于执行对图像/视频的编码压缩相关步骤，得到视频码流数据。编码端101可以将视频码流数据传输给解码端102，解码端102可以接收编码端101的视频码流数据，用于执行包含视频码流数据的解码等相关步骤，以及还可以包括后端视觉任务的相关步骤，例如对图像的相关处理、分类等。

其中，视频码流由连续的帧构成，每一帧解码并依次播放后就形成了视频画面。视频码流中常见的帧类型有I帧、P帧和B帧等。

I帧为帧内编码帧，是一种自带全部编解码信息的独立帧，无需参考其他帧便可独立进行编解码。I帧需要完整编码该帧图像的所有内容，一般来说生成的码流较大，压缩率较低。

P帧为帧间预测编码帧，需要参考显示顺序上过去的帧作为参考图像才能进行编解码。

B帧为双向帧间预测编码帧，需要参考显示顺序上过去的和将来的帧作为参考帧才能进行编解码。

图2为一段包含I帧和P帧的码流中帧参考关系的示意图。图3为一段包含I帧、P帧和B帧的码流中帧参考关系的示意图。图2和图3中POC(pic_order_cnt)为视频帧的播放顺序，DOI(decode order index)为视频帧的编解码顺序。注意，视频序列的帧参考关系可以有多种自由组合，图2和图3只是示意一种常见的参考关系。

此外，相关技术(例如SVAC3视频编解码标准)中引入了知识图像(librarypicture)的概念，本申请中的L帧表示知识图像。同时，引入RL(reference library)帧的概念，RL帧指的是为只知识图像参考帧的P帧或B帧。知识图像是一种长期参考帧，它采用I帧进行编码。知识图像采用其知识图像索引IDX进行标识。

对于知识图像在码流中的结构：在相关技术中，知识图像是采用I帧方式编码，同时由于编码知识图像的QP一般较小、编码较慢、码率一般较大，将一整帧知识图像码流加入码流中会存在码率冲击大、解码出现抖动的问题，因此相关技术利用了SVAC3标准中的patch机制，添加了知识图像分patch传输的编解码机制：将知识图像切分为多个patch，并与多个显示图像交织编码，每次只编码一个patch放进码流，最终得到知识库patch位流与显示图像位流交织的编码输出位流。图4为相关技术中在IPPP配置下帧参考关系以及知识图像在码流中的位置。当然，在其他实施例中，也可以将知识图像进行整帧编码并传输，即可以直接将整帧知识图像编进一个码流单元中。

将视频中默认编码为L帧的那一帧位置称为默认知识图像生成位置。默认知识图像生成位置是基于配置参数中的：I帧间隔(两个I帧之间间隔多少帧)、知识图像更新间隔(几个I帧间隔更新一次知识图像)、patch的宽和/或patch的高这几个参数决定。如图4中，POC＝0和POC＝3的这两个斜线填充标识的帧所在位置是默认知识图像生成位置，实线箭头代表参考关系。

一般来说，从一个默认知识图像生成位置开始，每过默认知识图像生成间隔则有一帧默认编码成知识图像帧，即每过默认知识图像生成间隔会有一个默认知识图像生成位置，其中，默认知识图像生成间隔可等于I帧间隔*知识图像更新间隔。假设，第一个默认知识图像生成位置为第0帧，I帧间隔为25帧，知识图像更新间隔为2，那默认知识图像生成间隔可为50帧，则第0帧、第50帧、第100帧、第150帧……应当为默认知识图像生成位置。但是，在知识图像分片交织传输的情况下，会基于知识图像的分片情况(例如知识图像分片的宽和高等因素)调整默认知识图像生成间隔，从而在视频编码时，默认知识图像生成间隔会基于实际情况发生变化，即默认知识图像生成间隔并不是一成不变的。基于上述内容可知，默认知识图像生成间隔中有且仅有一个默认知识图像生成位置。

此外，在相关技术中，当图像开始参考新的知识图像或开始编码/解码新的知识图像时，就替换掉前一个知识图像，也就是说，当前序列的所有帧最多只有一个知识图像可参考，且该知识图像必须是最近编码/解码的知识图像。

虽然也有相关技术考虑到，可以在知识图像缓存中管理多帧知识图像，可以在后面序列中参考前面编码的知识图像，对于类似球机切换点位等场景的监控序列编码有益，可减少其多次传输相似的知识图像，加快编码速度。

上述相关技术的知识图像多帧管理机制，主要是针对监控场景产生的规律性切换场景的序列，存在视频内容周期性变化的情况，因此在一个周期内预先设置好每一帧参考的知识图像，后续的周期可以复用。但是这样的应用面比较窄，只能引用于摄像头匀速旋转或定速巡航的情况，碰到非规律情况，预先设置的当前帧的参考帧列表的适配性就较差。因此需要更加灵活的自适应选择所要参考的知识图像的方法。

具体地，当遇到图像场景非规律，非匀速变化的情况，不管是固定间隔生成知识图像，还是人为预先设置所要参考的知识图像，都不能满足场景适配的要求，会造成生成出来的知识图像帧和原有的知识图像帧相似，造成比特开销浪费，或者场景已经变化很多了，却还未生成新的知识图像，造成预测效果的下降。并且若存在多帧知识图像的情况下，当前帧要参考哪一帧知识图像也是问题。对此，本申请提出一种视频编码方法，根据图像的相似性去决策是否生成知识图像以及当前帧所要参考的知识图像是哪些帧，能够更灵活的适配场景变化，达到节省比特开销，提升预测准确性的效果。

请参阅图5，图5是本申请视频编码方法第一实施例的流程示意图。该实施例的视频编码方法的具体步骤可以采用上述的编码端执行。该方法可以包括以下步骤：

S11：计算当前帧和知识图像缓存中各个知识图像之间的差异程度。

可以计算当前帧和知识图像缓存(LDPB)中各个知识图像之间的差异程度，以便后续基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧。

在一可实现的方式中，可以直接计算当前帧和知识图像缓存中各个知识图像之间的差异程度。

例如，可以用当前帧和知识图像缓存中各个知识图像之间的SAD(绝对值之和，sumof absolute differences)、SATD(绝对变换误差和，Sum of Absolute TransformedDifference)、哈希或直方图统计等方式，来衡量当前帧和知识图像缓存中各个知识图像之间的差异程度。

在另一可实现的方式中，可以计算当前帧和知识图像缓存中各个知识图像之间的相似程度，用当前帧和知识图像缓存中各个知识图像之间的相似程度来表征当前帧和知识图像缓存中各个知识图像之间的差异程度，可以理解的是，当前帧和知识图像缓存中各个知识图像之间的相似程度与当前帧和知识图像缓存中各个知识图像之间的差异程度呈负相关。

例如，可以用当前帧和知识图像缓存中各个知识图像之间的余弦相似度等来衡量当前帧和知识图像缓存中各个知识图像之间的相似程度。

其中，知识图像缓存中知识图像的数量不受限制，例如可为一个或多个。

S12：基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧。

计算当前帧和知识图像缓存中各个知识图像之间的差异程度后，可以基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧，以更加灵活的适配场景变化，达到节省比特开销，提升预测准确性的效果。

在一应用场景中，可以基于当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据。

其中，在当前帧的位置为默认知识图像生成位置时，可以基于当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据；若基于当前帧和所述各个知识图像之间的差异程度，确认不将当前帧编码成知识图像码流数据，则不将当前帧编码成知识图像码流数据，在此情况下，可以以其他帧(例如其他常规图像帧或知识图像帧)为参考对当前帧进行编码，即可对当前帧进行帧间编码，或者可以对当前帧进行帧内编码；若基于当前帧和所述各个知识图像之间的差异程度，确认将当前帧编码成知识图像码流数据，则将当前帧编码成知识图像码流数据，并且可在该知识图像码流数据解码重建后将该帧知识图像添加到知识图像缓存中，以便作为后续帧的知识图像参考帧。在其他实施例中，即使当前帧的位置不为默认知识图像生成位置，若当前帧和所述各个知识图像之间的差异程度满足预设条件，也可以确认将所述当前帧编码成知识图像码流数据。

进一步地，在当前帧的位置为默认知识图像生成位置时，若基于当前帧和所述各个知识图像之间的差异程度，确认不将当前帧编码成知识图像码流数据；在当前帧所在位置为帧内编码位置的情况下，可以基于所述当前帧和所述各个知识图像之间的差异程度确认所述当前帧编码过程中的知识图像参考帧，然后基于所确认的知识图像参考帧对当前帧进行帧间编码，或者也可以直接对当前帧进行帧内编码，此时无需基于所述当前帧和所述各个知识图像之间的差异程度确认所述当前帧编码过程中的知识图像参考帧；在当前帧所在位置为帧间编码位置的情况下，可以基于所述当前帧和所述各个知识图像之间的差异程度确认所述当前帧编码过程中的知识图像参考帧，然后基于所确认的知识图像参考帧对当前帧进行帧间编码。

此外，在当前帧的位置为默认知识图像生成位置时，若基于当前帧和所述各个知识图像之间的差异程度，确认将当前帧编码成知识图像码流数据，可以先将当前帧编码成知识图像码流数据，然后可再对当前帧进行第二次编码；具体地，在当前帧所在位置为帧内编码位置的情况下，在对当前帧进行第二次编码的过程中，可以以“当前帧编码并解码重建的知识图像”为参考对当前帧进行帧间编码，或者，也可以基于所述当前帧和所述各个知识图像之间的差异程度确认所述当前帧编码过程中的知识图像参考帧，然后利用由差异程度所确认的知识图像参考帧对当前帧进行帧间编码；在当前帧所在位置为帧间编码位置的情况下，在对当前帧进行第二次编码的过程中，可以基于所述当前帧和所述各个知识图像之间的差异程度确认所述当前帧编码过程中的知识图像参考帧，然后利用由差异程度所确认的知识图像参考帧对当前帧进行帧间编码。

更进一步地，在确认将当前帧编码成知识图像码流数据的情况下，若将当前帧编码成用于显示的知识图像码流数据，可以不对当前帧进行第二次编码，即对当前帧的原始图像内容可仅进行一次编码得到知识图像码流数据。其中，“用于显示的知识图像”是指，知识图像在解码端输出显示，即“显示”是指解码输出并用于显示。

其中，若判断当前帧和所述各个知识图像之间的差异程度满足预设条件，可以确认将所述当前帧编码成知识图像码流数据；否则不将当前帧编码成知识图像码流数据。

若所述当前帧和任意知识图像之间的差异程度小于预设阈值，则当前帧和所述各个知识图像之间的差异程度不满足预设条件。即若当前帧和任意知识图像之间的差异程度小于预设阈值，可以确认不将所述当前帧编码成知识图像码流数据，否则将当前帧编码成知识图像码流数据。

在一实施例中，预设阈值可以包括第一固定阈值。即若当前帧和任意知识图像之间的差异程度小于第一固定阈值，可以确认不将所述当前帧编码成知识图像码流数据，否则将当前帧编码成知识图像码流数据。也就是说，预先设置第一固定阈值，若当前默认知识图像生成位置的帧和知识图像缓存中的任意一帧知识图像计算差异程度小于该第一固定阈值，则当前帧(例如当前默认知识图像生成位置的帧)不生成知识图像。

在一个具体的示例中，假设第一固定阈值TH＝w*h*2^6，其中w为图像的宽，h为图像的高。两幅图像的差异程度用SAD衡量，即两幅图像的每个对应像素相减，取绝对值，然后累加。

设当前默认知识图像生成位置的帧为X，LDPB中有两帧知识图像{L0，L1}，X和L0之间的SAD为SAD0，X和L1之间的SAD为SAD1。经过比较发现SAD0<TH，SAD1>TH，说明X和L0非常相似，则该X帧不生成知识图像。

在另一实施例中，预设阈值可以包括浮动阈值，且浮动阈值和知识图像一一对应，各个知识图像对应的浮动阈值可基于各个知识图像与各个知识图像对应的指定位置帧之间的差异程度而确定，其中，为方便描述，可以用各个知识图像的基础噪声代价值指代各个知识图像与各个知识图像对应的指定位置帧之间的差异程度。其中，各个知识图像的基础噪声代价值是对各个知识图像对应的浮动阈值产生正向影响的因素，进一步地，各个知识图像的基础噪声代价值可以与各个知识图像对应的浮动阈值呈正相关。进一步地，各个知识图像对应的浮动阈值可以等于第二固定阈值加上各个知识图像的基础噪声代价值后得到的值。或者，各个知识图像对应的浮动阈值可以等于第二固定阈值与各个知识图像的基础噪声代价值的乘积。较为优选的是，第二固定阈值小于第一固定阈值。此外，第二固定阈值和第一固定阈值可以根据图像的尺寸等实际情况进行设定，在此不做限制。

其中，各个知识图像对应的指定位置帧的确定方式有多种，在此不做限制。

例如，可以在知识图像所属默认知识图像生成间隔中选择固定位置的帧作为指定位置帧。其中，固定位置可以指，与知识图像所属默认知识图像生成间隔中的第一帧之间的间隔固定，即可以在知识图像所属默认知识图像生成间隔中选择第k帧作为指定位置帧，k为正数常数。

又例如，可以选择POC位于默认知识图像生成位置的帧之后的相邻帧作为该默认知识图像生成位置的知识图像帧对应的指定位置帧。

在该实施例中，可以判断当前帧和各个知识图像之间的差异程度是否小于各个知识图像对应的浮动阈值；若所述当前帧和任意知识图像之间的差异程度小于其对应的浮动阈值，则不将当前帧编码成知识图像码流数据，否则将当前帧编码成知识图像码流数据。

在一个具体的示例中，设指定位置帧选择为每个默认知识图像生成间隔中的第二帧Xn，且该实施例中，每个默认知识图像生成间隔中都生成了对应知识图像Ln。如图6所示，以RL帧为起始，到下一个RL帧之前为一个默认知识图像生成间隔，那么第一个默认知识图像生成间隔对应的知识图像为L0，指定位置帧为X0；第二个默认知识图像生成间隔对应的知识图像为L1，指定位置帧为X1。设基础噪声代价值用SAD衡量，则知识图像Ln对应的基础噪声代价值CBn为Xn和Ln间的SAD。设当前默认知识图像生成位置的帧为Y，Y和L0之间的SAD为SAD0，Y和L1之间的SAD为SAD1；LDPB中有两帧知识图像{L0，L1}，L0对应的基础噪声代价值为CB0，L0对应的基础噪声代价值为CB1；第二固定阈值th＝w*h*2^5。经过比较发现SAD0>CB0+th，SAD1>CB1+th，说明Y和LDPB中所有知识图像帧都不相似，则该Y帧需要生成新知识图像。

在又一实施例中，预设阈值可以包括第一固定阈值和浮动阈值。在该实施例中，可以判断所述各个知识图像对应的差异程度是否小于所述各个知识图像对应的浮动阈值，判断所述各个知识图像对应的差异程度是否小于所述第一固定阈值，若所述当前帧和一知识图像之间的差异小于所述浮动阈值和/或小于所述第一固定阈值，则所述当前帧和所述一知识图像之间的差异小于预设阈值。在一个具体的示例中，若所述当前帧和一知识图像之间的差异小于所述浮动阈值，或小于所述第一固定阈值，则所述当前帧和所述一知识图像之间的差异小于预设阈值，则不将当前帧编码成知识图像码流数据。在另一个具体的示例中，若所述当前帧和一知识图像之间的差异小于所述浮动阈值，且小于所述第一固定阈值，则所述当前帧和所述一知识图像之间的差异小于预设阈值，则不将当前帧编码成知识图像码流数据。

在上述预设阈值包括浮动阈值的实施例中，需要确定出各个知识图像对应的浮动阈值，而各个知识图像对应的浮动阈值与各个知识图像对应的指定位置帧相关。在利用上述实施方式确认需要将一图像帧编码成知识图像帧后，可以基于上述规则确定出该知识图像帧对应的指定位置帧，然后计算出该知识图像帧与指定位置帧的差异程度(即基础噪声代价值)并记录，以便后续利用该基础噪声代价值进行待编码帧的知识图像参考帧和/或是否生成知识图像的判断。其中，每个默认知识图像生成间隔中进行上述判断和操作，则能得到LDPB中每帧知识图像分别对应的基础噪声代价值。

此外，在用当前帧和知识图像缓存中各个知识图像之间的相似程度来表征当前帧和知识图像缓存中各个知识图像之间的差异程度的实现方式中，可以判断当前帧和所述各个知识图像之间的相似程度是否满足要求，例如，可以判断当前帧和所述各个知识图像之间的相似程度是否均小于相似度阈值，若均小于，则可以确认将所述当前帧编码成知识图像码流数据；否则不将当前帧编码成知识图像码流数据。

在另一应用场景中，可以基于当前帧和所述各个知识图像之间的差异程度，确认所述当前帧编码过程中的知识图像参考帧，如此根据图像的相似性去自适应决策当前帧要参考哪一帧知识图像，提升预测准确性和压缩性能。

可选地，在当前帧需要参考知识图像的情况下，可以基于当前帧和所述各个知识图像之间的差异程度，从知识图像缓存中所有知识图像中选出预设数量个知识图像作为所述当前帧编码过程中的知识图像参考帧。较为优选的是，选取出的预设数量个知识图像与当前帧之间的差异程度均小于所述所有知识图像中除所述预设数量个知识图像以外的其他知识图像与当前帧之间的差异程度，即从知识图像缓存中的所有知识图像中选出与当前帧差异程度最小的预设数量个知识图像。

在某一实施例中，可以规定所有的帧间编码帧(例如P帧和B帧)编码时均需参考知识图像，如此，可在所有的帧间编码帧编码时均可基于当前帧和所述各个知识图像之间的差异程度，从知识图像缓存中所有知识图像中选出预设数量个知识图像作为各个帧间编码帧编码过程中的知识图像参考帧。在其他实施例中，对于某些帧间编码帧，其编码时也可不参考知识图像，如此，对于这些帧间编码帧可以不采用上述确定知识图像参考帧的方法。

在相关技术中，需要人为配置RPL，并根据RPL确认当前帧的所有参考帧信息，包括知识图像参考帧和普通参考帧，且需要根据RPL去更新DPB，碰到非规律情况，无法更加灵活的自适应选择所要参考的知识图像，预先设置的RPL的适配性就较差。基于此，结合基于差异程度选择图像帧的知识图像参考帧的方案，本申请可以将RPL中的知识图像参考帧部分独立出来，并针对知识图像单独设置LRPL，用于单独管理当前帧所要参考的知识图像帧，继而根据LRPL去更新LDPB，如此可基于当前帧和所述各个知识图像之间的差异程度，控制知识图像缓存中知识图像的退出。

具体地，可以设置一用于管理当前帧所要参考的知识图像的知识图像列表(即LRPL)。若所述知识图像缓存中的知识图像数量n(n>＝1)大于所述知识图像列表的上限LDPB_LIB_NUM(LDPB_LIB_NUM>＝1)，将所述预设数量个c(c>＝1)知识图像添加到所述知识图像列表中；若所述知识图像列表未填完，将所述其他知识图像中部分知识图像添加到所述知识图像列表中；若所述知识图像列表填完，根据所述知识图像列表更新所述知识图像缓存，即将其他知识图像中剩余部分知识图像从知识图像缓存中移除。假设知识图像列表的上限LDPB_LIB_NUM为2，预设数量c为1，知识图像缓存中的知识图像数量n为3，在该实施例中，可以将知识图像缓存中与当前帧之间的差异程度最小的1个知识图像加入到知识图像列表，然后在从知识图像缓存中的其余两个知识图像中选一个加入到知识图像列表，接着根据知识图像列表更新所述知识图像缓存，即知识图像缓存中仅保留知识图像列表中的知识图像，即会将知识图像缓存中的原本3个知识图像中的未加入到知识图像列表的知识图像从知识图像缓存移除。在一个具体的示例中，当前帧最多可以有m＝1个知识图像参考帧，LDPB中有n＝3个知识图像：{L0，L1，L2}，分别对应POC{0,50,100}，参数LDPB_LIB_NUM＝2。当前帧和L0之间的SAD为SAD0，当前帧和L1之间的SAD为SAD1，当前帧和L2之间的SAD为SAD2，从小到大排序为SAD1<SAD0<SAD2，则构建的LRPL为{L1，L2}。其中L1用于作为当前帧的知识图像参考帧，L2可用于给后面的帧参考，相应地LDPB也会更新为{L1，L2}，即LDPB中的L0会被移除掉。

其中，将所述其他知识图像中部分知识图像添加到所述知识图像列表中，可以体现为：将所述其他知识图像中的与当前帧之间的差异程度最小的知识图像或与当前帧之间的间隔最小的知识图像添加到所述知识图像列表中。即在一个示例中，可以将LDPB中所有知识图像按照对应的差异程度从小到大的顺序放入LRPL中，直到填满LDPB_LIB_NUM个。在另一个示例中，可将LDPB中所有知识图像按照对应的差异程度从小到大的顺序，并将前c个知识图像帧放入LRPL，用于给当前帧参考，然后对LDPB中剩余的帧按index从大到小的顺序挨个填入LRPL的剩余位置，用于留给后面的帧参考，在该示例中，LDPB中的知识图像的index负相关于该知识图像与当前帧之间的间隔，即index最大的知识图像与当前帧之间的间隔最小。

若所述知识图像缓存中的知识图像数量n(n>＝1)小于或等于所述知识图像列表的上限LDPB_LIB_NUM(LDPB_LIB_NUM>＝1)，可将知识图像缓存中所有的知识图像都添加到知识图像列表中。其中，知识图像列表中知识图像的排列顺序不受限制。当然，比较优选的是，可以将知识图像缓存中的所有知识图像按照与当前帧之间的差异程度从小到大的顺序放入知识图像列表中，其中，前预设数量个知识图像用于给当前帧参考，后面剩下的帧用于给后面的帧参考。

为便于基于知识图像对当前帧的所有知识图像参考帧进行管理，知识图像列表的上限LDPB_LIB_NUM可以大于或等于上述的预设数量c。另外，知识图像缓存中知识图像的数量n可以大于或等于当前帧的知识图像参考帧数量上限m。但是，在某些特殊情况下，例如视频编码开始时，知识图像缓存中知识图像的数量n也可以小于当前帧的知识图像参考帧数量上限m。如此，若所述当前帧的知识图像参考帧数量上限m大于所述知识图像缓存中的知识图像数量n，所述预设数量c为所述知识图像缓存中的知识图像数量n；若所述当前帧的知识图像参考帧数量上限m小于或等于所述知识图像缓存中的知识图像数量n，所述预设数量c为所述知识图像参考帧数量上限m。

可选地，在视频编码方法中，还可以在视频码流中传输一个句法，该句法规定LDPB的最大长度(即LDPB中最多知识图像的个数)，对于该句法的数值取值，包括但不限于以下两种方法：

1)设该句法的最大数值为预设值s，即该句法的数值范围为0～s。

2)设该句法的最大数值为预设值s，且s加上DPB中普通参考图像的个数不能超过t。这进一步限制了LDPB的长度，节省存储空间。

在一示例中，s设为7，t设为15，可在序列头增加句法max_ldpb_size_minus1用于表示LDPB最大长度减一，max_ldpb_size_minus1取值范围设为0～7，令max_ldpb_size_minus1+1表示LDPB最大长度，即LDPB最大长度为8。

下面为更好说明本申请视频编码方法，提供以下视频编码具体实施例来示例性说明：

该实施例中，通过第一固定阈值和浮动阈值来综合确认是否在默认知识图像生成位置生成知识图像，其中，固定阈值TH＝w*h*2^6。LDPB中有2个知识图像：{L0，L1}，分别对应POC{0,50}，对应的基础噪声代价值为：{CB0，CB1}。

另外该实施例中，当前帧最多可以有m＝1个知识图像参考帧，参数LDPB_LIB_NUM＝2。

设当前帧为一个默认知识图像生成位置的帧X，对应的POC为150，X和L0之间的SAD为SAD0，X和L1之间的SAD为SAD1；第二固定阈值th＝w*h*2^5。衡量标准为若SADn<TH或SADn<CBn+th，则不生成新知识图像。而经过比较发现SAD0>TH，且SAD0>CB0+th，SAD1>TH，且SAD1>CB1+th，说明X和LDPB中所有知识图像帧都不相似，则该X帧需要生成一个新知识图像L2。

L2用帧内编码，并解码重建完成后放入LDPB中，此时LDPB有3个知识图像：{L0，L1，L2}，对应的基础噪声代价值为：{CB0，CB1，0}。

然后，编码到POC位于X帧之后的下一帧Y，即当前帧为X帧之后的一帧Y，设选择POC位于默认知识图像生成位置的帧之后的相邻帧作为用来计算知识图像对应的基础噪声代价值的指定位置帧，如图7所示，斜线填充标识的帧代表默认知识图像生成位置，竖直线填充标识的帧为指定位置帧。那么进行基础噪声代价值的计算：L2对应基础噪声代价值CB2为Y和L2之间的SAD。此时，LDPB中知识图像{L0，L1，L2}对应的基础噪声代价值可以更新为：{CB0，CB1，CB2}。

接下来对于当前帧Y需要构建LRPL。当前帧Y和L0之间的SAD为SAD01，当前帧Y和L1之间的SAD为SAD11，当前帧Y和L2之间的SAD为SAD21，从小到大排序为SAD11<SAD01<SAD21，则当前帧的知识图像参考帧为L1，构建的LRPL为{L1，L2}。其中L1用于作为当前帧的知识图像参考帧，L2可用于给后面的帧参考。

然后，根据当前帧Y的LRPL更新LDPB，更新完后，LDPB中只有2帧知识图像：{L1，L2}，对应基础噪声代价值为：{CB1，CB2}。

该Y帧编码完后需要将LRPL信息和它的参考帧信息传输到解码端，解码端解析得到LRPL列表为{L1，L2}，并且解析Y的知识图像参考信息得知Y只参考L1，然后就可以对Y帧进行解码重建。

请参阅图8，图8是本申请视频解码方法第一实施例的流程示意图。该实施例的视频解码方法的具体步骤可以采用上述的解码端执行。该方法可以包括以下步骤：

S21：接收视频码流，其中，所述视频码流是编码端采用上述视频编码方法得到的。

编码端可以将视频码流数据传输给解码端，以使得解码端接收视频码流数据。在编码端对视频码流数据进行存储的情况下，可以再利用编码端作为解码端对视频码流数据进行解码播放或存储等操作。

该步骤的具体实施方式可以参考上述编码端的具体实施过程，本申请在此不做赘述。

S22：对视频码流进行解码。

对视频码流进行解码，可以得到解码后的视频数据。

该实施例的具体实施方式可参考上述实施例的实施过程，在此不再赘述。

对于上述实施例，本申请提供一种计算机设备，请参阅图9，图9是本申请计算机设备一实施例的结构示意图。该计算机设备50包括存储器51和处理器52，其中，存储器51和处理器52相互耦接，存储器51中存储有程序数据，处理器52用于执行程序数据以实现上述视频编码方法和视频解码方法任一实施例的步骤。其中，计算机设备50可以作为上述实施例视频编解码系统中的编码端和/或解码端，执行上述视频编码方法和视频解码方法任一实施例的步骤。

在本实施例中，处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器52也可以是任何常规的处理器等。

对于上述实施例的方法，其可以采用计算机程序的形式实现，因而本申请提出一种计算机可读存储介质，请参阅图10，图10是本申请计算机可读存储介质一实施例的结构示意图。该计算机可读存储介质60中存储有能够被处理器运行的程序数据61，程序数据61可被处理器执行以实现上述视频编码方法和视频解码方法任一实施例的步骤。

本实施例计算机可读存储介质60可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序数据61的介质，或者也可以为存储有该程序数据61的服务器，该服务器可将存储的程序数据61发送给其他设备运行，或者也可以自运行该存储的程序数据61。

在本申请所提供的几个实施例中，应该理解的，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中，该计算机可读存储介质是一种计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机可读存储介质中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种视频编码方法，其特征在于，所述方法包括：

计算当前帧和知识图像缓存中各个知识图像之间的差异程度；

基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧。

2.根据权利要求1所述的视频编码方法，其特征在于，所述基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧，包括：

若当前帧为默认知识图像生成位置的帧，响应于所述当前帧和任意知识图像之间的差异程度小于预设阈值，不将所述当前帧编码成知识图像码流数据，否则将所述当前帧编码成知识图像码流数据。

3.根据权利要求2所述的视频编码方法，其特征在于，所述预设阈值包括浮动阈值，各个知识图像对应的浮动阈值基于各个知识图像与其对应的指定位置帧之间的差异程度确定；所述响应于所述当前帧和任意知识图像之间的差异程度小于预设阈值，不将所述当前帧编码成知识图像码流数据，否则将所述当前帧编码成知识图像码流数据，包括：

判断所述当前帧和所述各个知识图像之间的差异程度是否小于所述各个知识图像对应的浮动阈值；

若所述当前帧和任意知识图像之间的差异程度小于其对应的浮动阈值，则不将所述当前帧编码成知识图像码流数据。

4.根据权利要求2所述的视频编码方法，其特征在于，所述预设阈值包括浮动阈值和第一固定阈值，各个知识图像对应的浮动阈值基于各个知识图像与其对应的指定位置帧之间的差异程度确定；所述响应于所述当前帧和任意知识图像之间的差异程度小于预设阈值，不将所述当前帧编码成知识图像码流数据，否则将所述当前帧编码成知识图像码流数据，包括：

判断所述当前帧和所述各个知识图像之间的差异程度是否小于所述各个知识图像对应的浮动阈值，判断所述当前帧和所述各个知识图像之间的差异程度是否小于所述第一固定阈值；

所述响应于所述当前帧和任意知识图像之间的差异程度小于预设阈值，不将所述当前帧编码成知识图像码流数据，否则将所述当前帧编码成知识图像码流数据，包括：

若所述当前帧和一知识图像之间的差异程度小于所述浮动阈值和/或小于所述第一固定阈值，则所述当前帧和所述一知识图像之间的差异程度小于所述预设阈值。

5.根据权利要求4所述的视频编码方法，其特征在于，所述浮动阈值为第二固定阈值和所述各个知识图像与其对应的指定位置帧之间的差异程度的和，所述第二固定阈值小于所述第一固定阈值；

所述第一固定阈值和所述第二固定阈值与图像的尺寸呈正相关。

6.根据权利要求3-5中任一项所述的视频编码方法，其特征在于，

所述各个知识图像对应的所述指定位置帧与所述各个知识图像所属默认知识图像生成间隔中的第一帧之间的间隔为常数；或，

所述各个知识图像对应的指定位置帧为按照图像播放顺序号在各个知识图像对应的默认知识图像生成位置的帧的下一帧。

7.根据权利要求1所述的视频编码方法，其特征在于，所述基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧，包括：

若所述当前帧需要参考知识图像，从所述知识图像缓存中所有知识图像中选出预设数量个知识图像作为所述当前帧编码过程中的知识图像参考帧；

其中，所述预设数量个知识图像与所述当前帧之间的差异程度均小于所述所有知识图像中除所述预设数量个知识图像以外的其他知识图像与所述当前帧之间的差异程度。

8.根据权利要求7所述的视频编码方法，其特征在于，所述基于所述当前帧和所述各个知识图像之间的差异程度，确定是否将所述当前帧编码成知识图像码流数据，和/或，确认所述当前帧编码过程中的知识图像参考帧，包括：

设置用于管理所述当前帧所要参考的知识图像的知识图像列表；

若所述知识图像缓存中的知识图像数量大于所述知识图像列表的上限，将所述预设数量个知识图像添加到所述知识图像列表中；

若所述知识图像列表未填完，将所述其他知识图像中与所述当前帧之间的差异程度最小的知识图像或与当前帧之间的间隔最小的知识图像添加到所述知识图像列表中；

若所述知识图像列表填完，根据所述知识图像列表更新所述知识图像缓存；

所述知识图像列表的上限大于或等于所述预设数量。

9.根据权利要求7所述的视频编码方法，其特征在于，若所述当前帧的知识图像参考帧数量上限大于所述知识图像缓存中的知识图像数量，所述预设数量为所述知识图像缓存中的知识图像数量；若所述当前帧的知识图像参考帧数量上限小于或等于所述知识图像缓存中的知识图像数量，所述预设数量为所述知识图像参考帧数量上限。

10.根据权利要求1所述的视频编码方法，其特征在于，所述方法还包括：

在视频码流中设置预设句法，所述预设句法用于指示知识图像缓存中的知识图像数量上限，所述视频码流是对所述视频进行编码得到的。

11.一种视频解码方法，其特征在于，所述方法包括：

接收视频码流，其中，所述视频码流是编码端采用权利要求1至10任一项所述视频编码方法得到的；

对所述视频码流进行解码。

12.一种计算机设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现权利要求1至10任一项所述方法的步骤，和/或，实现权利要求11所述方法的步骤。

13.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序数据，所述程序数据用于实现权利要求1至10任一项所述方法的步骤，和/或，实现权利要求11所述方法的步骤。