CN105847871B9 - 视频编解码方法及其装置 - Google Patents

Abstract

本发明涉及视频压缩领域，公开了一种视频编解码方法及装置。编码方法包括：获取背景图像，采用帧内预测对背景图像编码得到背景帧，对背景帧解码得到背景帧重建图；获取输入图像作为第一图像，根据其相对于背景帧重建图的差异，至少局部地采用帧间预测编码为刷新帧；获取输入图像作为第二图像，根据其相对于背景帧重建图和相邻前一帧重建图的差异，或相对于相邻前一帧重建图的差异，至少局部地采用帧间预测编码为普通帧；根据背景帧、刷新帧和普通帧生成视频码流。本发明中，根据输入图像相对于背景帧重建图和/或相邻前一帧重建图的差异，至少局部地采用帧间预测编码，对于存在大量冗余背景信息的场景，可以更低码率获得同等的图像质量。

Description

视频编解码方法及其装置

技术领域

本发明涉及视频压缩领域，特别涉及一种视频编解码方法及其装置。

背景技术

随着社会的发展，视频监控系统越来越广泛的应用于生活之中，来解决 日益增长的安全需求。但同时，高质量的视频数据需要占用大量的存储资源， 所以视频压缩技术一直在不断的发展，以节省存储成本。但现有的视频压缩 标准都不是针对监控场景制定的，其压缩技术对于视频监控这种大部分都是 静止不动的场景还存在较大的信息冗余。所以本发明提供一种编码方法，针 对监控场景，可以以更低的码率获得同等的图像质量，从而降低视频存储成 本。

在视频编码系统中，编码器可以采用多种不同的编码技术对视频数据进 行压缩，其中一种常用的技术是预测编码。如图1所示为现有技术中的编码 示意图。在视频流中，有些帧是仅采用空域预测编码技术，可独立编码，称 为I帧；有些帧是采用时域预测编码技术，需要利用其它帧做参考来编码， 称为P帧。P帧可以参考单个先前的编码帧来编码，也可以参考先前的多个 编码帧来编码，这些被P帧用于参考的帧称为参考帧。在编码P帧时，选择 合适的参考帧可以获得更好的编码质量或更低的编码码率。但现有的编码方 法为了降低编码复杂度，节省内存开销，一般都只存储一帧参考帧，所以在 很多情况下都无法搜索到合适的匹配块，比如物体移动之后新露出的背景。

另外，通常情况下，采用时域预测编码技术的P帧的压缩效率要远高于 仅采用空域预测编码技术的I帧,所以若单从压缩效率来考虑，应该尽量采用 P帧进行编码，而减少I帧编码。但是在视频的编码中，我们还是需要每隔 一段时间就编码一个I帧，主要原因有两点：第一是为了能够在回放时随机 定位到某一帧时能快速响应；第二是为了防止预测量化而导致的误差累积和 扩散。

本发明的发明人发现，针对视频监控系统大多数都是静止不动的场景， 现有的做法每次I帧编码都编码了大量背景冗余信息，监控视频的压缩效率 还有进一步提升的空间。

发明内容

本发明的目的在于提供一种视频编解码方法及其装置，可以以更低的码 率获得同等的图像质量，从而降低视频存储成本和传输成本。

为解决上述技术问题，本发明的实施方式公开了一种视频编码方法，该 方法包括以下步骤：

获取背景图像，采用帧内预测的编码方式对该背景图像进行编码得到背 景帧，对已编码的背景帧解码得到背景帧重建图，其中背景帧的解码结果不 用于显示输出；

获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图 的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新 帧；

获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图 和相邻前一帧的重建图的差异，或者相对于相邻前一帧的重建图的差异，至 少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；

根据背景帧、刷新帧和普通帧生成视频码流。

本发明的实施方式还公开了一种视频解码方法，该方法包括以下步骤：

对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；

对背景帧码流进行解码得到背景帧重建图，该背景帧重建图不用于显示 输出；

根据背景帧重建图对刷新帧的至少一部分进行基于帧间预测的解码，得 到用于显示输出的刷新帧重建图；

根据背景帧重建图和相邻前一帧的重建图，或者仅根据相邻前一帧的重 建图，对普通帧的至少一部分进行基于帧间预测的解码，得到用于显示输出 的普通帧重建图。

本发明的实施方式还公开了一种视频编码装置，该装置包括：

背景图像获取模块，用于获取背景图像；

背景帧编码模块，用于采用帧内预测的编码方式对背景图像进行编码得 到背景帧，对已编码的背景帧解码得到背景帧重建图，其中背景帧的解码结 果不用于显示输出；

刷新帧编码模块，用于获取一幅输入图像作为第一图像，根据该第一图 像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一 图像进行编码得到刷新帧；

普通帧编码模块，用于获取一幅输入图像作为第二图像，根据该第二图 像相对于背景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一 帧的重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编 码得到普通帧；

码流生成模块，用于根据背景帧、刷新帧和普通帧生成视频码流。

本发明的实施方式还公开了一种视频解码装置，该装置包括以下模块：

码流解析模块，用于对所获取的视频码流进行解析，得到背景帧，刷新 帧和普通帧；

背景帧解码模块，用于对背景帧码流进行解码得到背景帧重建图，该背 景帧重建图不用于显示输出；

刷新帧解码模块，用于根据背景帧重建图对刷新帧的至少一部分进行基 于帧间预测的解码，得到用于显示输出的刷新帧重建图；

普通帧解码模块，用于根据背景帧重建图和相邻前一帧的重建图，或者 仅根据相邻前一帧的重建图，对普通帧的至少一部分进行基于帧间预测的解 码，得到用于显示输出的普通帧重建图。

本发明实施方式与现有技术相比，主要区别及其效果在于：

根据输入图像相对于背景帧重建图或者相对于背景帧重建图和相邻的 前一输入图像的差异，至少局部地采用帧间预测的方式编码，相对于全部采 用帧内预测方式编码节省了大量编码比特，对于存在大量冗余背景信息的场 景，可以以更低的码率获得同等的图像质量，从而降低视频存储成本和传输 成本。

随机访问时，只要先解码背景帧，然后再解码刷新帧，接着顺序解码普 通帧即可获得随机访问的图像，能够对随机定位进行快速响应。

进一步地，通过前景置信度获取背景图像能够更好地区分背景图像中的 背景部分和前景部分；

进一步地，将输入图像划分为前景部分和背景部分，仅对前景部分采用 帧内预测的编码方式，而背景部分则以获取的背景帧重建图作为参考图像采 用帧间预测的编码方式，相较于传统的将整帧都采用帧内预测的编码方式， 节省了背景部分大量的编码比特，同时又防止因预测量化引起的误差累积和 扩散，平衡了编码效率和误差控制。

进一步地，普通帧的编码相对于现有的P帧编码增加了背景帧重建图作 为参考图像，在编码时可获得更好的匹配块，在节省编码比特的同时能够提 高编码质量。

进一步地，整合后的前景置信度适合编码以决定刷新帧和普通帧的编码 方式。

附图说明

图1是现有技术中视频编码方法的示意图；

图2是本发明第一实施方式中一种视频编码方法的流程示意图；

图3是本发明第二实施方式优选例中一种视频编码方法的流程图；

图4是本发明第二实施方式优选例中一种视频编码结果的示意图；

图5是本发明第二实施方式优选例中一种视频编码结果的示意图；

图6是本发明第二实施方式优选例中背景帧编码模块的编码输入输出示 意图；

图7是本发明第二实施方式优选例中刷新帧编码模块的编码输入输出示 意图；

图8和图9是本发明第二实施方式优选例中普通帧编码模块的编码输入 输出示意图；

图10是不同时刻输入图像的差异对比图；

图11是本发明第三实施方式中一种视频解码方法的流程示意图；

图12是本发明第三实施方式优选例中解码器解码流程图；

图13是本发明第三实施方式优选例中码流解析模块的码流解析流程图；

图14是本发明第四实施方式中一种视频编码装置的结构示意图；

图15是本发明第六实施方式中一种视频解码装置的结构示意图。

图16是本发明一种视频编解码系统的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细 节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于 以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保 护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发 明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种视频编码方法，图2是该视频编码方法的 流程示意图。

具体地说，如图2所示，该视频编码方法该方法包括以下步骤：

步骤101，获取背景图像，采用帧内预测的编码方式对该背景图像进行 编码得到背景帧，对已编码的背景帧解码得到背景帧重建图，其中背景帧的 解码结果不用于显示输出。

背景未发生改变时，获取的背景图像都是一样的，只有当背景发生改变 时，获取的背景图像才会更新。监控场景中，通常背景会保持长时间没有发 生变化，所以两个背景帧之间的时间间隔很长，比如为10分钟。

背景图像的获取方式有多种，可以是在各输入图像中自动确定一帧作为 背景图像，也可以是将一个输入图像的一部分作为背景图像，也可以人为地 预先拍摄一个图像，将其全部或局部作为背景图像。

步骤102，获取一幅输入图像作为第一图像，根据该第一图像相对于背 景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一图像进行编 码得到刷新帧。

可以理解，输入图像是指视频采集模块采集，经过ISP处理之后的图像， 也可以是解码之后的图像。

值得注意的是，重建图是将编码后的帧按解码端的解码算法进行解码后 得到的图像，因为编码的过程可能会有一些细节损失，所以重建图与输入图 像(或称原始图像)可能会有些不同。使用重建图进行编码可以防止误差的 累积。

步骤103，获取一幅输入图像作为第二图像，根据该第二图像相对于背 景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一帧的重建图 的差异，至少局部地采用帧间预测的编码方式对第二图像进行编码得到普通 帧。

此外，可以理解，一般而言，多个刷新帧和基于这些刷新帧的各普通帧 使用同一个背景帧重建图进行编码。

步骤104，根据背景帧、刷新帧和普通帧生成视频码流。

本实施方式根据输入图像相对于背景帧重建图或者相对于背景帧重建 图和相邻的前一输入图像的差异，至少局部地采用帧间预测的方式编码，相 对于全部采用帧内预测方式编码节省了大量编码比特，对于存在大量冗余背 景信息的场景，可以以更低的码率获得同等的图像质量，从而降低视频存储 成本。

本发明第二实施方式涉及一种视频编码方法，第二实施方式在第一实施 方式的基础上进行了改进，主要改进之处在于：通过前景置信度获取背景图 像，能够更好地区分背景图像中的背景部分和前景部分；将输入图像划分为 前景部分和背景部分，仅对前景部分采用帧内预测的编码方式，而背景部分 则以获取的背景帧重建图作为参考图像采用帧间预测的编码方式，相较于传 统的将整帧都采用帧内预测的编码方式，节省了背景部分大量的编码比特， 同时又防止因预测量化引起的误差累积和扩散，平衡了编码效率和误差控制； 普通帧的编码相对于现有的P帧编码增加了背景帧重建图作为参考图像，在 编码时可获得更好的匹配块，在节省编码比特的同时能够提高编码质量。具 体地说：

在步骤101中获取背景图像时，包括以下子步骤：

计算连续多帧输入图像中每个像素的前景置信度信息；

将前景置信度信息与预设的置信度阈值进行比较；

将前景置信度信息低于预设的置信度阈值的像素组成背景图像。

其中，置信度也称为可靠度，或置信水平，即对某个判断确信的程度。 前景置信度则表示判断当前像素为真实运动目标的确信程度，前景置信度越 高表示当前像素为真实运动目标的可能性越大，前景置信度越低表示当前像 素为真实背景的可能性越大。

通常，前景置信度可以通过对每个像素建立单高斯模型或者混合高斯模 型分析获得。

上述通过前景置信度获取背景图像的步骤中：

1、可以是只要该像素的前景置信度低于一定阈值，就把该像素值作为 背景像素值替换原先的背景像素值；

2、可以是统计一段时间内低于一定前景置信度阈值的像素值出现的 概率，把出现概率最高的像素值作为背景像素值；

3、可以是把一段时间内低于一定前景置信度阈值的像素进行加权平 均，得到最终的背景像素值；

把上述方法得到的背景像素值组合在一起，获得背景图像。

所以这里的前景置信度只是一种概念，不是具体的方法，通过这个概念 来区分前景和背景。

此外，可以理解，在本发明的其它实施方式中，也可以通过其它方式获 得背景图像，而不局限于通过分析前景置信度来获取。

优选地，在步骤102中，包括以下子步骤：

获取第一图像中每个像素的前景置信度；

根据前景置信度与阈值比较，将第一图像划分为第一前景部分和第一背 景部分；

第一前景部分采用帧内预测的方式进行编码，第一背景部分将背景帧重 建图作为参考图像采用帧间预测的方式进行编码。

优选地，在步骤103中，包括以下子步骤：

获取第二图像中每个像素的前景置信度；

根据前景置信度与阈值比较，将第二图像划分为第二前景部分和第二背 景部分；

第二前景部分中至少有一部分将相邻前一帧的重建图作为参考图像采 用帧间预测的方式进行编码，第二背景部分将背景帧重建图和/或相邻前一帧 的重建图作为参考图像采用帧间预测的方式进行编码。

第二背景可以仅参考相邻前一帧的重建图，也可以仅参考背景帧重建 图，最佳实施方式是新露出的背景参考背景帧重建图，其余背景部分参考前 一帧重建图。

此外，第二前景部分可以是全部以相邻前一帧的重建图作为参考图像采 用帧间预测的方式进行编码；也可以是其中的一部分以相邻前一帧的重建图 作为参考图像采用帧间预测的方式进行编码，另一部分采用帧内编码的方式 进行编码。

普通帧的编码相对于现有编码方法的P帧编码仅增加了一帧参考帧，但 是获得了整个图像序列不同时间段的背景信息做参考，所以在编码时可以获 得更好的匹配块，特别是对于由于物体移动而新露出的背景，可以节省很大 部分的编码比特，且获得更好的编码质量。

优选地，在上述获取每个像素的前景置信度的之后，包括对获取的每个 像素的前景置信度进行整合的步骤，该整合步骤可以通过以下方式来实现：

对输入图像的块内多个像素的前景置信度进行统计求平均，并将平均值 作为该块的前景置信度；或

将输入图像的块内出现概率最高的前景置信度作为该块的前景置信度； 或

计算缩小的输入图像的每个像素的前景置信度，将每个像素的前景置信 度作为缩小前输入图像的对应块的前景置信度。

作为本实施方式的优选例，如图3所示为编码方法的流程图，下面对此 流程的每个模块进行详细描述。

视频输入模块：给背景分析模块和编码模块提供输入原始图像(即输入 图像)，一般情况下，此原始图像是指视频采集模块采集，经过ISP处理之 后的图像，但也可以是解码之后的图像。

背景分析模块：此模块对输入的每帧图像进行分析，得到当前图像中每 个像素的前景置信度信息。前景置信度越高表示当前像素为真实运动目标的 可能性越大，前景置信度越低表示当前像素为真实背景的可能性越大。同时 通过连续的多帧图像分析，可以组成一副大部分都是由前景置信度很低的像 素组成的背景图像。通常，前景置信度可以通过对每个像素建立单高斯模型 或者混合高斯模型分析获得。

获取前景置信度：获取由背景分析模块输出的每个像素的前景置信度信 息，并进行适当的整合以更适合编码。整合时可以对16x16块内的前景置信 度进行统计求平均，作为这个块的前景置信度，或者以16x16块内出现概率 最高的前景置信度作为这个块的前景置信度，或者或对输入图像进行缩小处 理，对缩小后的图像进行背景分析，获取缩小后的图像每个像素的前景置信 度，然后把每个像素的置信度对应为输入图像的块的前景置信度(比如输入 图像分辨率为1600x1200，缩小为200x150进行背景分析，获得200x150 图像每个像素的前景置信度，则相应可获得该像素几何对应1600x1200图像 上8x8块的前景置信度，其中缩小的方法不做限制)等等。整合后适合编码 的前景置信度用于指导刷新帧和普通帧的编码参考。

获取背景图像：获取由背景分析模块输出的背景图像，作为编码模块的 输入。背景未发生改变时，获取的背景图像都是一样的，只有当背景发生改 变时，获取的背景图像才会更新。

编码模块：对输入的每一帧原始图像进行编码，输出不同类型的码流。

编码结果如图4和图5所示，因为只有当背景发生改变时，获取的背景 图像才会更新，因此相应的背景帧间隔最长，刷新帧每隔2s更新一次。图4 和图5的区别在于普通帧的参考帧(或者说参考帧重建图)是不同的，具体 地说：图4中，刷新帧仅参考背景帧(箭头指向背景帧)，刷新帧后的第一 个普通帧参考该刷新帧和背景帧，刷新帧后的其它普通帧参考其相邻的前一 帧和背景帧；而图5中，刷新帧仅参考背景帧，刷新帧后的第一个普通帧和 其它普通帧仅参考其相邻的前一帧。

不同的时刻输出不同的编码帧码流，如图4和图5所示，每个10分钟 输出一次背景帧码流，每个2s输出一次刷新帧码流，其余时刻输出普通帧 码流。

编码的具体流程如下所述：

图6所示为背景帧编码模块的编码输入输出示意图，如图6所示，对于 输入的背景图像，输入到背景帧编码模块，输出背景帧码流和背景帧重建图 像。背景帧采用I帧方式进行编码，且仅采用I帧方式编码。背景帧仅当背 景发生变化时才进行更新，通常情况下是不需要更新的。监控场景中，通常 背景会保持长时间没有发生变化，所以两个背景帧之间的时间间隔会很长， 如图4所示，两个背景帧之间的时间间隔为10分钟。

如图7所示为刷新帧编码模块的输入输出示意图，如图7所示，刷新帧 编码模块中输入原始图像和背景帧重建图像，输出刷新帧重建图像和刷新帧 编码码流。

其中，刷新帧编码仅参考背景帧重建图像，如图4所示，刷新帧仅参考 背景帧。

此外，背景分析模块输出的前景置信度信息经过整合后用于指导刷新帧 编码的模式选择，前景置信度越低，则越倾向于从背景帧中获得的匹配块， 前景置信度越高，则越倾向于用帧内预测得到的匹配块。两个刷新帧之间的 时间间隔一般都较短，比如可以是1s或者2s。根据上述的模式选择原则， 一般情况下刷新帧的前景部分是采用I帧的编码方式，背景部分采用P帧的 编码方式，相比于标准的编码方法整帧都采用I帧的编码方式，可以节省大 量编码比特。比如，当前帧的前景比例为10％，则采用上述方法后，编码比 特约可以降为原先的10％。

同时由于对刷新帧中的前景置信度高的块倾向于采用帧内预测的方式 进行编码，所以可以防止因预测量化引起的误差累积和扩散，达到了原先I 帧的作用。

如图8和图9所示为普通帧编码模块的输入输出示意图。其中，

如图8所示，对于刷新帧之后的第一个普通帧，该模块输入原始图像， 背景帧重建图像，刷新帧重建图像，输出普通帧重建图像，普通帧编码码流； 如图9所示，对于其它时刻的普通帧，该模块输入原始图像，背景帧重建图 像，普通帧重建图像，输出普通帧重建图像，普通帧编码码流。

普通帧采用P帧方式编码，刷新帧之后的第一个普通帧，能参考背景帧 重建图像和刷新帧重建图像，其它的普通帧能参考背景帧重建图像和前一帧 普通帧重建图像。如图4所示，普通帧可以参考背景帧以及刷新帧或者普通 帧。

背景分析模块输出的前景置信度信息整合后用于指导普通帧编码的模 式选择，前景置信度越低，则越倾向于从背景帧中获得的匹配块，前景置信 度越高，则越倾向于从前一帧中获得的匹配块。

该优选例中普通帧的编码相对于现有编码方法的P帧编码仅增加了一帧 参考帧，但是获得了整个图像序列不同时间段的背景信息做参考，所以在编 码时可以获得更好的匹配块，特别是对于由于物体移动而新露出的背景，可 以节省很大部分的编码比特，且获得更好的编码质量。如图10所示为不同 时刻输入图像的差异对比图，如图所示，灰色部分是当前时刻的输入图像相 对于前一时刻的图像新露出的背景，若采用标准的编码方法，仅能参考前一 帧，但是前一帧里背景部分是被物体挡住的，找不到合适的匹配块，所以只 能采用帧内预测的方式进行编码；若采用上述优选例的方法，此部分背景能 在背景帧中找到合适的匹配块，可以采用帧间预测的方式进行编码，不仅节 省编码比特且能提高编码质量。

本发明第三实施方式涉及一种视频解码方法，图11是该视频解码方法 的流程示意图。

具体地说，如图11所示，该视频解码方法该方法包括以下步骤：

步骤201，对所获取的视频码流进行解析，得到背景帧，刷新帧和普通 帧。

步骤202，对背景帧码流进行解码得到背景帧重建图，该背景帧重建图 不用于显示输出。

步骤203，根据背景帧重建图对刷新帧的至少一部分进行基于帧间预测 的解码，得到用于显示输出的刷新帧重建图。

步骤204，根据背景帧重建图和相邻前一帧的重建图，或者仅根据相邻 前一帧的重建图，对普通帧的至少一部分进行基于帧间预测的解码，得到用 于显示输出的普通帧重建图。

此外，可以理解，背景帧是采用帧内预测的编码方式对背景图像进行编 码得到的视频帧。刷新帧是根据一幅输入图像相对于背景帧重建图的差异， 至少局部地采用帧间预测的编码方式对该输入图像进行编码得到的视频帧。 普通帧是根据一幅输入图像相对于背景帧重建图和相邻前一帧的重建图的差 异，至少局部地采用帧间预测的编码方式对该输入图像进行编码得到的视频 帧。

在本实施方式中，随机访问时，只要先解码背景帧，然后再解码刷新帧， 接着顺序解码普通帧即可获得随机访问的图像，能够对随机定位进行快速响 应。

作为本实施方式的优选例，如图12所示为解码器流程图，如图所示， 解码端在接收到输入码流之后进行解析，分别获取到背景帧码流，刷新帧码 流和普通帧码流，若是接收到背景帧编码码流，则解码输出的重建图不进行 显示输出，若是接收到刷新帧编码码流或者是普通帧编码码流，则解码输出 的重建图进行显示输出。其中，码流解析模块的码流解析流程图如图13所 示，其输入背景帧码流，刷新帧码流和普通帧码流，并将上述码流输出给解 码模块。

该本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不 管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何 类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者 非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样， 存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称 “PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、 可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、 只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读 存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、 磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第四实施方式涉及一种视频编码装置，图14是该视频编码装置 的结构示意图。

具体地说，如图14所示，该装置包括：

背景图像获取模块，用于获取背景图像；

背景帧编码模块，用于采用帧内预测的编码方式对背景图像进行编码得 到背景帧，对已编码的背景帧解码得到背景帧重建图，其中背景帧的解码结 果不用于显示输出；

刷新帧编码模块，用于获取一幅输入图像作为第一图像，根据该第一图 像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一 图像进行编码得到刷新帧；

普通帧编码模块，用于获取一幅输入图像作为第二图像，根据该第二图 像相对于背景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一 帧的重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编 码得到普通帧；

码流生成模块，用于根据背景帧、刷新帧和普通帧生成视频码流。

此外，可以理解，一般而言，多个刷新帧和基于这些刷新帧的各普通帧 使用同一个背景帧重建图进行编码。其中，重建图是将编码后的帧按解码端 的解码算法进行解码后得到的图像，因为编码的过程可能会有一些细节损失， 所以重建图与输入图像(或称原始图像)可能会有些不同。使用重建图进行 编码可以防止误差的累积。

本实施方式根据输入图像相对于背景帧重建图或者相对于背景帧重建 图和相邻的前一输入图像的差异，至少局部地采用帧间预测的方式编码，相 对于全部采用帧内预测方式编码节省了大量编码比特，对于存在大量冗余背 景信息的场景，可以以更低的码率获得同等的图像质量，从而降低视频存储 成本。

本实施方式是与第一实施方式相对应的方法实施方式，本实施方式可与 第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施 方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提 到的相关技术细节也可应用在第一实施方式中。

本发明第五实施方式涉及一种视频编码装置，第五实施方式在第四实施 方式的基础上进行了改进，主要改进之处在于：将输入图像划分为前景部分 和背景部分，仅对前景部分采用帧内预测的编码方式，而背景部分则以获取 的背景帧重建图作为参考图像采用帧间预测的编码方式，相较于传统的将整 帧都采用帧内预测的编码方式，节省了背景部分大量的编码比特，同时又防 止因预测量化引起的误差累积和扩散，平衡了编码效率和误差控制；普通帧 的编码相对于现有的P帧编码增加了背景帧重建图作为参考图像，在编码时 可获得更好的匹配块，在节省编码比特的同时能够提高编码质量。具体地说：

在背景图像获取模块中，包括以下子模块：

背景分析子模块，用于计算连续多帧输入图像中每个像素的前景置信度 信息；

置信度比较子模块，用于将前景置信度信息与预设的置信度阈值进行比 较；

背景图像组成子模块，用于将前景置信度信息低于预设的置信度阈值的 像素组成背景图像。

此外，可以理解，前景置信度越高表示当前像素为真实运动目标的可能 性越大，前景置信度越低表示当前像素为真实背景的可能性越大。通常，前 景置信度可以通过对每个像素建立单高斯模型或者混合高斯模型分析获得。

优选地，在刷新帧编码模块中，包括以下子模块：

第一前景置信度获取子模块，用于获取第一图像中每个像素的前景置信 度；

第一图像划分子模块，用于根据前景置信度与阈值比较的结果，将第一 图像划分为第一前景部分和第一背景部分；

刷新帧编码子模块，用于将第一前景部分采用帧内预测的方式进行编 码，并将第一背景部分将背景帧重建图作为参考图像采用帧间预测的方式进 行编码。

优选地，在普通帧编码模块中，包括以下子模块：

第二前景置信度获取子模块，用于获取第二图像中每个像素的前景置信 度；

第二图像划分子模块，用于根据前景置信度与阈值比较的结果，将第二 图像划分为第二前景部分和第二背景部分；

普通帧编码子模块，用于将第二前景部分中至少有一部分将相邻前一帧 的重建图作为参考图像采用帧间预测的方式进行编码，并将第二背景部分将 背景帧重建图作为参考图像采用帧间预测的方式进行编码。

此外，第二前景部分可以全部以相邻前一帧的重建图作为参考图像采用 帧间预测的方式进行编码；也可以是其中的一部分以相邻前一帧的重建图作 为参考图像采用帧间预测的方式进行编码，另一部分采用帧内编码的方式进 行编码。

优选地，该视频编码装置还包括置信度整合模块，用于对获取的每个像 素的前景置信度进行整合。该模块可以通过以下方式对前景置信度进行整合：

对输入图像的块内多个像素的前景置信度进行统计求平均，并将平均值 作为该块的前景置信度；或

将输入图像的块内出现概率最高的前景置信度作为该块的前景置信度； 或

计算缩小的输入图像的每个像素的前景置信度，将每个像素的前景置信 度作为缩小前输入图像的对应块的前景置信度。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与 第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施 方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提 到的相关技术细节也可应用在第二实施方式中。

本发明第六实施方式涉及一种视频解码装置，图15是该视频解码装置 的结构示意图。

具体地说，如图15所示，该装置包括：

码流解析模块，用于对所获取的视频码流进行解析，得到背景帧，刷新 帧和普通帧；

背景帧解码模块，用于对背景帧码流进行解码得到背景帧重建图，该背 景帧重建图不用于显示输出；

刷新帧解码模块，用于根据背景帧重建图对刷新帧的至少一部分进行基 于帧间预测的解码，得到用于显示输出的刷新帧重建图；

普通帧解码模块，用于根据背景帧重建图和相邻前一帧的重建图，或者 仅根据相邻前一帧的重建图，对普通帧的至少一部分进行基于帧间预测的解 码，得到用于显示输出的普通帧重建图。

此外，可以理解，背景帧是采用帧内预测的编码方式对背景图像进行编 码得到的视频帧。刷新帧是根据一幅输入图像相对于背景帧重建图的差异， 至少局部地采用帧间预测的编码方式对该输入图像进行编码得到的视频帧。 普通帧是根据一幅输入图像相对于背景帧重建图和相邻前一帧的重建图的差 异，至少局部地采用帧间预测的编码方式对该输入图像进行编码得到的视频 帧。

本实施方式在随机访问时，只要先解码背景帧，然后再解码刷新帧，接 着顺序解码普通帧即可获得随机访问的图像，能够对随机定位进行快速响应。

第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与 第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施 方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提 到的相关技术细节也可应用在第三实施方式中。

综上所述，本发明提供一种编解码系统，如图16所示，主要由两部分 组成，第一部分是视频编码器，第二部分是视频解码器，针对监控视频，可 以以更低的码率获得同等的图像质量，降低视频存储成本。

创新点主要体现在：

1、建立并编码背景帧、刷新帧和普通帧；

2、刷新帧编码仅参考背景帧，普通帧编码可参考背景帧和前一帧；

3、刷新帧和普通帧依据前景置信度编码；

4、刷新帧和普通帧中编码块的前景置信度越高，被更快的更新的可能 性越大。

有益效果主要体现在：

1、建立并编码背景帧，背景帧包含不同时刻的背景信息。这样，以P 帧编码方式编码的帧增加一帧编码参考帧，即可更加容易搜索到更好的匹配 块，降低编码码率。

2、编码刷新帧，刷新帧参考背景帧，平衡了编码效率和随机访问。因 为刷新帧中的块，前景置信度越低，则越倾向于从背景帧中获得的匹配块， 前景置信度越高，则越倾向于用帧内预测得到的匹配块，相对于全部采用I 帧方式编码节省了大量的编码比特，而随机访问时，只要先解码背景帧，然 后再解码刷新帧，接着顺序解码后面的普通帧即可获得随机访问的图像，相 对于现有的方法仅增加了一帧的解码代价。

需要说明的是，本发明各设备实施方式中提到的各模块都是逻辑模块， 在物理上，一个逻辑模块可以是一个物理模块，也可以是一个物理模块的一 部分，还可以以多个物理模块的组合实现，这些逻辑模块本身的物理实现方 式并不是最重要的，这些逻辑模块所实现的功能的组合才是解决本发明所提 出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设 备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的模块引 入，这并不表明上述设备实施方式并不存在其它的模块。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之 类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来， 而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺 序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性 的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那 些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、 方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包 括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设 备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和 描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各 种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种视频编码方法，其特征在于，该方法包括以下步骤：

获取背景图像，采用帧内预测的编码方式对该背景图像进行编码得到背 景帧，对已编码的背景帧解码得到背景帧重建图；

获取一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图 的差异，至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新 帧；

获取一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图 和相邻前一帧的重建图的差异，或者相对于相邻前一帧的重建图的差异，至 少局部地采用帧间预测的编码方式对第二图像进行编码得到普通帧；

根据所述背景帧、刷新帧和普通帧生成视频码流；

所述刷新帧后的第一个普通帧将所述刷新帧的重建图和所述背景帧的 重建图作为参考图像采用帧间预测的编码方式进行编码，所述刷新帧后的其 它普通帧将所述相邻前一帧的重建图和所述背景帧的重建图作为参考图像 采用帧间预测的编码方式进行编码；

其中，所述相邻前一帧不同于所述背景帧。

2.根据权利要求1所述的视频编码方法，其特征在于，在所述获取背 景图像的步骤中，包括以下子步骤：

计算连续多帧输入图像中每个像素的前景置信度信息；

将所述前景置信度信息与预设的置信度阈值进行比较；

将所述前景置信度信息低于所述预设的置信度阈值的像素组成背景图 像。

3.根据权利要求1所述的视频编码方法，其特征在于，在所述“获取 一幅输入图像作为第一图像，根据该第一图像相对于背景帧重建图的差异， 至少局部地采用帧间预测的编码方式对第一图像进行编码得到刷新帧”的步 骤中，包括以下子步骤：

获取所述第一图像中每个像素的前景置信度；

根据所述前景置信度与阈值比较，将所述第一图像划分为第一前景部分 和第一背景部分；

所述第一前景部分采用帧内预测的方式进行编码，所述第一背景部分将 所述背景帧重建图作为参考图像采用帧间预测的方式进行编码。

4.根据权利要求1所述的视频编码方法，其特征在于，在所述“获取 一幅输入图像作为第二图像，根据该第二图像相对于背景帧重建图和相邻前 一帧的重建图的差异，或者相对于相邻前一帧的重建图的差异，至少局部地 采用帧间预测的编码方式对第二图像进行编码得到普通帧”的步骤中，包括 以下子步骤：

获取所述第二图像中每个像素的前景置信度；

根据所述前景置信度与阈值比较，将所述第二图像划分为第二前景部分 和第二背景部分；

所述第二前景部分中至少有一部分将相邻前一帧的重建图作为参考图 像采用帧间预测的方式进行编码，所述第二背景部分将所述背景帧重建图和 /或相邻前一帧的重建图作为参考图像采用帧间预测的方式进行编码。

5.根据权利要求3或4所述的视频编码方法，其特征在于，在所述获 取每个像素的前景置信度的步骤之后，包括步骤：

对所述获取的每个像素的前景置信度进行整合，该步骤包括以下子步 骤：

对输入图像的宏块内多个像素的前景置信度进行统计求平均，并将平均 值作为该块的前景置信度；或

将输入图像的宏块内出现概率最高的前景置信度作为该块的前景置信 度；或

计算缩小的输入图像的每个像素的前景置信度，将每个像素的前景置信 度作为缩小前输入图像的对应宏块的前景置信度。

6.一种视频解码方法，其特征在于，该方法包括以下步骤：

对所获取的视频码流进行解析，得到背景帧，刷新帧和普通帧；

对所述背景帧码流进行解码得到背景帧重建图；

根据所述背景帧重建图对所述刷新帧的至少一部分进行基于帧间预测 的解码，得到用于显示输出的刷新帧重建图；

根据所述背景帧重建图和相邻前一帧的重建图，或者根据相邻前一帧的 重建图，对所述普通帧的至少一部分进行基于帧间预测的解码，得到用于显 示输出的普通帧重建图；

所述刷新帧后的第一个普通帧将所述刷新帧的重建图和所述背景帧的 重建图作为参考图像采用帧间预测的解码方式进行解码，所述刷新帧后的其 它普通帧将所述相邻前一帧的重建图和所述背景帧的重建图作为参考图像 采用帧间预测的解码方式进行解码；

其中，所述相邻前一帧不同于所述背景帧。

7.一种视频编码装置，其特征在于，该装置包括：

背景图像获取模块，用于获取背景图像；

背景帧编码模块，用于采用帧内预测的编码方式对所述背景图像进行编 码得到背景帧，对已编码的背景帧解码得到背景帧重建图；

刷新帧编码模块，用于获取一幅输入图像作为第一图像，根据该第一图 像相对于背景帧重建图的差异，至少局部地采用帧间预测的编码方式对第一 图像进行编码得到刷新帧；

普通帧编码模块，用于获取一幅输入图像作为第二图像，根据该第二图 像相对于背景帧重建图和相邻前一帧的重建图的差异，或者相对于相邻前一 帧的重建图的差异，至少局部地采用帧间预测的编码方式对第二图像进行编 码得到普通帧；

码流生成模块，用于根据所述背景帧、刷新帧和普通帧生成视频码流；

所述刷新帧后的第一个普通帧将所述刷新帧的重建图和所述背景帧的 重建图作为参考图像采用帧间预测的编码方式进行编码，所述刷新帧后的其 它普通帧将所述相邻前一帧的重建图和所述背景帧的重建图作为参考图像 采用帧间预测的编码方式进行编码；

其中，所述相邻前一帧不同于所述背景帧。

8.根据权利要求7所述的视频编码装置，其特征在于，在所述背景图 像获取模块中，包括以下子模块：

背景分析子模块，用于计算连续多帧输入图像中每个像素的前景置信度 信息；

置信度比较子模块，用于将所述前景置信度信息与预设的置信度阈值进 行比较；

背景图像组成子模块，用于将所述前景置信度信息低于所述预设的置信 度阈值的像素组成背景图像。

9.根据权利要求7所述的视频编码装置，其特征在于，在所述刷新帧 编码模块中，包括以下子模块：

第一前景置信度获取子模块，用于获取所述第一图像中每个像素的前景 置信度；

第一图像划分子模块，用于根据所述前景置信度与阈值比较的结果，将 所述第一图像划分为第一前景部分和第一背景部分；

刷新帧编码子模块，用于将所述第一前景部分采用帧内预测的方式进行 编码，并将所述第一背景部分将所述背景帧重建图作为参考图像采用帧间预 测的方式进行编码。

10.根据权利要求7所述的视频编码装置，其特征在于，在所述普通 帧编码模块中，包括以下子模块：

第二前景置信度获取子模块，用于获取所述第二图像中每个像素的前景 置信度；

第二图像划分子模块，用于根据所述前景置信度与阈值比较的结果，将 所述第二图像划分为第二前景部分和第二背景部分；

普通帧编码子模块，用于将所述第二前景部分中至少一部分将相邻前一 帧的重建图作为参考图像采用帧间预测的方式进行编码，并将所述第二背景 部分以所述背景帧重建图作为参考图像采用帧间预测的方式进行编码。

11.根据权利要求9或10所述的视频编码装置，其特征在于，还包括：

置信度整合模块，用于对所述获取的每个像素的前景置信度进行整合；

该模块通过以下方式对前景置信度进行整合：

对输入图像的宏块内多个像素的前景置信度进行统计求平均，并将平均 值作为该块的前景置信度；或

将输入图像的宏块内出现概率最高的前景置信度作为该块的前景置信 度；

或

计算缩小的输入图像的每个像素的前景置信度，将每个像素的前景置信 度作为缩小前输入图像的对应宏块的前景置信度。

12.一种视频解码装置，其特征在于，该装置包括以下模块：

码流解析模块，用于对所获取的视频码流进行解析，得到背景帧，刷新 帧和普通帧；

背景帧解码模块，用于对所述背景帧码流进行解码得到背景帧重建图；

刷新帧解码模块，用于根据所述背景帧重建图对所述刷新帧的至少一部 分进行基于帧间预测的解码，得到用于显示输出的刷新帧重建图；

普通帧解码模块，用于根据所述背景帧重建图和相邻前一帧的重建图， 或者根据相邻前一帧的重建图，对所述普通帧的至少一部分进行基于帧间预 测的解码，得到用于显示输出的普通帧重建图；

所述刷新帧后的第一个普通帧将所述刷新帧的重建图和所述背景帧的 重建图作为参考图像采用帧间预测的解码方式进行解码，所述刷新帧后的其 它普通帧将所述相邻前一帧的重建图和所述背景帧的重建图作为参考图像 采用帧间预测的解码方式进行解码；

其中，所述相邻前一帧不同于所述背景帧。