CN105898310B - 视频编码方法和装置 - Google Patents

Abstract

本发明实施例提供了一种视频编码方法和装置，解决了现有视频编码标准传递背景图像信息时花费码字过多以及编码效果差的问题。其中的视频编码方法包括：判断当前帧图像中的每个编码树单元是否为背景块；对比当前帧图像与上一帧图像的背景图形，其中所述背景图形由背景块组成；以及根据所述对比的结果对当前帧图像的背景图形进行编码。

Description

视频编码方法和装置

技术领域

本发明涉及视频编码技术领域，具体涉及一种视频编码方法和装置。

背景技术

在视频监控领域，视频监控设备在安装完成后在一段时间内一般是不动的。因此在视频监控设备所监控的人、车等运动场景中，监控视频的每一帧图像之间基本也是变化不多的，这样那些不运动的区块便构成了该监控视频的背景图像，且该背景图像是基本保持不变的。在对监控视频进行编码时，有必要将这些不运动的区块所构成的背景图像进行编码。

在现有的H265视频编码标准中，背景图像是以编码单元(Coding Unit，CU)为单位进行编码，判断为背景状态的编码单元会被当作SKIP块来编码。然而，这种方式在将背景图像信息编码进视频码流时需要同时传递当前处于背景状态CU的大小、SKIP模式的标志、参考帧信息和运动矢量(mv)等，因而花费的码字过多，会增大视频文件的大小。

在现有的AVS2视频编码标准中，会采用建立一个背景帧的模式，即为背景图像进行专门的编码。然而，由于编码器中需要添加一帧背景建模帧，而该背景建模帧又不会显示，对于同时实时工作的编码+解码系统，这种传递背景图像信息的方式会导致播放时间大于编码端输入数据的时间，从而造成导致解码器播放器延迟累加，因而可能会出现编码端丢帧的情况，编码效果差。

发明内容

有鉴于此，本发明实施例提供了一种视频编码方法和装置，解决了现有视频编码标准传递背景图像信息时花费码字过多以及编码效果差的问题。

本发明一实施例提供的一种视频编码方法包括：

判断当前帧图像中的每个编码树单元是否为背景块；

对比当前帧图像与上一帧图像的背景图形，其中所述背景图形由多个背景块组成；以及

根据所述对比的结果对当前帧图像的背景图形进行编码；

根据对比的结果对当前帧图像的背景图形进行编码包括：

若当前帧图像的背景图形相比上一帧图像的背景图形不存在变化，则将当前帧图像的背景变化状态变量赋值为第一赋值，并仅将背景变化状态变量编入视频码流。

进一步地，每个所述编码树单元对应一个背景块状态标志，所述背景块状态标志的不同取值分别表征所述编码树单元被判断为背景块或非背景块；

其中，对比当前帧图像与上一帧图像的背景图形包括：

对比当前帧图像的背景图形中每个编码树单元与对应的上一帧图像的背景图形中的每个编码树单元的背景块状态标志；以及

确定当前帧图像的背景图形中相比上一帧图像的背景图形中背景块状态发生变化的编码树单元。

进一步地，判断当前帧图像中的每个编码树单元是否为背景块包括：

判断视频序列的第一帧图像中的每个编码树单元是否为背景块，其中，第一帧图像中的每个所述编码树单元对应一个背景块状态标志；

其中，所述方法进一步包括：

将第一帧图像中每个编码树单元的背景块状态标志编入视频码流。

进一步地，所述方法进一步包括：

默认视频序列的起始帧图像中所有的编码树单元都是非背景块。

进一步地，根据所述对比的结果对当前帧图像的背景图形进行编码包括：

若当前帧图像的背景图形相比上一帧图像的背景图形背景块状态发生变化的编码树单元的数量超过第一阈值但小于第二阈值，则将当前帧图像的背景变化状态变量赋值为第二赋值，将背景块状态发生变化的编码树单元的定位信息编入视频码流或将当前帧图像的背景图形中所有编码树单元各自的背景块状态标志编入视频码流；以及

若当前帧图像的背景图形相比上一帧图像的背景图形背景块状态发生变化的编码树单元的数量超过第二阈值，则将当前帧图像的背景图形中的所有编码树单元重置为非背景块，将当前帧图像的背景变化状态变量赋值为第三赋值，并仅将所述背景变化状态变量编入视频码流。

进一步地，若当前帧图像的背景图形相比上一帧图像的背景图形背景块状态发生变化的编码树单元的数量超过第一阈值但小于第二阈值，所述方法进一步包括：

通过率失真优化估计将背景块状态发生变化的编码树单元的定位信息编入视频码流的码字损耗，以及将当前帧图像的背景图形中所有编码树单元的背景块状态标志编入视频码流的码字损耗；以及

选择其中码字损耗较小的方式对当前帧图像的背景图形进行编码。

进一步地，背景块状态发生变化的编码树单元的定位信息包括：背景块状态发生变化的编码树单元数量和/或背景块状态发生变化的编码树单元坐标。

进一步地，在对比当前帧图像与上一帧图像的背景图形之前，所述方法进一步包括：

根据当前帧图像的背景图形和上一帧图像的背景图形之间的差异修正当前帧图像的背景图形。

进一步地，根据当前帧图像的背景图形和上一帧图像的背景图形之间的差异修正当前帧图像的背景图形包括：

当一个编码树单元在上一帧图像中为背景块，在当前帧图像中被判断为非背景块时，则将该编码树单元从当前帧图像的背景图形中剔除；以及

当一个编码树单元在上一帧图像中为非背景块，在当前帧图像中被判断为背景块时，若该编码树单元继续被判断为背景块的时间超过预设的时间阈值，则将该编码树单元加入当前帧图像的背景图形中，否则仍保持该编码树单元为非背景块。

进一步地，根据当前帧图像的背景图形和上一帧图像的背景图形之间的差异修正当前帧图像的背景图形进一步包括：

统计当前编码树单元在背景块状态和非背景块状态之间转换的时间规律，根据所述时间规律预计将该编码树单元加入背景图形或从背景图形中剔除的时间。

本发明一实施例还提供一种视频编码装置，包括：

判断模块，用于判断当前帧图像中的每个编码树单元是否为背景块，其中，每个所述编码树单元对应一个背景块状态标志，所述背景块状态标志的不同取值分别表征所述编码树单元被判断为背景块或非背景块；

对比模块，用于对比当前帧图像与上一帧图像的背景图形，其中所述背景图形由判断为背景块的多个编码树单元组成；以及

编码模块，用于根据所述判断模块的对比结果对当前帧图像的背景图形进行编码；具体用于若当前帧图像的背景图形相比上一帧图像的背景图形不存在变化，则将当前帧图像的背景变化状态变量赋值为第一赋值，并仅将背景变化状态变量编入视频码流。

本发明实施例提供的一种视频编码方法和装置，考虑到一个视频序列中的背景图像一般是基本不变的，因此以编码树单元(Coding Tree Block,CTU)为单位对背景图像进行编码，相比于现有技术中以相对较小的CU为单位进行编码，提高了对背景图像进行编码的效率。同时，根据当前帧图像与上一帧图像的背景图形的对比结果对当前帧图像的背景图形进行编码，不一定需要对当前帧图像背景图形中的每个编码树单元都进行编码，可仅针对发生变化的部分进行编码即可，不需要专门形成背景建模帧，从而可节省对背景图像进行编码的码字，且编码效果准确高效。

附图说明

图1所示为本发明一实施例提供的一种视频编码方法和装置的流程图。

图2所示为本发明一实施例提供的视频图像背景图形示意图。

图3所示为本发明另一实施例提供的视频图像背景图形示意图。

图4所示为本发明另一实施例提供的视频图像背景图形示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明一实施例提供的一种视频编码方法的流程示意图。如图1所示，该视频编码方法包括：

步骤101：判断当前帧图像中的每个编码树单元是否为背景块。

在本发明一实施例中，判断编码树单元是否为背景块的方式可通过率失真优化的方法(RDO)实现。具体而言，当判断出当前编码树单元为前向帧中对应位置的编码树单元的运动所得时，即判断出运动块大小为编码树单元、运动矢量为零、运动模式为skip模式时，那么就可以判定当前编码树单元为背景块。

在本发明一实施例中，每个编码树单元都对应一个背景块状态标志，背景块状态标志的不同取值分别表征编码树单元被判断为背景块或非背景块。例如，当判断当前编码树单元为背景块时，则当前编码树单元的背景块状态标志bg_enable＝1，否则该背景块状态标志bg_enable＝0。在后续的编码过程中，该背景块状态标志可在视频码流中占据一个bit，以标识当前编码树单元的背景块状态。这样在解码端进行解码时，当解码到该背景块状态标志时，便获取了当前编码树单元的背景块状态信息。应当理解，该背景块状态标志的具体形式，以及与背景块状态相对应的取值可根据实际需要自定义，本发明对此不做限定。

步骤102：对比当前帧图像与上一帧图像的背景图形，其中背景图形由背景块组成。由于背景块为判断为处于背景块状态的编码树单元，因此背景图像其实也是由编码树单元构成的。

在本发明一实施例中，当每个编码树单元都对应一个背景块状态标志时，对比当前帧图像与上一帧图像的背景图形其实是对比当前帧图像的背景图形中每个编码树单元与对应的上一帧图像的背景图形中的每个编码树单元的背景块状态标志，在对比的过程中即可确定当前帧图像的背景图形中相比上一帧图像的背景图形中背景块状态发生变化的编码树单元。这些背景块状态发生变化的编码树单元的信息便可作为后续对当前帧图像的背景图形进行编码的依据。

应当理解，一个视频序列是由起始帧图像、第一帧图像、第二帧图像……等一系列连续的视频帧图像构成的。其中的起始帧图像为第零帧，并没有可供参考的前向帧图像，因而可默认起始帧图像中所有的编码树单元都是非背景块。其中的第一帧图像可以通过RDO的方法与起始帧相比对以确定哪些编码树单元是背景块。为了给后续的对比过程提供一个原始的背景图形以供参照，需要将第一帧图像中所有编码树单元的背景块状态都记录下来，以形成原始的背景图形，例如图2所示的黑色部分。因此，该第一帧图像中每个编码树单元的背景块状态标志都会被编入视频码流，以存储该第一帧图像中所有编码树单元的背景块状态，为后续的对比过程提供参照。

步骤103：根据对比的结果对当前帧图像的背景图形进行编码。

如前所述，通过对比过程可确定哪些编码树单元的背景块状态发生了变化，对当前帧图像的背景图像的编码也是依据这些背景块状态发生变化的编码树单元的信息进行的。具体而言，可能包括以下三种情况：

若当前帧图像的背景图形相比上一帧图像的背景图形不存在变化，说明当前帧图像的背景图形与上一帧图像的背景图形相同，此时就没有必要再传递当前帧图像的背景图形中的每个编码树单元的背景块状态标志，而直接参照上一帧图像的背景图形进行编码即可。在本发明一实施例中，可在视频码流中加入一个背景变化状态变量，并在当前帧图像的背景图形相比上一帧图像的背景图形不存在变化时将当前帧图像的背景变化状态变量赋值为第一赋值，并仅将该背景变化状态变量编入视频码流。该第一赋值用于标明当前帧图像的背景图形与上一帧的背景图形相同，当解码端解码到该赋值为第一赋值的背景变化状态变量时，则可直接参考上一帧图像的背景图像进行解码。在一进一步实施例中，背景变化状态变量可以bg_mov_state表示，当前后两帧图像的背景图形相同时，bg_mov_state＝00，该背景变化状态变量可编码于视频码流的帧头信息中，占据两个bit。

若当前帧图像的背景图形相比上一帧图像的背景图形背景块状态发生变化的编码树单元的数量超过第一阈值但小于第二阈值，则说明当前帧图像的背景图形相对于上一帧的背景图形仅发生了少量变化，例如，原本空旷的静态监控场景中出现了少量的人、物等动态场景等，此时则需要将这些少量变化的背景图形部分的信息编入视频码流，以更新当前帧图像的背景图像。

在本发明一实施例中，可将当前帧图像的背景变化状态变量赋值为第二赋值(例如使背景变化状态变量bg_mov_state＝01)，并将背景块状态发生变化的编码树单元的定位信息编入视频码流，这样当解码端解码到该赋值为第二赋值的背景变化状态变量时，便可根据这些背景块状态发生变化的编码树单元的定位信息来更新当前帧图像的背景图形。

在本发明一实施例中，为了使得解码端能清晰解析出哪些码字传递的是坐标，背景块状态发生变化的编码树单元的定位信息可包括：背景块状态发生变化的编码树单元数量和/或背景块状态发生变化的编码树单元坐标。

在本发明另一实施例中，还可以先通过率失真优化估计将背景块状态发生变化的编码树单元的定位信息编入视频码流的码字损耗，以及将当前帧图像的背景图形中所有编码树单元的背景块状态标志编入视频码流的码字损耗；选择其中码字损耗较小的方式对当前帧图像的背景图形进行编码。例如，如果通过率失真优化得出将当前帧图像的背景图形中所有编码树单元的背景块状态标志都编入视频码流的码字损耗要更小一些，也可将当前帧图像的背景图形中所有编码树单元各自的背景块状态标志编入视频码流，而不再传递背景块状态发生变化的编码树单元的定位信息。

在本发明一实施例中，考虑到一些编码树单元的背景块状态可能会出现频繁变化，且这种频繁变化并不一定能代表该编码树单元本身稳定的背景块状态，所以并不一定需要将每次背景块状态发生变化后的背景块状态标志都编入视频码流，因此有必要在对比当前帧图像与上一帧图像的背景图形之前，根据当前帧图像的背景图形和上一帧图像的背景图形之间的差异修正当前帧图像的背景图形，即步骤102中与上一帧图像的背景图形进行对比的当前帧图像的背景图形是经过修正的。

具体的修正过程可包括如下几种情况：当一个编码树单元在上一帧图像中为背景块，在当前帧图像中被判断为非背景块时(例如，上一帧图像的背景图形如图2所示，当前帧图像的背景图形如图3所示，图3中的A块为发生了背景块状态变化的编码树单元)，此时说明原本静态的场景中出现了动态的人或物，即当前帧图像的背景图形相比于上一帧图像确实发生了变化，此时则需要将该编码树单元从当前帧图像的背景图形中剔除，以保证当前帧图像的背景图形的准确性。

而当一个编码树单元在上一帧图像中为非背景块，在当前帧图像中被判断为背景块时(例如，上一帧图像的背景图形如图2所示，当前帧图像的背景图形如图4所示，图4中的B块为发生了背景块状态变化的编码树单元)，并不能说明该编码树单元会稳定的处于背景块状态，因为这可能是因为人或物频繁出现在某一编码树单元的区域中造成的，如果将该编码树单元每次背景块状态变化后的背景块状态变量都编入视频码流会增加码率。因此即使该编码树单元会频繁处于背景状态，仍不一定认为该编码树单元属于当前帧图像背景图形的一部分。

至于当前编码树单元从上一帧的非背景块变为当前帧的背景块的状态变化是否是由于人或物频繁经过而造成的，可通过一个时间阈值来确定。若该编码树单元继续被判断为背景块的时间超过预设的时间阈值，则将该编码树单元加入当前帧图像的背景图形中，否则仍保持该编码树单元为非背景块。例如，可设置30S的时间阈值，如果一个编码树单元在上一帧图像中为非背景块，并在接下来的30S内一直被判断为背景块，此时则把该编码树单元加入背景图形中。应该理解，上述通过时间阈值实现的控制过程可通过对编码端的上层配置文件进行设置实现，本发明对具体的实现形式不做限定。在本发明另一实施例中，还可以不依赖时间阈值进行控制，而是通过统计当前编码树单元在背景块状态和非背景块状态之间转换的时间规律，并根据该时间规律预计将该编码树单元加入背景图形或从背景图形中剔除的时间，从而决定何时将编码树单元的背景块状态标志编入视频码流。

若当前帧图像的背景图形相比上一帧图像的背景图形背景块状态发生变化的编码树单元的数量超过第二阈值，则说明当前帧图像的背景图形相对于上一帧的背景图形发生了大量变化，例如原本静态的监控场景中出现了大量的人、物等公共场景，此时对于当前帧背景图形的判断已无法参照之前的背景图形。因此需要将当前帧图像的背景图形中的所有编码树单元重置为非背景块，将当前帧图像的背景变化状态变量赋值为第三赋值(例如使背景变化状态变量bg_mov_state＝11)，并仅将该背景变化状态变量编入视频码流。当解码端解码到该赋值为第三赋值的背景变化状态变量时，便不会再参考之前帧的背景图形，而按照传统的解码方式对当前帧图像进行解码。

应当理解，本发明实施例所提供的视频编码方法虽用于传递连续的视频序列中的背景图形信息，但与视频序列本身的编码方法并不冲突，而是可以兼容使用的。例如，虽然一些编码树单元在从非背景块变为背景块后的背景块状态标志并没有被纳入到背景图形中，但该编码树单元仍可以通过传统的编码方式(例如采用SKIP模式)传递其所包含的视频信息。

还应当理解，本发明实施例描述中所涉及的“第一阈值”、“第二阈值”、“第一赋值”、“第二赋值”、“第三赋值”以及“时间阈值”等都可以根据具体应用场景而自定义，本发明对这些阈值或赋值的具体大小并不做限定。此外，其中的“第一”、“第二”和“第三”等限定词仅用于进行更清楚的实施例描述，并不能用于限制本发明的保护范围。

还应当理解，本发明实施例描述中所涉及的限定词“背景图形”是由背景块构成的，是视频图像的“背景图像”在编解码过程中以编码树单元为构成单元的具体形式，因此本发明实施例描述中并不对“背景图形”和“背景图像”两个限定词做严格区分。

本发明一实施例还提供一种视频编码装置，包括：

判断模块，用于判断当前帧图像中的每个编码树单元是否为背景块，其中，每个编码树单元对应一个背景块状态标志，背景块状态标志的不同取值分别表征编码树单元被判断为背景块或非背景块；

对比模块，用于对比当前帧图像与上一帧图像的背景图形，其中背景图形由判断为背景块的编码树单元组成；以及

编码模块，用于根据判断模块的对比结果对当前帧图像的背景图形进行编码。

本发明的教导还可以实现为一种计算机可读存储介质的计算机程序产品，包括计算机程序代码，当计算机程序代码由处理器执行时，其使得处理器能够按照本发明实施方式的方法来实现如本文实施方式所述的视频编码方法。计算机存储介质可以为任何有形媒介，例如软盘、CD-ROM、DVD、硬盘驱动器、甚至网络介质等。

应当理解，虽然以上描述了本发明实施方式的一种实现形式可以是计算机程序产品，但是本发明的实施方式的方法或装置可以被依软件、硬件、或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的方法和设备可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的方法和装置可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

还应当理解，为了不模糊本发明的实施方式，说明书仅对一些关键、未必必要的技术和特征进行了描述，而可能未对一些本领域技术人员能够实现的特征做出说明。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种视频编码方法，其特征在于，包括：

判断当前帧图像中的每个编码树单元是否为背景块；

对比当前帧图像与上一帧图像的背景图形，以确定当前帧图像的背景图形相比上一帧图像的背景图形中背景块状态发生变化的编码树单元的数量和定位信息，其中，所述定位信息是指背景块状态发生变化的所述编码树单元的坐标，所述背景图形由多个背景块组成；以及

根据所述对比的结果对当前帧图像的背景图形进行编码；

其中，所述根据所述对比的结果对当前帧图像的背景图形进行编码包括：

若当前帧图像的背景图形相比上一帧图像的背景图形不存在变化，则将当前帧图像的背景变化状态变量赋值为第一赋值，并仅将所述背景变化状态变量编入视频码流；

若所述数量超过第一阈值但小于第二阈值，将所述定位信息编入视频码流；

若所述数量超过第二阈值，将所述当前帧图像的背景图形中的所有编码树单元重置为非背景块，将当前帧图像的所述背景变化状态变量赋值为第三赋值，并仅将所述背景变化状态变量编入视频码流。

2.根据权利要求1所述的视频编码方法，其特征在于，每个所述编码树单元对应一个背景块状态标志，所述背景块状态标志的不同取值分别表征所述编码树单元被判断为背景块或非背景块；

其中，对比当前帧图像与上一帧图像的背景图形包括：

对比当前帧图像的背景图形中每个编码树单元与对应的上一帧图像的背景图形中的每个编码树单元的背景块状态标志；以及

确定当前帧图像的背景图形中相比上一帧图像的背景图形中背景块状态发生变化的编码树单元。

3.根据权利要求2所述的视频编码方法，其特征在于，判断当前帧图像中的每个编码树单元是否为背景块包括：

判断视频序列的第一帧图像中的每个编码树单元是否为背景块，其中，第一帧图像中的每个所述编码树单元对应一个背景块状态标志；

其中，所述方法进一步包括：

将第一帧图像中每个编码树单元的背景块状态标志编入视频码流。

4.根据权利要求3所述的视频编码方法，其特征在于，进一步包括：

默认视频序列的起始帧图像中所有的编码树单元都是非背景块。

5.根据权利要求1所述的视频编码方法，其特征在于，在对比当前帧图像与上一帧图像的背景图形之前，进一步包括：

根据当前帧图像的背景图形和上一帧图像的背景图形之间的差异修正当前帧图像的背景图形。

6.根据权利要求5所述的视频编码方法，其特征在于，根据当前帧图像的背景图形和上一帧图像的背景图形之间的差异修正当前帧图像的背景图形包括：

当一个编码树单元在上一帧图像中为背景块，在当前帧图像中被判断为非背景块时，则将该编码树单元从当前帧图像的背景图形中剔除；以及

当一个编码树单元在上一帧图像中为非背景块，在当前帧图像中被判断为背景块时，若该编码树单元继续被判断为背景块的时间超过预设的时间阈值，则将该编码树单元加入当前帧图像的背景图形中，否则仍保持该编码树单元为非背景块。

7.根据权利要求6所述的视频编码方法，其特征在于，根据当前帧图像的背景图形和上一帧图像的背景图形之间的差异修正当前帧图像的背景图形进一步包括：

统计当前编码树单元在背景块状态和非背景块状态之间转换的时间规律，根据所述时间规律预计将该编码树单元加入背景图形或从背景图形中剔除的时间。

8.一种视频编码装置，其特征在于，包括：

判断模块，用于判断当前帧图像中的每个编码树单元是否为背景块，其中，每个所述编码树单元对应一个背景块状态标志，所述背景块状态标志的不同取值分别表征所述编码树单元被判断为背景块或非背景块；

对比模块，用于对比当前帧图像与上一帧图像的背景图形，以确定当前帧图像的背景图形相比上一帧图像的背景图形中背景块状态发生变化的编码树单元的数量和定位信息，其中，所述定位信息是指背景块状态发生变化的所述编码树单元的坐标，所述背景图形由判断为背景块的编码树单元组成；以及

编码模块，用于根据所述判断模块的对比结果对当前帧图像的背景图形进行编码；具体用于，若当前帧图像的背景图形相比上一帧图像的背景图形不存在变化，则将当前帧图像的背景变化状态变量赋值为第一赋值，并仅将所述背景变化状态变量编入视频码流；若所述数量超过第一阈值但小于第二阈值，将所述定位信息编入视频码流；若所述数量超过第二阈值，将所述当前帧图像的背景图形中的所有编码树单元重置为非背景块，将当前帧图像的所述背景变化状态变量赋值为第三赋值，并仅将所述背景变化状态变量编入视频码流。

Images