CN111901603A - 一种用于静态背景视频的编码方法及解码方法 - Google Patents

Abstract

本发明属于编解码的技术领域，公开了一种用于静态背景视频的编码方法，以是否包含感兴趣目标，对静态背景视频的所有帧图像进行分类，将包含感兴趣目标的图像中的感兴趣目标分割出来单独编码，而不包含感兴趣目标的图像则采用跳帧编码。还公开了一种用于静态背景视频的解码方法。本发明的方法能够对静态背景视频编码，极大的提高了静态背景视频压缩率，同时也极大的提高感兴趣目标区域图像的清晰度，从而更好的解决了静态背景视频的存储和后期分析的需要。

Description

一种用于静态背景视频的编码方法及解码方法

技术领域

本发明属于视频编解码的技术领域，具体涉及一种用于静态背景视频的编码方法及解码方法。

背景技术

静态背景视频是指有固定背景，活动目标不多的视频，如各种监控场景视频，工业生产与检测视频等应用。在静态背景视频中，感兴趣区域(ROI,region of interest)编码是静态背景视频应用的关键技术。

现有的视频监控ROI编码方法为：首先在图像区域选择前景区域和背景区域，以及用户选择的前景区域图像质量等级；然后视频监控编解码系统根据前景区域图像质量等级确定前景区域和背景区域的码率分配比例，并根据该码率分配比例分配前景区域和背景区域的码率；视频监控编解码系统还可以根据前景区域和背景区域的码率，分别对前景区域和背景区域进行灵活宏块次序FMO编码，这样有效了提高了前景区域的清晰度。更高级的ROI编码方法能够在图像区域自动检测感兴趣目标区域。

这些ROI编码方法都是基于传统的视频编码标准(MPEG-2，H264，H265等)算法，只是将一帧图像分为感兴趣区域和非感兴趣区域，然后在码率分配时加大对感兴趣区域的码率分配，减小对非感兴趣区域的码率分配，这样提高了感兴趣目标区域的清晰度，但是非感兴趣区域和没有感兴趣目标的图像还需要进行码率分配和编码，这样也就浪费了大量编码码流。

发明内容

本发明提供了一种用于静态背景视频的编码方法及解码方法，解决了现有ROI编码方法仍会对非感兴趣区域和没有感兴趣目标的图像还需要进行码率分配和编码，浪费了大量编码码流等问题。

本发明可通过以下技术方案实现：

一种用于静态背景视频的编码方法，以是否包含感兴趣目标，对静态背景视频的所有帧图像进行分类，将包含感兴趣目标的图像中的感兴趣目标分割出来单独编码，而不包含感兴趣目标的图像则采用跳帧编码。

进一步，包括以下步骤：

步骤一、将静态背景视频中包含感兴趣目标的图像划分为目标帧，不包含感兴趣目标的图像划分为背景帧；

步骤二、将每个目标帧中各个感兴趣目标对应的区域分割出来，单独进行编码，其余区域不编码，形成目标帧编码流，对背景帧采用跳帧编码，形成背景帧编码流；

步骤三、将目标帧编码流和背景帧编码流按照静态背景视频中每帧对应的时间顺序排列，形成完整的视频编码流。

进一步，在将感兴趣目标对应的区域分割出来时，记录对应的个数、位置和大小。

进一步，对于背景帧采用每隔N帧编码，即进行编码的两帧图像之间的N帧图像不进行编码，N为大于1的自然数，记录不编码的N帧图像对应帧类型和帧序号。

一种基于上文所述的用于静态背景视频的解码方法，包括以下步骤：

步骤①、对背景帧编码流进行解码，并按照就近原则，用已经解码的背景帧将间隔的图像补全，形成背景帧图像集；

步骤②、对目标帧编码流进行解码，用最近的背景帧作为目标帧的背景，将解码出来的目标图像与之相融合，重建还原成完整的目标帧图像，形成目标帧图像集；

步骤③、将目标帧图像集和背景帧图像集按照视频编码流中每帧对应的时间顺序排列，形成完整的静态背景视频输出。

进一步，对目标帧进行解码，获得感兴趣目标图像、以及其对应的个数、位置和大小，将各个感兴趣目标图像按照其对应位置、大小融合到最近的背景帧中，重建还原成完整的目标帧图像。

本发明有益的技术效果在于：

1.本发明的方法只对感兴趣的目标区域编码，编码区域极大减小，因此压缩率很大；不管是2K，还是4K和8K超高清视频，编码区域都非常小，压缩码流存储占用极低，这样目前存储系统就很容易做到6～12个月的存储时间。

2.本发明的方法只对感兴趣的目标区域编码，不管是2K，还是4K和8K超高清视频，编码区域都非常小，因此编码复杂度也非常小，编码速度就非常高，因此本发明的方法对于4K和8K等超高清视频扩展性能好。

3.本发明的方法只对感兴趣的目标区域编码，所有的码率都用在有意义或者感兴趣的目标上，因此目标区域图像还原清晰度高，让用户看清楚有意义的内容和目标。

附图说明

图1是本发明的编码过程总体流程示意图；

图2为本发明的解码过程总体流程示意图。

具体实施方式

众所周知，I帧即I frame又称为帧内图像intra picture，I帧通常是每个GOP(Group of Pictures，所谓GOP，意思是画面组，一个GOP就是一组连续的画面)的第一个帧，它不参考其他图像进行独立编码，因此I帧编码后码流的数据量特别大，但是可作为随机访问的参考图像。在静态背景视频中，不管视频中图像是否包含感兴趣目标区域，不管背景图像是否发生变化，现有的编码方法都需要定期对图像进行I帧编码，这样不包含感兴趣目标的不变的背景图像使用I帧编码将浪费大量的码流。因此，本发明提供了一种用于静态背景视频的编码方法和解码方法，只编码感兴趣目标区域，其他区域不编码，即以是否包含感兴趣目标，对静态背景视频的图像帧进行分类，将包含感兴趣目标的图像帧中的感兴趣目标分割出来单独编码，而不包含感兴趣目标的图像帧则采用跳帧编码，这样将极大节省了编码码流的数据量，同时全部码率完全用于感兴趣目标区域将极大提高感兴趣目标区域的清晰度。

以下先讲述编码方法，如图1所示，具体包括以下步骤：

1.划分图像帧类型

对于输入的静态背景视频，先检测每帧图像是否包含感兴趣目标区域。我们将包含感兴趣目标区域的图像称为目标帧,将不包含感兴趣目标区域的图像称为背景帧，如果是目标帧，还有获得感兴趣目标对应区域的数量，位置和区域大小；

2.目标帧编码

对于目标帧，只编码感兴趣目标区域，其他区域不编码，形成目标帧编码流，同时在码流中还要记录感兴趣目标对应区域的数量、位置和区域大小等信息；

3.背景帧编码

对于背景帧，采用跳帧编码，跳帧间隔可以用户设定，也自动调整，如用户设定每隔N帧背景帧后再编码新的背景帧；编码帧独立编码，采用不相互参考的编码方式，例如采用已有视频编码标准(MPEG-2，H264，H265等)中的I帧形式，也可以采用JPEG，MJPEG等图片编码格式；

4.根据上面方法，按照视频中每帧的时间顺序，一帧一帧编码，形成完整视频编码流进行传输或者存储。

本发明还提供了一种基于上文所述的用于静态背景视频的解码方法，如图2所示，具体包括以下步骤：

步骤①、对背景帧编码流进行解码，并按照就近原则，用已经解码的背景帧将间隔的图像补全，形成背景帧图像集；

可以用前一帧或者后一帧解码出来的图像将间隔的图像补全，或者一半用前一帧解码出来的图像，另一半用后一帧解码出来的图像补全，具体根据实际情况而定。

步骤②、对目标帧编码流进行解码，用最近的背景帧作为目标帧的背景，将解码出来的目标图像与之相融合，重建还原成完整的目标帧图像，形成目标帧图像集；如果找不到最近解码出来的背景帧图像，则背景图像使用Y、U、V分别为128值(或者R、G、B分别为128值)形成的图像替代；

步骤③、将目标帧图像集和背景帧图像集按照视频编码流中每帧对应的时间顺序排列，形成完整的静态背景视频输出。当然，为了节省存储空间，方便查看，可以仅将目标帧图像集按照视频编码流中每帧对应的时间顺序排列，形成对应的静态背景视频输出，背景帧图像集可以不输出。

以下用具体实施例详细说明编解码过程：

假设有一段10000帧的静态背景视频，图像大小1920x1080(或者3840x2160，7680x4320，……)，假设帧率F为25(或者30，50，60，……)fps，感兴趣目标为人，汽车，视频中感兴趣目标区域如下：

a)从第50帧开始，发现人目标，矩形目标区域的左上点坐标(90，80)，右下点坐标(200，150)，并且每帧向右移动1个像素。第1770帧后开始移出，第1880帧完全消失，人在图像中停留了71.2秒。

b)从第500帧开始，发现汽车目标，矩形目标区域的左上点坐标(30，200)，右下点坐标(500，450)，并且每帧向右移动4个像素。第855帧后开始移出，第972帧完全消失，人在图像中停留了18.9秒

编码过程如下：

1.划分图像帧类型

第1帧～第49帧是背景帧；第50帧～第1880帧是目标帧；第1881帧～第10000帧是背景帧。在目标帧，感兴趣目标的属性如下：

a)第50帧～第499帧只有一个感兴趣目标区域，矩形目标区域的左上点坐标(90，80)，右下点坐标(200，150)，并且每帧向右移动1个像素。

b)第500帧～第971帧有两个感兴趣目标区域，“人”目标的矩形目标区域的左上点坐标(540，80)，右下点坐标(650，150)，并且每帧向右移动1个像素；从第500帧开始，“汽车”目标的矩形目标区域的左上点坐标(30，200)，右下点坐标(500，450)，并且每帧向右移动4个像素。第855帧后开始移出，第972帧完全消失。

c)第972帧～第1880帧只有一个感兴趣目标区域，矩形目标区域的左上点坐标(1012，80)，右下点坐标(1122，150)，并且每帧向右移动1个像素。

2.目标帧编码

从第50帧～第499帧只编码1个目标区域；从第500帧～第971帧编码两个感兴趣目标区域；从第972帧～第1880帧只编码一个个感兴趣目标区域。感兴趣目标区域矩形由左上角点和右下角点坐标定义，由于只编码感兴趣目标区域，其他区域不编码，同时在码流中还要记录感兴趣目标区域的数量，位置和区域大小等信息；

3.背景帧编码

由于从第1帧～第49帧和第1881帧～第10000帧是背景帧，可以对第1帧作为背景帧进行编码，每隔N(假设为5000)帧背景帧后再对第6830帧作为背景帧进行编码，形成目标帧码流。背景帧可以采用视频编码标准(MPEG-2，H264，H265等)中的I帧形式编码，也可以采用JPEG，MJPEG等图片格式编码；

4.顺序逐帧编码

根据上面方法，按照视频中每帧的时间顺序，一帧一帧编码，形成完整视频码流进行传输或者存储。具体编码顺序为：第1帧编码为背景帧，第2帧～第49帧不编码；从第50帧～第1880帧每帧分别编码为目标帧；第1881帧～第6829帧不编码；第6830帧编码为背景帧；第6830帧～第1000帧不编码；对于不编码的背景帧，只记录该帧类型和帧序号等信息。

解码过程如下：

1.根据编码流信息获得图像帧类型

根据编码流信息，获得图像帧类型：第1帧为背景帧需要解码，第2帧～第49帧不要解码；从第50帧～第1880帧为目标帧需要解码；第1881帧～第6829帧不要解编码；第6830帧为背景帧需要解；第6830帧～第10000帧不需要解码；

2.目标帧解码

从第50帧～第1880帧为目标帧需要解码，重建还原感兴趣目标区域图像；

3.背景帧解码

第1、6830帧为背景帧，需要解码，重建还原背景图像；

4.顺序逐帧解码

根据上面方法，按照视频中每帧的时间顺序，一帧一帧解码，形成完整图像输出。具体解码顺序为：第1帧解码为背景帧并输出，第2帧～第49帧不解码，输出就近解码的背景帧，即第1帧的背景帧；从第50帧～第1880帧作为目标帧，解码重建还原感兴趣目标区域图像，然后与最近解码的背景帧进行融合，即用感兴趣目标区域图像替换最近解码的背景图像即第1帧的背景帧中相应位置的区域图像，组成完整的目标帧图像输出；第1881帧～第6829帧不解码；输出就近解码的背景帧，即第1帧的背景帧；第6830帧解码为背景帧并且输出；第6830帧～第10000帧不解码,输出就近解码的背景帧，即第6830帧的背景帧。

本发明的方法能够对静态背景视频编码，极大的提高了静态背景视频压缩率，同时也极大的提高感兴趣目标区域图像的清晰度，从而更好的解决了静态背景视频的存储和后期分析的需要。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (6)

1.一种用于静态背景视频的编码方法，其特征在于：以是否包含感兴趣目标，对静态背景视频的所有帧图像进行分类，将包含感兴趣目标的图像中的感兴趣目标分割出来单独编码，而不包含感兴趣目标的图像则采用跳帧编码。

2.根据权利要求1所述的用于静态背景视频的编码方法，其特征在于包括以下步骤：

步骤一、将静态背景视频中包含感兴趣目标的图像划分为目标帧，不包含感兴趣目标的图像划分为背景帧；

步骤二、将每个目标帧中各个感兴趣目标对应的区域分割出来，单独进行编码，其余区域不编码，形成目标帧编码流，对背景帧采用跳帧编码，形成背景帧编码流；

步骤三、将目标帧编码流和背景帧编码流按照静态背景视频中每帧对应的时间顺序排列，形成完整的视频编码流。

3.根据权利要求2所述的用于静态背景视频的编码方法，其特征在于：在将感兴趣目标对应的区域分割出来时，记录对应的个数、位置和大小。

4.根据权利要求2所述的用于静态背景视频的编码方法，其特征在于：对于背景帧采用每隔N帧编码，即进行编码的两帧图像之间的N帧图像不进行编码，N为大于1的自然数，记录不编码的N帧图像对应帧类型和帧序号。

5.一种基于权利要求1所述的用于静态背景视频的编码方法的解码方法，其特征在于包括以下步骤：

步骤①、对背景帧编码流进行解码，并按照就近原则，用已经解码的背景帧将间隔的图像补全，形成背景帧图像集；

步骤②、对目标帧编码流进行解码，用最近的背景帧作为目标帧的背景，将解码出来的目标图像与之相融合，重建还原成完整的目标帧图像，形成目标帧图像集；

步骤③、将目标帧图像集和背景帧图像集按照视频编码流中每帧对应的时间顺序排列，形成完整的静态背景视频输出。

6.根据权利要求5所述的用于静态背景视频的解码方法，其特征在于：对目标帧进行解码，获得感兴趣目标图像、以及其对应的个数、位置和大小，将各个感兴趣目标图像按照其对应位置、大小融合到最近的背景帧中，重建还原成完整的目标帧图像。

Images