CN103179402A - 一种视频压缩编码与解码方法及其装置 - Google Patents

Abstract

本发明公开了一种基于视频内容分析的视频压缩编码与解码方法，其包括：实时建立视频的背景模型，并根据背景模型对背景视频进行压缩编码；检测前景运动目标，保存前景运动目标的相关信息，并根据检测到的前景运动目标对前景视频数据进行压缩编码；将上述压缩编码后的背景视频数据和前景视频数据整合为新的视频文件；解码上述新的视频文件，将所述压缩编码后的背景视频数据和前景视频数据融合后进行视频播放。本发明建立在通用编解码方式的基础上，通过对背景与前景视频数据的分离和编码，然后生成新的视频文件。此视频文件大大降低了存储空间，提高了压缩比和视频设备的存储周期。最后通过视频解码和数据融合，可以实现视频的流畅播放。

Description

一种视频压缩编码与解码方法及其装置

技术领域

本发明涉及视频分析领域，尤其涉及一种高效的视频压缩编码与解码方法，其是一种将前景与背景分离、分别进行编码存储的视频压缩方法。

背景技术

随着多媒体信息技术的不断发展，视频信息大量涌现。视频数据作为一种表达信息的综合媒体，已成为我们现实生活中一个重要的信息载体。随着监控采像设备的日益普及，产生了海量的视频数据，视频存储是视频监控系统应用中非常重要的一个环节。海量的视频数据通常需要进行长时间的存储，才能为日后的视频录像资料检索、回放等提供服务。

最常见的存储视频数据的方法是简单地对全时段的视频原始资料进行存储。这种方式保存了大量背景信息，即保存的信息中存在很大冗余，耗费了庞大的存储成本，难以保存长时期的视频记录。因此必须将视频原始资料进行压缩存储，缩小存储空间，延长存储时效。

随着视频压缩技术的发展，出现了很多视频压缩的算法与技术，例如MPEG压缩算法，其优点是解码之后的画质比较清晰，但是该算法压缩率低，占用宽带很大；H.264压缩技术的压缩率高，但解码之后的画质相对较差，占用带宽随画面运动的复杂度而大幅变化；MPEG-1压缩技术的压缩速率高，但随着速率的提高，解码之后的图像质量有所降低；MPEG-2压缩技术的画面质量较高，但占用宽带非常大；MPEG-4更好的结合了MPEG-1和MPEG-2的优点，画面质量较高，占用存储空间较小。

目前大部分监控视频都具有如下特点：(1)大部分的监控场景中，只有很少的时间内会出现动态目标，大部分时间只有监控背景信息；(2)动态目标往往只占监控范围的小部分区域，而大部分区域为监控背景。而在实际应用当中，重点监控对象主要为动态目标，背景的图像质量，或者风吹草动等细节变化并不十分重要。

传统压缩技术仅仅根据前后帧的数据相关性进行视频压缩，不区分对待监控背景和动态目标信息，提高压缩率，会同时牺牲监控背景和动态目标的图像质量。而本专利办法将动态目标从监控背景中分离出来，对背景信息进行建模采用高比例的压缩，对动态目标采用低比例的压缩甚至不压缩，然后通过数据融合保存为一个视频压缩文件，在提高监控视频压缩率的同时保持监控目标的图像质量。

发明内容

(一)要解决的技术问题

鉴于目前的视频压缩技术的压缩较低，无法在很大程度上提高存储空间的利用率，延长存储时效，本发明公开了一种视频压缩编码与解码方法，其在通用压缩编码的基础之上，通过对视频内容进行分析，分离视频信息中的背景与前景信息，对两者分别进行编码压缩。在解码阶段，可以利用前景轨迹对背景与前景信息进行融合，从而实现视频的流畅播放。通过该方法提高了视频压缩比，更加节省存储空间，提高了视频存储的时效。同时，在视频播放时不会严重影响画面质量。

(二)技术方案

本发明提供了一种视频压缩编码与解码方法，其包括以下步骤：

步骤1：实时建立视频的背景模型，并根据背景模型对背景视频进行压缩编码；

步骤2：检测前景运动目标，保存前景运动目标的相关信息，并根据检测到的前景运动目标对前景视频数据进行压缩编码；

步骤3：将上述压缩编码后的背景视频数据和前景视频数据整合为新的视频文件；

步骤4：解码上述新的视频文件，将所述压缩编码后的背景视频数据和前景视频数据融合后进行视频播放。

本发明还提供了一种视频压缩编码与解码装置，其包括：

背景视频压缩编码模块，其实时建立视频的背景模型，并根据背景模型对背景视频进行压缩编码；

前景运动目标压缩编码模块，其检测前景运动目标，保存前景运动目标的相关信息，并根据检测到的前景运动目标对前景视频数据进行压缩编码；

融合模块，其将上述压缩编码后的背景视频数据和前景视频数据整合为新的视频文件；

解码播放模块，其解码上述新的视频文件，将所述压缩编码后的背景视频数据和前景视频数据融合后进行视频播放。

(三)有益效果

从上述技术方案可以看出，本发明具有以下有益效果：

1、本发明能够在更大程度上节省存储空间，在通用视频压缩方法的基础上，实时对视频内容进行分析，达到更高的压缩比，大大提高了视频存储的时效。

2、本发明能够通过建立背景模型检测前景运动目标，从而分离背景与前景，对背景和前景视频数据采用不同方式分别进行编码，针对各自的特点采取不同的压缩方式。

3、本发明能够在解码视频数据时，利用前景运动目标的运动轨迹将前景运动目标外接矩形框中的图像信息正确加载到背景视频信息中，使视频实现流畅播放。

附图说明

图1是本发明中视频压缩编码与解码方法的流程图；

图2是本发明中融合背景数据和运动目标的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

大部分的视频原始资料中往往存在很多冗余信息。例如，在4个小时的监控视频资料中，出现运动目标的视频时长往往很短，所占比例很小，而大部分的时间里视频所呈现出来的都是背景信息。针对视频资料的该特点，为了进一步提高存储空间的利用率，延长视频资料的存储时效，本发明提出了一种高效的视频压缩编码与解码方法。

本发明提出的视频压缩编码与解码方法包括视频压缩编码部分和视频解码部分，其中在视频压缩编码阶段，利用背景建模算法实现前、背景视频分离；在视频解码阶段，对前、背景分离的视频进行融合，实现流畅播放。

图1示出了本发明提出的视频压缩编码与解码方法的步骤流程图，下面根据附图1示出的内容分别对视频编码阶段和视频解码阶段进一步详细介绍。

视频压缩编码阶段主要包括以下三个步骤：

步骤1、实时建立视频的背景模型，并根据背景模型对背景视频进行压缩编码。

在进行背景建模之前，首先对视频中每一帧的图像进行图像预处理操作，以便提高图像的清晰度，提高建模质量。背景建模是指通过通用的背景建模算法对视频的背景信息进行建模，建立的背景模型可以适应背景中的光照变化、风吹草动等变化而做出变化。

本发明优选实施例中所采用的背景实时建模方法为基于实时更新的码本建模算法。该算法以其实时更新背景码本的特点在运动目标检测领域得到了很广泛的应用。该算法首先根据视频图像的前几帧建立背景模型码书，在背景图像的像素和码书之间建立一一对应的关系，根据每个像素点的连续采样值的颜色相似度及其亮度范围生成背景码本。根据像素采样值变化情况的不同，每个码本包含的码字个数可以不同，在背景图像提取时，根据每个像素所对应的码本中码字的颜色平均值和亮度平均值作为提取背景图像对应像素的颜色值和亮度值，从而组成背景图像，进而获得背景视频。该算法可以实现对背景信息的实时更新，对于背景中发生的光照变化、风吹草动能动态更新背景模型，而这些则不会被检测为运动目标。

该步骤中同时还需要完成对背景视频的保存，即对背景视频进行压缩编码。所述背景模型根据视频图像的不断变化而实时更新，在通过背景建模获得背景码本即参照背景之后，从实时更新得到的背景模型中提取背景图片，以视频帧的形式保存此背景图片。当实时更新的背景模型所有像素码字的变化数目达到一定阈值时，再次提取背景图片，保存图片。例如，当背景码本建立之后，提取一次背景图片，背景模型实时更新码本，当更新需要替换的像素码字数量达到30时，就再次提取并保存背景图片。最后，把所有提取的背景图片通过一定的视频压缩方式合成背景压缩视频，即完成了背景的压缩编码。

步骤2、检测运动目标，以得到压缩编码后前景视频数据。

以步骤1中所建立的背景码本作为参照背景，采用背景差分法进行运动目标的检测。在步骤2中用待检测视频图像中的像素与背景模型对应像素的码字进行比对，如果像素与对应码字的颜色相似度小于设定阈值并且像素的亮度在对应码字的亮度范围内，则认定该像素为背景像素，否则认定为前景像素。检测到运动目标之后，绘制运动目标的外接矩形。绘制外接矩形的方法是确定所检测到的运动目标的最上面和最下面像素点的纵坐标分别为top、bottom，最左面和最右面像素点的横坐标为left、right，据此可确定外接矩形的两个对角点：左上角(left，top)和右下角(right，bottom)，用该组对角点绘制外接矩形框，标记运动目标。当刚检测到运动目标即运动目标刚出现在视频中时，保存该运动目标的出现时间t0、运动目标的外接矩形框中的图像信息、外接矩形框的左上角的坐标点，此后，在检测到该运动目标的每一帧图像里，保存运动目标的外接矩形框中的图像信息、外接矩形框的左上角的坐标点，直到刚好该运动目标消失时，保存该运动目标的消失时间t1、运动目标的外接矩形框中的图像信息、外接矩形框的左上角的坐标点。因此，在视频资料的t0到t1时间段内，该运动目标一直存在在视频画面中，且当该运动目标消失时，保存了该运动目标的出现时间t0和消失时间t1、t0到t1时间段内的外接矩形框中的图像信息以及t0到t1时间段内的运动轨迹信息。

在计算运动轨迹时根据自然界中物体位移、物体变形或姿态变化等在运动过程中存在的连续性规律，判断同一个运动目标在相邻连续图像帧之间的运动关系。运动轨迹与运动目标之间存在一一对应的关系，利用这种一一对应的关系，在视频解码时将前景与背景视频数据准确融合。

上述对运动目标在t0到t1时间段内外接矩形框中的图像信息的保存所采取的方式是对前景运动目标视频的保存。对于每一个运动目标，要保存一个视频，且视频能完整的呈现其在原视频中的图像信息。所以，本方法采取的是直接取运动目标的外接矩形，然后把外接矩形内的图像信息进行保存，把单个运动目标的外接矩形作为视频帧来组成前景视频。

上述过程为编码前景视频数据。同理，对视频中的所有运动目标都进行前景视频数据编码。

在对运动目标视频进行存储时，可以对某些时间段内的视频资料采取降低帧率的方式压缩存储的方法。例如，在运动目标一直没有变化的前景视频中，对该视频资料可以采取降低帧率的方式来压缩存储，可以将原始的20fps降低到2fps来存储，可以在很大程度上节省存储空间。

步骤3、整合背景模型和前景数据，生成压缩编码后的自定义视频文件。

此步骤用于产生一个新定义的视频文件，该新定义的视频文件中包含了完整的视频信息，在解码播放时可以流畅还原播放。首先，整合得到视频配置信息，该视频配置信息包括背景视频图片的提取帧数信息、运动目标检测过程中的运动目标的数目、运动目标在视频中出现和消失的时间信息、运动目标在视频中的位置信息和运动目标轨迹等。其次，把视频配置信息作为文件头，将背景视频和前景目标视频作为文件主体，以二进制的方式重新排列数据，以DAT的格式保存排列数据，整合为一个自定义的视频文件。

以上为视频压缩编码的整个过程，下面介绍视频解码阶段。

在视频解码阶段，如图2所示，对所整合的视频文件进行解码，将前景运动目标融合到背景视频数据中，并流畅地播放视频。

当对视频资料压缩编码之后，在回放视频资料时需要将所存储的信息进行解码才能还原原始视频信息。第一步需要完成的就是对自定义视频文件的解码：

首先，对以上产生的DAT格式文件进行拆分，把自定义的视频文件拆分成合成之前的几部分，包括背景视频文件、前景运动目标视频文件、视频配置信息(其中包括运动目标的信息)。

其次，对背景视频数据进行解码。从拆分得到的背景视频文件中读取视频帧，而视频帧中的图片则就是通过背景建模所提取出的原视频背景图片。根据视频配置信息中的背景图片提取帧数信息，在播放的不同阶段，在恰当的播放帧数(或时间)读取不同的视频图片作为还原视频的背景图像。

最后，对前景视频数据进行解码。解码得到前景视频信息之后需要在背景视频信息中添加前景视频数据。由于在编码阶段，在视频配置信息中存储了运动目标信息，包括运动目标的外接矩形框中的图像信息、运动目标的运动轨迹、运动目标在视频中出现和消失时间等信息，因此解码前景视频时，在运动目标出现的时间段内，根据运动目标轨迹的坐标点，在对应帧的背景信息的相应坐标点上加载所存储的相应的运动目标外接矩形框中的图像信息，通过在背景信息中加载外接矩形框中的图像信息，得到的是一帧完整的图像信息。

在解码所有前景视频数据之后，播放时就得到了完整流畅的视频。在播放完成之后，可以对拆分的各种视频和其相关信息，再次进行整合，得到自定义的视频信息。

在上述视频编码压缩和解码方法中，对背景采取的建模方式是实时更新的码本建模方法，并且实时记录码本更新的变化信息。在背景建模后，通过码本的变化提取背景图片，把不断更新后提取的码本图片作为图像帧保存在背景视频中。通过码本的背景建模方法可以检测到前景运动目标，本发明为检测到的运动目标绘制外接矩形框，分离背景与前景，并保存外接矩形框中的图像信息，以此图像信息为图像帧保存在前景视频中。同时在检测运动目标时，计算并保存运动目标的运动轨迹，保存运动目标的出现和消失时间信息。整合视频文件和运动目标相关信息为一个新定义的视频文件。在播放时，对新视频文件进行解码，通过运动目标信息对前景视频内容和背景视频内容进行数据的融合，从而达到流畅的播放。

本发明试验过程中采用视频原始资料为帧率为15fps、时长为73秒、视频大小为161M、格式为avi的监控视频，在该视频资料中，没有出现运动目标信息的视频段4段，持续时长大约45秒，出现运动目标的视频段3段，持续时长大约28秒，有运动目标的视频分段大约占整个视频分段的38％。

经过对背景视频数据的压缩编码和对前景视频数据的编码，得到了大小为454KB的压缩视频数据，相比原来的161M的数据，至少节省了160M的空间，压缩比达到了99.73％。从该数据可以看出，采用本文所发明的一种视频压缩方法，能够大大提高视频压缩比，极大地节省存储空间，在很大程度上延长了视频资料的存储时效。

综合以上几个步骤，此实例证明，本发明提供的一种视频压缩编码与解码方法简明有效，在通用压缩方法的基础上，对视频内容进行分析，采用适当的方法对视频内容进行存贮，在很大程度上节省视频存储空间，提高视频存储的时效。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种视频压缩编码与解码方法，其包括以下步骤：

步骤1：实时建立视频的背景模型，并根据背景模型对背景视频进行压缩编码；

步骤2：检测前景运动目标，保存前景运动目标的相关信息，并根据检测到的前景运动目标对前景视频数据进行压缩编码；

步骤3：将上述压缩编码后的背景视频数据和前景视频数据整合为新的视频文件；

步骤4：解码上述新的视频文件，将所述压缩编码后的背景视频数据和前景视频数据融合后进行视频播放。

2.根据权利要求1所述的视频压缩编码与解码方法，其特征在于，基于实时更新的背景建模方法建立背景模型。

3.根据权利要求1所述的视频压缩编码与解码方法，其特征在于，所述步骤1中所述背景模型实时更新，当其变化达到一定阈值时，从所建立的当前背景模型中提取背景图片，以视频帧的形式保存所提取的背景图片，最后将所有背景图片合成为压缩编码后的背景视频。

4.根据权利要求1所述的视频压缩编码与解码方法，其特征在于，步骤2中检测到前景运动目标后，为每一帧图像绘制该前景运动目标的外接矩形，记录该矩形中心点在当前图像帧中的位置，并获得该前景运动目标的外接矩形内的图像信息。

5.根据权利要求4所述的视频压缩编码与解码方法，其特征在于，步骤2中还检测所述前景运动目标的出现时间和消失时间。

6.根据权利要求4所述的视频压缩编码与解码方法，其特征在于，步骤2中还包括保存所述外接矩形中的视频帧作为前景运动目标视频。

7.根据权利要求1所述的视频压缩编码与解码方法，其特征在于，步骤3中具体包括：

步骤31：整合得到视频配置信息，所述视频配置信息包括背景视频图片的提取帧数信息、所检测到的运动目标的数目、运动目标在视频中出现和消失的时间、运动目标在视频中的位置信息和运动目标的轨迹；

步骤32：整合背景视频和前景运动目标视频数据；

步骤33：将所述视频配置信息作为文件头，整合得到的视频信息作为文件主体，得到整合后的新的视频文件。

8.根据权利要求1所述的视频压缩编码与解码方法，其特征在于，所述步骤4具体包括：

步骤41：将所述整合的新的视频文件拆分成背景视频文件、前景运动目标视频文件和视频配置信息文件；

步骤42：对背景视频进行解码，并读取背景视频中的视频帧；

步骤43：对前景运动目标视频进行解码后，读取前景运动目标并将前景运动目标加载在所述背景视频的视频帧中进行播放。

9.一种视频压缩编码与解码装置，其包括：

背景视频压缩编码模块，其实时建立视频的背景模型，并根据背景模型对背景视频进行压缩编码；

前景运动目标压缩编码模块，其检测前景运动目标，保存前景运动目标的相关信息，并根据检测到的前景运动目标对前景视频数据进行压缩编码；

融合模块，其将上述压缩编码后的背景视频数据和前景视频数据整合为新的视频文件；

解码播放模块，其解码上述新的视频文件，将所述压缩编码后的背景视频数据和前景视频数据融合后进行视频播放。

Images