CN101742319A - 基于背景建模的静态摄像机视频压缩方法与系统 - Google Patents

基于背景建模的静态摄像机视频压缩方法与系统 Download PDF

Info

Publication number
CN101742319A
CN101742319A CN 201010034117 CN201010034117A CN101742319A CN 101742319 A CN101742319 A CN 101742319A CN 201010034117 CN201010034117 CN 201010034117 CN 201010034117 A CN201010034117 A CN 201010034117A CN 101742319 A CN101742319 A CN 101742319A
Authority
CN
China
Prior art keywords
image
video
background image
background
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010034117
Other languages
English (en)
Other versions
CN101742319B (zh
Inventor
黄铁军
张贤国
梁路宏
黄倩
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN 201010034117 priority Critical patent/CN101742319B/zh
Publication of CN101742319A publication Critical patent/CN101742319A/zh
Application granted granted Critical
Publication of CN101742319B publication Critical patent/CN101742319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于背景建模的静态摄像机视频压缩方法与系统。该方法包括:对输入的视频序列,选取一个训练图像集,建模生成背景图像;采用编码器,对所述背景图像进行编码压缩,生成背景图像码流;采用解码器,对所述背景图像码流进行解码重构,以获取重构的背景图像;对所述输入视频序列中的图像和所述重构的背景图像进行差分,计算差分结果,依据所述差分结果获取差分图像;对所述差分图像进行编码压缩。本发明利用视频序列场景固定的特点,通过建立和更新描述了视频中相对固定的场景的模型,对视频的固定场景部分和其余部分分别进行压缩处理,以更大程度上消除视频序列中的冗余,获得更好的压缩性能。

Description

基于背景建模的静态摄像机视频压缩方法与系统
技术领域
本发明涉及数字媒体处理技术领域中的视频压缩技术,尤其涉及一种基于背景建模的静态摄像机视频压缩方法与系统。
背景技术
视频压缩(也称为视频编码)是数字媒体存储与传输等应用中的关键技术之一,其目的是通过消除冗余信息来减少存储与传输中的数据量。当前所有的主流视频压缩标准都采用了基于块的预测变换混合编码框架,即通过预测、变换、熵编码等方法消除视频图像中的统计冗余(包括空间冗余、时间冗余和信息熵冗余),以达到减少数据量的目的。目前大多数视频压缩技术是面向非特定的应用,即适用于包括数字电视、网络视频、移动视频等等多种应用。近年来,随着数字视频应用范围的扩展,针对专门应用(如视频监控)的特点和特殊需求开发视频压缩技术,成为倍受关注的研究方向。
以视频监控应用为例,系统中绝大多数摄像机都采用固定位置部署。系统中的摄像机分两类,一类为静态摄像机,它们的指向和焦距固定;另一类为PTZ摄像机,但也在大部分时间里采用静态工作方式(即指向和焦距固定不变)。静态摄像机以及静态方式工作的PTZ摄像机(以下统称为“静态摄像机”)采集的视频具有场景固定、没有镜头切换的特点。对于视频监控应用,采集的视频还具有时间较长的特点。合理地利用这些先验知识,可以进一步消除视频中的信息冗余,从而获得更好的压缩性能。
基于对象的视频压缩方法,采用背景建模、对象检测、对象跟踪等技术,将视频中的各个对象分离出来,通过对不同的对象采取不同的压缩方式,进一步挖掘视频中的信息冗余,从而提高压缩效率。基于对象的视频压缩方法可以用于静态摄像机采集的视频的压缩,但也存在两个问题:其一,视频中的对象检测与分割仍然是计算机视觉和图像处理领域中一个未解决的问题,现有方法在检测、分割的正确率和准确率方面仍不够理想,成为向对象的视频压缩方法的一个瓶颈;其二,上述对象检测与分割方法的计算复杂性较高,不利于编码器的实现。
视频前景/背景分割是与对象检测与分割类似的问题,一般采用建立背景模型的方法如建立背景,再分离出前景。在此基础上,可以进一步采取对前景和背景分别编码的方法提高压缩效率。然而,显式地进行视频前景/背景分割面临着与对象检测与分割类似的困难。
发明内容
本发明的目的在于提供一种基于背景建模的静态摄像机视频压缩方法与系统,基于本发明,能够利用视频序列场景固定的特点,通过建立和更新描述了视频中相对固定的场景的模型,对视频的固定场景部分和其余部分分别进行压缩处理,以更大程度上消除视频序列中的冗余,获得更好的压缩性能。
本发明一种基于背景建模的静态摄像机视频压缩方法,包括:背景建模步骤,对输入的视频序列,选取一个训练图像集,建模生成背景图像;背景图像编码步骤,采用编码器,对所述背景图像进行编码压缩,生成背景图像码流;重构步骤,采用解码器,对所述背景图像码流进行解码重构,以获取重构的背景图像;差分图像计算步骤,对所述输入视频序列中的图像和所述重构的背景图像进行差分,计算差分结果,依据所述差分结果获取差分图像;差分图像编码步骤,对所述差分图像进行编码压缩。
上述视频压缩方法,优选所述背景建模步骤中,还包括:背景更新步骤,定期重新选取所述输入视频序列中的训练图像集以更新生成的所述背景图像。
上述视频压缩方法,优选所述背景更新步骤中,将所述输入的视频序列被划分为多个首尾相接的视频段,每一视频段使用同一幅重构的背景图像来计算差分图像;利用当前视频段中的图像生成背景图像,用于编码下一个视频段;对第一个视频段,对指定数目图像进行编码,以生成背景图像,该背景图像用于编码所述第一视频段中其余的图像。
上述视频压缩方法,优选所述重构步骤中采用的解码器与所述与背景图像编码步骤中的编码器相对应。
上述视频压缩方法,优选所述差分图像计算步骤中,还包括:取值变换步骤,对所述差分结果的取值范围进行变换,以使差分图像的格式符合所述差分图像编码步骤中的编码格式。
另一方面,本发明还提供了一种基于背景建模的静态摄像机视频压缩系统,包括:背景建模模块,用于对输入的视频序列,选取一个训练图像集,建模生成背景图像;背景图像编码模块,用于采用编码器,对所述背景图像进行编码压缩,生成背景图像码流;重构模块,用于采用解码器,对所述背景图像码流进行解码重构,以获取重构的背景图像;差分图像计算模块,用于对所述输入视频序列中的图像和所述重构的背景图像进行差分,计算差分结果,依据所述差分结果获取差分图像;差分图像编码模块,用于对所述差分图像进行编码压缩。
上述视频压缩系统,优选所述背景建模模块中,还包括背景更新单元,用于定期重新选取所述输入视频序列中的训练图像集以更新生成的所述背景图像。
上述视频压缩系统,优选所述背景更新单元中,将所述输入的视频序列被划分为多个首尾相接的视频段,每一视频段使用同一幅重构的背景图像来计算差分图像;利用当前视频段中的图像生成背景图像,用于编码下一个视频段;对第一个视频段,对指定数目图像进行编码,以生成背景图像,该背景图像用于编码所述第一视频段中其余的图像。
上述视频压缩系统,优选所述重构模块中采用的解码器与所述与背景图像编码模块中的编码器相对应。
上述视频压缩系统,优选所述差分图像计算步骤中,还包括:取值变换单元,对所述差分结果的取值范围进行变换,以使差分图像的格式符合所述差分图像编码步骤中的编码格式。
本发明与基于对象的视频压缩方法以及基于前景/背景分割的视频压缩方法的区别在于:一方面仅仅使用计算复杂度低且技术上更为成熟的背景模型及差分方法描述场景,避免了对象或前景/背景的分割;另一方面,仍然以块为单位进行编码,可以重复使用已有的编码技术。因而,显著的提高了压缩效率。
本发明的有效性由如下实验结果证明:在8个3000帧标清(720×576)或CIF(352×288)的室内/室外场景的静止摄像机序列上,与通用配置的H.264/AVC编码系统进行比较,在标清视频上具有1.20~2.65dB的性能增益,对应于36.1%~68.0%的码率节省;在CIF视频上具有1.30~2.90dB的性能增益,对应于37.1%~91.0%的码率节省。并且,本发明除了能够提高编码性能,还具有不增加编码延迟,以及码流本身包含了背景图像,有利于进一步处理的优点。
附图说明
图1为本发明基于背景建模的静态摄像机视频压缩方法实施例的步骤流程图;
图2为本发明基于背景建模的静态摄像机视频压缩方法中,视频序列结构示意图;
图3为本发明基于背景建模的静态摄像机视频压缩方法中,最终编码的码流结构图;
图4为本发明基于背景建模的静态摄像机视频压缩系统实施例的结构示意图;
图5为本发明基于背景建模的静态摄像机视频压缩系统实施例与解码装置相结合的结构示意图;
图6为8个用于测试的序列的场景;
图7a为图6中,6b场景的率失真曲线;
图7b为图6中,6g场景的率失真曲线。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明针对静态摄像机采集的视频序列提出了一种高效的压缩方法和相应的系统。这种方法和系统利用上述视频序列场景固定的特点,通过建立和更新描述了视频中相对固定的场景的模型,对视频的固定场景部分和其余部分分别进行压缩处理,从而更大程度上消除视频序列中的冗余,获得更好的压缩性能。基于背景建模的静态摄像机视频压缩方法实施例
基于背景建模的静态摄像机视频压缩方法的基本思想如下:使用背景图像和差分图像来分别描述视频图像的固定场景信息和其余部分的信息,分别使用传统编码器压缩这些背景图像和差分图像。其中,背景图像利用原始输入视频图像经过背景建模得到,而差分图像由输入图像和重构的背景图像经过差分计算得到。
参照图1,图1为本发明基于背景建模的静态摄像机视频压缩方法实施例的步骤流程图,包括如下步骤:
背景建模步骤110,对输入的视频序列,选取一个训练图像集,建模生成背景图像;背景图像编码步骤120,采用编码器,对所述背景图像进行编码压缩,生成背景图像码流;重构步骤130,采用解码器,对所述背景图像码流进行解码重构,以获取重构的背景图像;差分图像计算步骤140,对所述输入视频序列中的图像和所述重构的背景图像进行差分,计算差分结果,依据所述差分结果获取差分图像;差分图像编码步骤150,对所述差分图像进行编码压缩。
上述背景建模步骤110从原始输入视频中选择的一个训练图像集,通过背景建模算法生成背景图像。为了适应长时间视频采集过程中场景的变化(如光照等),背景建模步骤中,还包括背景更新步骤,定期重新选取训练图像集、进行背景建模、更新背景图像以提高编码质量;其中,背景更新步骤依据图2所示的序列结构确定训练图像集。
下面对图2进行具体的说明:输入的视频序列被划分为多个首尾相接的视频段,每一视频段使用同一幅重构的背景图像来计算差分图像;利用当前视频段中的图像生成背景图像,用于编码下一个视频段;对第一个视频段,对指定数目图像进行编码,以生成背景图像,该背景图像用于编码所述第一视频段中其余的图像。也就是说,一个视频段是一段较长的输入视频序列(几百帧或更长),整个输入视频序列可以看作是由一个个首尾相接的视频段构成。每个视频段使用同一幅重构的背景图像计算差分图像。在编码时,背景建模模块从当前视频段中选取训练图像集,进行背景建模并生成一幅背景图像,供下一个视频段编码使用。从另一个角度看,当前视频段编码时,使用的是在前一个视频段编码的同时生成的背景图像,因此,整个编码方法不会因为背景图像的生成而带来额外的延迟。
背景图像编码步骤120中,对背景图像使用传统的视频/图像压缩技术进行压缩。可以独立地使用有损或无损的、图像或视频的编码方法编码每一幅背景图像;也可以把所有背景图像看作一个序列,使用传统的视频编码算法如MPEG-1/2/4、H.263、H.264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG进行编码。参照图3,图3为本发明基于背景建模的静态摄像机视频压缩方法中,最终编码的码流结构图。
重构步骤130中,采用与背景图像编码步骤120相对应的解码器,将已编码的背景图像解码重构,用于计算差分图像,从而保证编解码匹配。
差分图像计算步骤140中,将输入的视频图像与重构的背景图像进行差分计算,并且通过对于差分结果的取值范围进行变换,保证得到的差分图像的格式符合差分图像编码模块的输入格式,例如保证差分图像的位深度与差分图像编码模块所要求的一致。
差分图像编码步骤150中,对差分图像使用传统的视频/图像压缩技术进行压缩。实现技术包括但不限于MPEG-1/2/4、H.263、H.264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG。
另外,差分图像码流和背景图像码流可以复合在一起传输,也可以在不同信道分别传输。
上述实施例利用视频序列场景固定的特点,通过建立和更新描述了视频中相对固定的场景的模型,对视频的固定场景部分和其余部分分别进行压缩处理,以更大程度上消除视频序列中的冗余,获得更好的压缩性能。
在8个3000帧标清(720×576)或CIF(352×288)的室内/室外场景的静止摄像机序列上,与通用配置的H.264/AVC编码系统进行比较,在标清视频上具有1.20~2.65dB的性能增益,对应于36.1%~68.0%的码率节省;在CIF视频上具有1.30~2.90dB的性能增益,对应于37.1%~91.0%的码率节省。并且,本发明除了能够提高编码性能,还具有不增加编码延迟,以及码流本身包含了背景图像,有利于进一步处理的优点。
需要指出的是,视频监控只是静态摄像机采集视频的典型应用之一,其它使用静态摄像机采集视频的应用还包括视频会议、智能房间等等,这些应用场景的视频具有同样的特点,可以采用相同的技术提高视频压缩效率。
基于背景建模的静态摄像机视频压缩系统实施例
参照图4,图4为本发明基于背景建模的静态摄像机视频压缩系统实施例的结构示意图。包括:背景建模模块40,用于对输入的视频序列,选取一个训练图像集,建模生成背景图像;背景图像编码模块42,用于采用编码器,对所述背景图像进行编码压缩,生成背景图像码流;重构模块44,用于采用解码器,对所述背景图像码流进行解码重构,以获取重构的背景图像;差分图像计算模块46,用于对所述输入视频序列中的图像和所述重构的背景图像进行差分,计算差分结果,依据所述差分结果获取差分图像;差分图像编码模块48,用于对所述差分图像进行编码压缩。
参照图5,图5为本发明基于背景建模的静态摄像机视频压缩系统实施例与解码装置相结合的结构示意图。图5包括位于虚线左侧的视频压缩系统和位于虚线右侧的解码装置,视频压缩系统包括接收输入视频序列的连背景建模模块51、接收所述背景建模模块输出的背景图像的背景图像编码模块52、连接所述视频编码模块的重构模块53、接收输入视频序列和视频解码模块输出的重构背景图像的差分图像计算模块54、接收差分图像输入的差分图像编码模块55。解码装置包括连接所述背景图像编码模块的背景图像解码模块56、连接所述差分图像编码模块的差分图像解码模块57、连接所述背景图像解码模块和差分图像解码模块并生成输出图像序列的差分图像补偿模块58。下面对各个模块的功能作用进行详细的描述。
背景建模模块51,对输入的视频序列,选取一个训练图像集,建模生成一幅背景图像传递给视频编码模块3进行压缩。在第一个背景图像生成之前,该模块的输出为0。以亮度分量为例,所用建模方法包含但不局限于基于mean-shift算法的背景建模方法。
下面,对mean-shift算法进行详细的说明。
首先,输入:训练图像集T={fi(x,y)},其中fi(x,y)是视频段中训练图像集的一幅图像,i=1~N,N为训练图像集的大小。
第二、初始化:用于聚类和mean-shift算法过程的聚类数Nc,阈值Tc,背景图像Bg,像素位置(x,y)处的像素值为Bg(x,y)
第三、建模:
对于每个像素位置(x,y)
1.建立像素集合S={Ii|i=1~N},其中Ii=fi(x,y)是选练图像集T的第i幅图像在位置(x,y)处的亮度像素值。
2.使用k-mean算法将S划分为Nc类。
3.对于k=1∶Nc
3.1.为第k个聚类计算平均值mk(x,y)
3.2.从mk(x,y)开始,在集合S中完成一个mean shift算法过程,并得到收敛值ck(x,y);
4.对于k=1∶Nc
4.1计算
wk(x,y)=|U|,U={cj(x,y)|ck(x,y)-Tc≤cj(x,y)≤ck(x,y)+Tc,j=1~Nc},
其中|U|表示U集合中的元素数。
5.令Bg(x,y)=ck(x,y),其中 k = arg max k { w k ( x , y ) | k = 1 ~ Nc } ;
输出:背景图像Bg。
与背景图像更新所需的序列结构相对应,每当输入一个训练图像集,便重新进行背景建模,生成一幅背景图像,完成背景图像更新。色度分量的建模过程是相同的。
背景图像编码模块52,对背景建模模块生成的背景图像进行编码压缩,把编码结果写入码流并传递给背景图像重构模块。编码所用的编码器包含但不局限于MPEG-1/2/4、H.263、H.264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG。编码器的配置包含但不局限于独立帧内编码每幅背景图像、将所有背景图像视作背景图像序列使用IPPP结构编码以及无损压缩每幅背景图像等方式。
背景图像重构模块53,对背景图像编码模块输出的背景图像码流进行解码重构,传递重构的背景图像给差分图像计算模块,使得编解码匹配。
差分图像计算模块54,在背景建模完成后,计算输入视频序列1中的图像和视频解码模块4传递过来的重构背景图像之间的差分图像,并把差分图像传递给视频编码模块6进行编码压缩。以亮度差分计算为例,设s(x,y)是原始视频图像在位置(x,y)的一个8比特亮度像素值,b(x,y)重构背景图像在位置(x,y)的一个8比特亮度像素值,他们的差值s(x,y)-b(x,y)位于区间[-255,255],于是最终的计算方法包含但不局限于如下公式所述两种算法:
r(x,y)=s(x,y)-b(x,y)+256.             (1)
r(x,y)=(s(x,y)-b(x,y))>>1+128.      (2)
其中公式(1)计算得到的r(x,y)为9比特,可以但不仅限于采用H.264/AVC参考编码器Jm16.0对其进行编码,公式(2)计算得到的r(x,y)为8比特,可以但不仅限于采用AVS参考编码器Rm52k对其进行编码。由于第一次背景建模过程中,背景建模模块的输出结果为零,刚开始的一组原始图像(第一个训练图像集)经过本单元计算后的差分图像仍为原始图像。
差分图像编码模块55,对差分图像计算模块54生成的差分图像进行编码压缩。选择的编码算法要与差分图像的输出相一致,例如当差分图像的输出为9比特时,应该选择可以配置成9比特的视频压缩算法,如差分图像计算模块54中所述。
视频压缩端(即编码端)可以利用如图2所示的序列结构下进行背景更新,同时保证整个编码方案可以无延迟工作。背景建模模块51中,背景图像定期更新可以通过一种新的视频序列结构——视频段进行说明和实现。一个视频段是一段较长的输入视频序列(几百帧或更长),整个输入视频序列可以看作是由一个个首尾相接的视频段构成。每个视频段使用同一幅重构的背景图像计算差分图像。在编码时,背景建模模块从当前视频段中选取训练图像集,进行背景建模并生成一幅背景图像,供下一个视频段编码使用。从另一个角度看,当前视频段编码时,使用的是在前一个视频段编码的同时生成的背景图像,因此,整个编码方法不会因为背景图像的生成而带来额外的延迟。对于第一个视频段,其中前若干图像可以采用传统的视频编码技术(包括但不限于MPEG-1/2/4、H.263、H.264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG)进行编码。在编码这些图像的同时,背景建模模块从这些图像中选取训练图像集,生成第一个背景图像并传输到解码端。对于第一个视频段中接下来的图像,可以利用上述第一个背景图像的重构图像,生成差分图像进行编码。上述方法可以保证整个序列开始编码时,也不会因背景建模而产生额外的延迟。
与上述序列结构相对应,最终编码的码流结构如图3所示。首先被编入码流的是直接编码的第一个训练图像集。随后是第一幅背景图像的编码码流。接下来,则是第一个视频段的第一个训练图像集之外其他部分所对应的差分图像编码码流。以后则交替得将每个视频段编码对应的背景图像和差分图像编入最终码流。
上述虚线左侧的编码系统产生的码流可以由虚线右侧的解码装置进行解码,下面对解码装置中的各个模块进行详细的说明。
背景图像解码模块56,对背景图像码流进行解码,传递解码出的背景图像给差分图像补偿模块。差分图像解码模块57,对编码端写入的差分图像码流进行解码,传递解码出的差分图像给差分图像补偿模块。差分图像补偿模块58,对输入的解码背景图像和差分图像实施补偿运算,要求与编码端的差分图像计算模块相匹配。以亮度分量为例,设b′(x,y)和r′(x,y)分别是解码出的背景图像和差分图像在位置(x,y)处的像素值,则输出图像在该位置的像素值c(x,y)可以按照公式(3)、(4)进行解码,公式(3)、(4)分别与编码端的公式(1)、(2)相匹配。
c ( x , y ) = 0 b &prime; ( x , y ) + r &prime; ( x , y ) - 256 < 0 255 b &prime; ( x , y ) + r &prime; ( x , y ) - 256 > 255 b &prime; ( x , y ) + r &prime; ( x , y ) + 256 0 &le; b &prime; ( x , y ) + r &prime; ( x , y ) - 256 &le; 255
(3)
其中,r′(x,y)为9比特像素值。
c ( x , y ) = 0 b &prime; ( x , y ) + ( ( r &prime; ( x , y ) - 128 ) < < 1 ) < 0 255 b &prime; ( x , y ) + ( ( r &prime; ( x , y ) - 128 ) < < 1 ) > 255 b &prime; ( x , y ) + r &prime; ( x , y ) + 256 0 &le; b &prime; ( x , y ) + ( ( r &prime; ( x , y ) - 128 ) < < 1 ) &le; 255
(4)
其中,r′(x,y)为8比特像素值。
下面,举一个实例来说明本发明基于背景建模的静态摄像机视频压缩系统。设定输入视频为YUV4:2:0格式,设定视频段长度为1000帧图像。背景建模模块51采用上述mean-shift的方法,选择每个视频段末尾的120幅图像作为训练图像集,阈值Tc设定为7,聚类数Nc设为10,分别对亮度和各个色度分量进行背景建模,为下一个视频段生成背景图像。对于第一个视频段,选取前120幅图像用于生成第一个背景图像。同时,上述前120幅图像采用H.264/AVC编码器直接进行编码。背景图像编码模块采用8比特H.264/AVC编码器,将背景图像编码为I帧。为了保证重构的背景图像质量,从而提高编码性能,编码背景图像是采用小的QP(本实例中QP=0)。背景图像重构模块采用8比特H.264/AVC解码器,实现背景图像的重构。差分计算模块采用前述公式(1)所述的方法进行差分计算和取值区间变换。差分图像编码模块采用9比特H.264/AVC编码器,9比特之外的配置采用通用的编码器参数。背景图像和差分图像的码流采用如图4所示的方式复合,码流的内容按顺序为:直接编码的前120幅图像、第一个背景图像、第一个视频段其余880幅差分图像、第二个背景图像、第二个视频段的1000帧差分图像、第三个背景图像......。
采用上述实施例中的视频压缩系统,进行了如下性能测试。选取8个3000帧的室内/室外场景的静止摄像机序列进行测试,并与通用配置的H.264参考编码器JM16.0的比较。参照图6,图6a~图6h为8个用于测试的序列的场景,其中,图6a~6d为4个3000帧标清(720×576)静止摄像机序列,图6e~6h为4个3000帧CIF(352×288)静止摄像机序列。
参照图7a、图7b,图7a为图6中,6b场景的率失真曲线,图7b为图6中,6g场景的率失真曲线。7a和7b中的横坐标表示测试场景序列的编码比特率,单位为千比特每秒(kbps),纵坐标表示测试场景的编码的峰值信噪比(PSNR),单位为分贝(dB)。绘制不同方法在峰值信噪比和比特率坐标系下的测试曲线是一种通用的编码质量的客观评价方法。
图7a中,曲线a代表本发明视频压缩系统的性能,曲线b代表通用配置的H.264编码器JM16.0的压缩性能,所示的两条曲线说明了本发明的实例相对于通用配置的H.264编码器JM16.0,在场景6b的测试序列下能够实现约1.20dB的的性能增益,约36.1%的码率节省。
图7b中,所曲线c代表本发明视频压缩系统的性能,曲线d代表通用配置的H.264编码器JM16.0的压缩性能,所示的两条曲线说明了本发明的实例相对于通用配置的H.264编码器JM16.0,在场景6g的测试序列下能够实现约1.57dB的性能增益,约55.8%的码率节省。
参照表一,表一为采用本发明的编码系统与通用配置的H.264图6所示的在8个序列上的比较结果,其中,PSNR为峰值信噪比,单位为分贝(dB),是一种最普遍,最广泛使用的评价客观编码质量的测试方法。
表一
  6a   6b   6c   6d   6e   6f   6g   6h
  PSNR增加   1.42   1.20   2.65   0.84   1.68   1.30   1.57   2.90
  码率节省   -60.7%   -36.1%   -68.0%   -40.7%   -72.4%   37.1%   -55.8%   -91.0%
可以看到,本发明可以在SD序列上实现1.20~2.65dB的性能增益、36.1%~68.0%的码率节省,在CIF序列上实现1.30~2.90dB的性能增益、37.1%~91.0%的码率节省。
以上对本发明所提供的一种基于背景建模的静态摄像机视频压缩方法与系统进行了详细介绍,本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于背景建模的静态摄像机视频压缩方法,其特征在于,包括:
背景建模步骤,对输入的视频序列,选取一个训练图像集,建模生成背景图像;
背景图像编码步骤,采用编码器,对所述背景图像进行编码压缩,生成背景图像码流;
重构步骤,采用解码器,对所述背景图像码流进行解码重构,以获取重构的背景图像;
差分图像计算步骤,对所述输入视频序列中的图像和所述重构的背景图像进行差分,计算差分结果,依据所述差分结果获取差分图像;
差分图像编码步骤,对所述差分图像进行编码压缩。
2.根据权利要求1所述的视频压缩方法,其特征在于,所述背景建模步骤中,还包括:
背景更新步骤,定期重新选取所述输入视频序列中的训练图像集以更新生成的所述背景图像。
3.根据权利要求2所述的视频压缩方法,其特征在于,所述背景更新步骤中,将所述输入的视频序列被划分为多个首尾相接的视频段,每一视频段使用同一幅重构的背景图像来计算差分图像;利用当前视频段中的图像生成背景图像,用于编码下一个视频段;对第一个视频段,对指定数目图像进行编码,以生成背景图像,该背景图像用于编码所述第一视频段中其余的图像。
4.根据权利要求1所述的视频压缩方法,其特征在于,所述重构步骤中采用的解码器与所述与背景图像编码步骤中的编码器相对应。
5.根据权利要求1所述的视频压缩方法,其特征在于,所述差分图像计算步骤中,还包括:
取值变换步骤,对所述差分结果的取值范围进行变换,以使差分图像的格式符合所述差分图像编码步骤中的编码格式。
6.一种基于背景建模的静态摄像机视频压缩系统,其特征在于,包括:
背景建模模块,用于对输入的视频序列,选取一个训练图像集,建模生成背景图像;
背景图像编码模块,用于采用编码器,对所述背景图像进行编码压缩,生成背景图像码流;
重构模块,用于采用解码器,对所述背景图像码流进行解码重构,以获取重构的背景图像;
差分图像计算模块,用于对所述输入视频序列中的图像和所述重构的背景图像进行差分,计算差分结果,依据所述差分结果获取差分图像;
差分图像编码模块,用于对所述差分图像进行编码压缩。
7. 根据权利要求6所述的视频压缩系统,其特征在于,所述背景建模模块中,还包括:
背景更新单元,用于定期重新选取所述输入视频序列中的训练图像集以更新生成的所述背景图像。
8.根据权利要求7所述的视频压缩系统,其特征在于,所述背景更新单元中,将所述输入的视频序列被划分为多个首尾相接的视频段,每一视频段使用同一幅重构的背景图像来计算差分图像;利用当前视频段中的图像生成背景图像,用于编码下一个视频段;对第一个视频段,对指定数目图像进行编码,以生成背景图像,该背景图像用于编码所述第一视频段中其余的图像。
9.根据权利要求6所述的视频压缩系统,其特征在于,所述重构模块中采用的解码器与所述与背景图像编码模块中的编码器相对应。
10.根据权利要求6所述的视频压缩系统,其特征在于,所述差分图像计算步骤中,还包括:
取值变换单元,对所述差分结果的取值范围进行变换,以使差分图像的格式符合所述差分图像编码步骤中的编码格式。
CN 201010034117 2010-01-15 2010-01-15 基于背景建模的静态摄像机视频压缩方法与系统 Active CN101742319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010034117 CN101742319B (zh) 2010-01-15 2010-01-15 基于背景建模的静态摄像机视频压缩方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010034117 CN101742319B (zh) 2010-01-15 2010-01-15 基于背景建模的静态摄像机视频压缩方法与系统

Publications (2)

Publication Number Publication Date
CN101742319A true CN101742319A (zh) 2010-06-16
CN101742319B CN101742319B (zh) 2011-08-31

Family

ID=42465090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010034117 Active CN101742319B (zh) 2010-01-15 2010-01-15 基于背景建模的静态摄像机视频压缩方法与系统

Country Status (1)

Country Link
CN (1) CN101742319B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883284A (zh) * 2010-06-21 2010-11-10 北京大学 基于背景建模和可选差分模式的视频编/解码方法及系统
CN101969559A (zh) * 2010-10-22 2011-02-09 北京大学 视频码流的转换压缩方法与系统
CN102129689A (zh) * 2011-02-24 2011-07-20 南京大学 自动增益场景下基于相机响应函数的背景建模方法
CN102333220A (zh) * 2011-10-21 2012-01-25 北京大学 一种选择在变换域完成预测编码的视频编解码方法
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
CN103208006A (zh) * 2012-01-17 2013-07-17 株式会社理光 基于深度图像序列的对象运动模式识别方法和设备
CN103634554A (zh) * 2012-08-20 2014-03-12 联想(北京)有限公司 一种数据传输的方法、数据接收的方法及电子设备
CN104581155A (zh) * 2014-12-02 2015-04-29 深圳市云宙多媒体技术有限公司 一种基于场景分析的编码方法及系统
CN105049818A (zh) * 2015-08-25 2015-11-11 北京丰华联合科技有限公司 一种优化视频数据传输的方法
CN106034195A (zh) * 2015-03-16 2016-10-19 冠捷投资有限公司 基于灰色关联分析的移动侦测方法
CN107396138A (zh) * 2016-05-17 2017-11-24 华为技术有限公司 一种视频编解码方法及设备
WO2018171596A1 (zh) * 2017-03-21 2018-09-27 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
CN109547786A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 视频编码、以及视频解码的方法、装置
CN110113616A (zh) * 2019-06-05 2019-08-09 杭州电子科技大学 一种多层级监控视频高效压缩编码、解码装置及方法
CN113287295A (zh) * 2018-12-26 2021-08-20 富士胶片株式会社 摄像元件、摄像装置、摄像元件的工作方法及程序
CN113965749A (zh) * 2020-12-14 2022-01-21 深圳市云数链科技有限公司 静态摄像机视频传输方法及系统
WO2022021519A1 (zh) * 2020-07-29 2022-02-03 北京大学深圳研究生院 视频解码方法、系统、设备及计算机可读存储介质

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883284A (zh) * 2010-06-21 2010-11-10 北京大学 基于背景建模和可选差分模式的视频编/解码方法及系统
CN101883284B (zh) * 2010-06-21 2013-06-26 北京大学 基于背景建模和可选差分模式的视频编/解码方法及系统
CN101969559A (zh) * 2010-10-22 2011-02-09 北京大学 视频码流的转换压缩方法与系统
CN102129689A (zh) * 2011-02-24 2011-07-20 南京大学 自动增益场景下基于相机响应函数的背景建模方法
CN102129689B (zh) * 2011-02-24 2012-11-14 南京大学 自动增益场景下基于相机响应函数的背景建模方法
CN102333220B (zh) * 2011-10-21 2013-11-06 北京大学 一种选择在变换域完成预测编码的视频编解码方法
CN102333220A (zh) * 2011-10-21 2012-01-25 北京大学 一种选择在变换域完成预测编码的视频编解码方法
CN103208006B (zh) * 2012-01-17 2016-07-06 株式会社理光 基于深度图像序列的对象运动模式识别方法和设备
CN103208006A (zh) * 2012-01-17 2013-07-17 株式会社理光 基于深度图像序列的对象运动模式识别方法和设备
CN102665077A (zh) * 2012-05-03 2012-09-12 北京大学 一种基于宏块分类的快速高效编转码方法
CN103634554A (zh) * 2012-08-20 2014-03-12 联想(北京)有限公司 一种数据传输的方法、数据接收的方法及电子设备
CN104581155A (zh) * 2014-12-02 2015-04-29 深圳市云宙多媒体技术有限公司 一种基于场景分析的编码方法及系统
CN106034195A (zh) * 2015-03-16 2016-10-19 冠捷投资有限公司 基于灰色关联分析的移动侦测方法
CN105049818A (zh) * 2015-08-25 2015-11-11 北京丰华联合科技有限公司 一种优化视频数据传输的方法
CN107396138A (zh) * 2016-05-17 2017-11-24 华为技术有限公司 一种视频编解码方法及设备
US11025952B2 (en) 2016-05-17 2021-06-01 Huawei Technologies Co., Ltd. Video encoding/decoding method and device
CN108632625A (zh) * 2017-03-21 2018-10-09 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
CN108632625B (zh) * 2017-03-21 2020-02-21 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
WO2018171596A1 (zh) * 2017-03-21 2018-09-27 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
CN109547786A (zh) * 2017-09-22 2019-03-29 阿里巴巴集团控股有限公司 视频编码、以及视频解码的方法、装置
CN113287295A (zh) * 2018-12-26 2021-08-20 富士胶片株式会社 摄像元件、摄像装置、摄像元件的工作方法及程序
CN113287295B (zh) * 2018-12-26 2023-07-25 富士胶片株式会社 摄像元件、摄像装置、摄像元件的工作方法及存储介质
CN110113616A (zh) * 2019-06-05 2019-08-09 杭州电子科技大学 一种多层级监控视频高效压缩编码、解码装置及方法
CN110113616B (zh) * 2019-06-05 2021-06-01 杭州电子科技大学 一种多层级监控视频高效压缩编码、解码装置及方法
WO2022021519A1 (zh) * 2020-07-29 2022-02-03 北京大学深圳研究生院 视频解码方法、系统、设备及计算机可读存储介质
CN113965749A (zh) * 2020-12-14 2022-01-21 深圳市云数链科技有限公司 静态摄像机视频传输方法及系统

Also Published As

Publication number Publication date
CN101742319B (zh) 2011-08-31

Similar Documents

Publication Publication Date Title
CN101742319B (zh) 基于背景建模的静态摄像机视频压缩方法与系统
CN101321287B (zh) 基于运动目标检测的视频编码方法
CN101883284B (zh) 基于背景建模和可选差分模式的视频编/解码方法及系统
CN101267556B (zh) 快速运动估计方法及视频编解码方法
CN103141097B (zh) 优化的去块滤波器
CN101204094A (zh) 可缩放地编码和解码视频信号的方法
US20120008686A1 (en) Motion compensation using vector quantized interpolation filters
CN103002283A (zh) 多视角分布式视频压缩的边信息生成方法
US20120008687A1 (en) Video coding using vector quantized deblocking filters
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN117136540A (zh) 残差编码方法及设备、视频编码方法及设备、存储介质
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN105187824A (zh) 图像编码方法和装置以及图像解码方法和装置
CN112422989A (zh) 一种视频编码方法
Choi et al. Scalable video coding for humans and machines
CN109474825B (zh) 一种脉冲序列压缩方法及系统
CN109379590B (zh) 一种脉冲序列压缩方法及系统
CN114793282B (zh) 带有比特分配的基于神经网络的视频压缩
CN103002284B (zh) 一种基于场景模型自适应更新的视频编解码方法
CN111757126A (zh) 面向vr的实时图像压缩方法、系统和存储介质
CN101494718B (zh) 图像编码方法和装置
Toffetti et al. Image compression in a multi-camera system based on a distributed source coding approach
KR100289054B1 (ko) 매크로블록 단위 영역 분할 및 배경 모자이크구성방법
CN101969559A (zh) 视频码流的转换压缩方法与系统
Ibaba et al. A review of video compression optimization techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant