CN100499739C - 基于压缩域的场景变化实时检测方法 - Google Patents

Abstract

本发明公开了一种基于压缩域的场景变化实时检测方法。首先设置检测区域，然后直接从熵解码后的符号流中提取特征，接着场景变化判别单元针对当前图像和背景参考图像以及变化记录图像对应位置上变换域系数的特征变化情况进行联合移动侦测，并根据移动侦测结果判断是否有场景变化，同时动态更新背景参考图像和变化记录图像。与现有技术相比，本发明方法具有以下优点：第一，不需要完全的解码过程，大大减少了计算量；第二，在压缩域内直接利用各个颜色分量的统计特征和科学的判断机制实现移动侦测，算法复杂性低；第三，结合了时域差分法和背景差分法的优点，对光线变化鲁棒性好。本发明方法高效可靠，适合普通嵌入式工业级芯片的实时处理，在视觉监视中具有明显的应用价值。

Description

基于压缩域的场景变化实时检测方法

技术领域

本发明涉及图像处理技术，尤其涉及一种基于压缩域的场景变化实时检测方法。特别是在压缩域内快速实时检测图像序列场景的变化，同时向无线数字图像监控系统提供可靠的场景变化指示。

背景技术

随着无线技术的应用和发展，海量信息的工业现场图像需要被存储在嵌入式终端设备，并实时传输到监控中心，以供专职人员进行人工监视和完成场景异常情况的判断。由于现场工况的复杂性，对于某些重要的场景，要求专职人员目不转睛地盯着监视器，容易疲劳而分心。因此急需开发具有一定智能的嵌入式终端设备对图像序列自动进行场景变化检测，同时将场景发生变化的图像上传至监控中心，并发出报警信号通知专职人员及时处理，这在很大程度上减轻专职人员的负担，加强现场监控的安全性，也有利于减少无线传输的数据流量，降低运营成本。

在无线数字图像监控系统中，场景变化检测是一个非常重要的问题，它要求较高的执行效率和可靠性。在图像的再现中，场景中变化的检测被称为场景变化检测。这里讨论的场景变化是指有目标出现或移动引起一帧图像组成部分的任何显著变化。在进行变化检测时，摄像机通常处于静止状态，并且镜头焦距是固定的，此时图像中的背景区域固定不动。在这种情况下，主要有三种变化检测方法：时域差分法、背景差分法和光流法。其中时域差分法[1]是将前后两帧或三帧图像相减，若差值大于某一阈值，就判断场景发生了变化。这种方法能够适应环境的动态变化，鲁棒性较好，但是不能完全提取出所有相关的特征像素点。背景差分法^[2-1]利用当前图像与背景图像的差分来检测运动区域，即将当前图像与事先存储的背景图像相减来判断是否出现运动目标。这种方法对光照的环境条件非常敏感，容易产生误判断。光流法^[5]在不需要背景区域的任何先验知识条件下就能够实现对运动目标的检测，还可以应用于摄像机运动的情况。但是，光流法的计算量非常大，而且对噪声比较敏感，对硬件要求比较高，因而不适合普通嵌入式工业级芯片的实时处理。

针对场景变化检测，目前国内外还没有一个通用的算法。在已有的相关发明专利文献中，按照被检测的图像数据类型来分，检测方法又主要包括两大类：非压缩数据和压缩数据。在基于非压缩数据的检测方法中，主要有像素差异法和基于直方图的方法。像素差异法^[8，14]是最常用的检测方法，主要是针对未编码图像，通过设计的判定准则比较两帧图像像素差异是否超过设定阈值来进行场景变化检测。基于直方图的方法^[6，7]比较耗时，不适合嵌入式芯片的实时检测应用。基于压缩数据的检测方法主要有数据流量检测法，DC图像差异法和运动矢量比较法。数据流量检测法^[9]需要不断监测数据流量的变化，当数据流超过某一门限值时，则认为场景出现变化，算法比较简单，但是容易产生误判。DC图像差异法^[10]取得了比较好的效果，但是这种方法对亮度或颜色变化非常敏感。运动矢量比较法^[11，13]是从MPEG压缩视频中提取出运动矢量(Motion Vectors，MV)，然后根据这些矢量的特征变化判断是否发生场景变化。此外，还有几种比较有针对性的、新颖的检测方法。其中，文献^[15]先将当前图像和参考图像划分成若干个区域，统计并保存与运动信息相关的特征，然后采用差分法进行运动检测，最后利用当前图像更新参考图像。各个检测区域可以设定不同的阈值，本质上仍然属于时域差分方法。文献^[16]采用检测窗口从一组连续图像中截取两帧静态图像，通过比较图像的变换行数判断图像是运动图像还是静止图像。如果图像是静止图像，则计算有变化像素行在图像中的分布，同时检测窗口随着有变化像素行的分布区域而改变。文献^[12，17]先通过反向量化器分别得到第一和第二中间图像的LL子带，它们被存储在中间图像存储器中，然后利用存储在中间图像存储器中的数据判断是否有场景变化。这种方法主要是针对基于小波变换的图像处理应用，比如采用JPEG2000标准的图像编解码。实用的检测方法大多都是针对不同的应用场合和场景客观条件而设计的，因而如果结合时域差分法和背景差分法，以及采用先进的背景更新技术和判断机制，则可以改善检测方法的效能，从而适应具体的应用环境和对象。

由于图像数据量大的特点，摄像机采集来的图像一般都使用了各种压缩标准，如JPEG、MPEG等。压缩标准的运用减少了图像数据存储和传输的开销，却增加了相应的处理工作量。因为采用像素域的处理方法，这些压缩过的图像数据必须解压后才能处理，而解压的计算量是很大的。解决的途径之一是在压缩域直接处理图像数据，这样既可以省去完全解压过程，处理速度快，又可以节约处理过程中占用的系统资源。此外，动态JPEG(Motion JPEG，MJPEG)编码具有无延迟特性，且算法复杂性较低；MPEG编码算法比较复杂，进行编码时需要有较高的效能要求，而且MPEG编码以画面群(Group of Pictures，GOP)为单位，会受到每个GOP中的画面数影响而延迟，降低了数字图像无线传输与监控的应用效果。因而，工业用的摄像头通常采用MJPEG算法，少数以MPEG算法进行编码压缩。如果在嵌入式终端设备上直接采用传统的差分方法检测MJPEG图像序列中场景的变化，需要经过熵解码(Entropy Decoding)、反量化(Dequantization)和反向离散余弦变换(Inverse DCT，IDCT)几个解码步骤以便得到重建图像，然后对重建图像进行基于像素的变化检测。这种通过一次性完全解码图像后完成场景变化检测的技术方案需要很大的计算量，因而降低了检测过程的实时性。

由此可见，上述现有的场景变化检测技术与方法试图提高图像序列中场景变化的可靠性，但是都存在不足之处，在检测算法和判断机制上存在创新改进的空间，以提高检测的效率。

参考文献

[1]Neri A，Colonnese S，Russo G，Talone P.Automatic moving object and backgroundseparation[J].Signal Processing，1998，66(2)：219-232.

[2]Wren C R，Azarbayejani A，Darrell T，Pentland A P.Pfinder：Real-Time trackingof the human body[J].IEEE Transaction on PAMI，1997，19(7)：780-785.

[3]Haritaoglu I，Harwood D，Davis L.W⁴：Real-Time surveillance of people and theiractivities[J].IEEE Transact ions on PAMI，2000，22(8)：809-830.

[4]Herrero E，Orrite C，Senar J.Detected motion classification with adouble-background and a neighborhood-based difference.Pattern RecognitionLetters[J]，2003，24(12)：2079-2092.

[5]Smith S M，Brady J M.ASSET-2：Real-Time motion segmentation and shape tracking[J].IEEE Transactions on PAMI，1995，17(8)：814-820.

[6]Prakash Adityo，Fodor Eniko，Ratner Edward R.Scene change detection bysegmentation analysis[P].U.S.PAT.No.6985623，2006-01-10.

[7]Park Geoffrey.Method and system for scene change detection[P].U.S.PAT.No.6995805，2006-02-07.

[8]Katsavounidis Ioannis，Kim Chang-Su，Zhao Lifeng.Systems and methods fordetecting scene changes in a video data stream[P].U.S.PAT.No.7110452，2006-09-19.

[9]Hill Philip N.C.，Randall Bruce W.Detecting scene changes[P].U.S.PAT.No.5471239，1995-11-28.

[10]Divakaran Ajay，Sun Huifang，Ito Hiroshi，Poon Tommy C.Methods of scenechange detection and fade detection for indexing of video sequences[P].U.S.PAT.No.6449392，2002-09-10.

[11]Divakaran Ajay，Radhakrishnan Regunathan.Unusual event detection usingmotion activity descriptors[P].U.S.PAT.No.6823011，2004-11-23.

[12]Ohyama Tatsushi，Yamauchi Hideki.Method and apparatus for decoding andcoding images with scene change detection function[P].U.S.PAT.No.6977962，2005-12-20.

[13]Liu Ming-Chang，Tsukagoshi Ikuo.Scene change detection[P].U.S.PAT.No.7058130，2006-06-06.

[14]陈学敏，刘承德.数字视频信号的场景变化检测器[P].中国专利号：CN1099801C，2003-01-23.

[15]王浩，夏煜.一种运动检测方法[P].中国专利号：CN1688157A，2005-10-26.

[16]周天夷，周芬，高晓宇.运动图像检测方法和电路[P].中国专利号：CN1632594A，2005-06-29.

[17]大山达史，山内英树.带场景变化检测功能的编码解码图像的设备和方法[P].中国专利号：CN1206855C，2005-06-15.

发明内容

本发明的目的是针对现有场景变化检测技术的不足，提供一种基于压缩域的场景变化实时检测方法。

它包括如下步骤：

1)检测区域设置单元

将图像划分为多个检测区域，对选定的区域进行检测；

2)图像解码单元

从输入端过来的图像已经过编码压缩，被当作当前图像送给图像解码单元，经过熵解码后得到解压缩后的变换域系数；

3)移动侦测单元

直接从熵解码后的符号流中提取统计特征，对两帧已编码图像进行检测，对于处在选定侦测区域内的各个子块，先提取每个颜色分量上变换域系数的统计特征，然后采用“与/或/非”的逻辑判断机制对颜色分量的变化情况进行判断，同时给出移动侦测结果；

4)场景变化判别单元

在压缩域内对当前图像和背景参考图像以及变化记录图像进行联合移动侦测，接着根据移动侦测结果进行场景变化判别，同时给出场景变化指示。

所述的场景变化判别过程包括：在选定的检测区域内，对当前图像和背景参考图像、变化记录图像相同位置处颜色分量的变化情况进行联合移动侦测，并根据移动侦测的结果判断是否有场景变化，同时动态更新背景参考图像和变化记录图像。

背景参考图像和变化记录图像是用来存储编码图像不完全解码得到的变换域系数，且由场景变化判别单元根据一段时间内图像序列的变化情况进行相应的更新。

逻辑判断机制包括：选择不同的颜色分量作为特征提取的数据，再采用“与/或/非”的逻辑判断机制对它们的变化情况进行组合和判断，同时给出判断结果。

移动侦测过程包括：首先在选定的检测区域内分别提取两帧图像对应颜色分量中每个子块中变换域系数的统计特征以判断相应的子块是否发生变化，接着根据颜色分量判定过程判断相应颜色分量是否发生变化，最后采用逻辑判断机制对侦测区域内所有颜色分量的变化情况进行判断。

颜色分量变化判定过程包括：在选定的检测区域内，且在某颜色分量对应的子块总数内，根据变化的子块个数占子块总数的百分比来判断该颜色分量是否发生变化。

子块变化判定过程包括：对于一个以K×K像素为单位的子块，首先计算变换域系数绝对值的和，然后取其差的绝对值。如果此绝对值大于设定的阈值，则认为该子块发生了变化。

本发明所提供的场景变化检测方法，与现有技术相互比较时，具有下述显著的优点：

(1)不需要完全的解码过程(Full-Frame Decompression)，大大减少了计算量；

(2)在压缩域内直接计算各个颜色分量上对应变换域系数的统计特征，而且采用科学的判断机制实现移动侦测，算法简单，效率高；

(3)结合时域差分法和背景差分法的优点，既能降低环境光线变化的影响，又能准确检测出场景的变化，可靠性好。

附图说明

图1显示了根据JPEG标准的图像编解码的顺序；

图2显示了根据本发明方法的流程图；

图3显示了根据本发明实施例的移动侦测流程图；

图4显示了根据本发明实施例的场景变化判别流程图。

具体实施方式

由于离散余弦变换(Discrete cosine transform，DCT)具有良好的解相关性和快速算法，因而它被国际压缩标准如JPEG，MPEG1/MPEG2/MPEG4，H261/H263/H264等普遍采用。由于JPEG基本模式编解码算法具有普遍性，上面提到的其他国际标准几乎均采用与它相似的算法结构。因此，本发明实施例选用基于JPEG编码和解码的图像的处理，这是具有典型性的。

图1给出了JPEG基本模式下的图像编解码算法。在JPEG编码算法中，原始图像首先被分割成8×8不重叠的子块，然后对每个子块进行DCT得到1个直流系数(DC coefficient)和63个交流系数(AC coefficients)，接着所有这些系数按照zig-zag重新排序，最后采用差分脉冲编码调制(Differential pulsecode modulation，DPCM)对DC系数进行编码，使用游程编码(Run-length，RLE)对AC系数进行编码，再使用霍夫曼(Huffman)编码技术对所有这些码值进行最终编码。解码算法正好是编码算法的逆过程。

下面结合附图对本发明的场景变化检测方法进行详细的说明。

步骤一、检测区域设置。

只在选定的区域进行移动侦测，其他区域则可以忽略。当然也可以对图像的全部区域都进行移动侦测。区域设置的大小可以根据图像大小和检测精确性要求等情况而定。在本实施例中，图像的全部区域都被设为侦测区域。

步骤二、图像解码。

由于采用基于压缩域的场景变化检测技术，因此只需要部分解码JPEG压缩过的图像数据，也即压缩的图像数据经熵解码得到DCT变换系数，以方便后续检测步骤在压缩域进行操作。本步骤省略了如图1虚线框中的反量化和IDCT过程，在很大程度上节约了计算量。

步骤三、移动侦测。

在压缩域内进行移动侦测。先提取颜色分量对应的DCT系数的统计特征，再采用逻辑判断机制侦测区域进行判断，移动侦测流程图如图3所示。

以Y分量的变化判断操作为例来说明单个颜色分量的移动侦测过程：

1)子块变化判定过程。以两帧图像对应位置处Y分量中的一个8×8子块为例，先计算DCT系数绝对值的和，再取其差的绝对值。如果此绝对值大于设定的阈值S_Y，则认为该子块发生了变化，同时块计数器C_Y累加。判定准则如公式(1)、(2)、(3)所示

$E_{1i}=\underset{u=0}{\overset{B-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{B-1}{\mathrm{\Σ}}}\left|F_{1i}(u,v)\right|---\left(1\right)$

$E_{2i}=\underset{u=0}{\overset{\mathrm{\β}-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{B-1}{\mathrm{\Σ}}}\left|F_{2i}(u,v)\right|---\left(2\right)$

ΔE_i＝|E_1i-E_2i|              (3)

其中，下标i表示颜色分量类型。

2)颜色分量变化判定过程。对于320×240像素、YUV211格式的真彩图像而言，Y分量中有1024个子块，对每个子块均进行上述判定过程，可以得到总的变化块数。假设规定整幅图片超过10％的幅面发生了变化，于是认为移动条件成立，这样设定阈值B_Y为1024×10％＝102。如果块计数器C_Y累计值大于102，则说明这两帧图像中的Y分量发生了变化。

对于YUV211格式的真彩图像，如果利用Y、U和V三个颜色分量的变化情况进行联合判断，则需要移动侦测三个分量，再根据这三个侦测结果采用“与/或”机制完成逻辑判断，最后根据逻辑值的真假确定移动条件是否成立。如果仅仅利用Y分量对应的DCT系数的统计特征变化情况进行移动侦测，则U和V可以设置为“非”，这样在子块变化判定过程中可以省略U和V分量的提取操作。

步骤四、场景变化判别。

在DCT压缩内对当前图像和背景参考图像、变化记录图像进行联合移动侦测，从而判断场景变化与否，同时给出场景变化指示。图4给出了场景变化判别流程，具体执行过程如下：

第一步，检查是否已经执行过初始化操作，如果没有初始化的话，则将任意采集到的一帧图像解码得到的DCT数据分别赋给背景参考图像和变化记录图像。

第二步，将当前图像与背景图像进行移动侦测，如果移动条件成立，执行下一步；否则，计数器1清零，更新背景参考图像，跳至第五步。

第三步，将当前图像与变化记录图像进行移动侦测，如果移动条件成立，更新变化记录图像，计数器1加一，计数器2清零；否则，计数器2加一，并与阈值N_th2比较，如果大于的话，计数器2清零，更新变化记录图像和背景参考图像，且跳至第五步；反之，执行下一步。

第四步，计数器1的计数值与阈值N_th1比较，如果大于的话，则表明场景发生了变化，且计数器1清零；否则，执行下一步。

第五步，退出。

值得注意的是，参数N_th1和N_th2的选取是一种启发式方法，需要根据具体环境和使用经验选择连续判定的次数，但是经大量实验发现它们不是关键和敏感的参数，用户可以进行修正以得到适合具体环境的较好的检测性能。

实验结果与分析

为了验证本发明方法的有效性，在具体实施方案中它被嵌入到以AT91RM9200为核心的嵌入式开发板(华恒科技HH9200)中，进行了相关的测试工作。此款嵌入式开发板的硬件指标如下：主频为180MHz，嵌入式操作系统版本为Linux2.4.27。工业摄像头(纽飞迅NCS-200)采集到的真彩图像格式为YUV211，图像大小为320×240。

分别用标准C代码实现基于完全帧解码的背景变化检测方法(记为方法1)和本发明方法(基于DCT域的背景变化检测方法，记为方法2)，然后移植到嵌入式开发板中进行大范围的彩色JPEG图像序列的场景变化检测，对两者的运行时间和误判率进行了统计和比较。采用8×8DCT块大小，则每帧图像被分割为1024个子区域，相应的实验参数选择如表1所示。

表1实验参数选择

在实验测试过程中，为了比较两种方法在移动侦测过程的效率差异，设定N_th1＝N_th2＝0，也即仅仅采用时域差分法进行场景变化检测。在光照条件良好，测试距离为15米以内的室内环境时，将整个图像画面都设为侦测区域，实验结果如表2所示。从表2可以看出，在一定的侦测准确率前提下，本发明中的移动侦测单元占用的运行时间大大低于传统的移动侦测方法，能够满足无线数字监控系统的实时性要求。

表2两种方法在同等条件下运行时间和误判率的统计结果

在上述实验中，如果针对测试环境条件和对象，设定N_th1＝3，N_th2＝5，也即采用时域差分法和背景差分法联合进行移动侦测和判断，则本发明方法能够取得更低的误判率和更高的可靠性。

从实际应用出发，针对JPEG图像序列，本发明方法采用基于压缩域内的移动侦测，并结合时域差分法和背景差分法对场景变化进行联合检测。与先对已编码图像进行一次耗时的完全解码，然后进行基于像素的变化检测和判断的传统单一差分方法相比，本方法提高了移动侦测的实时性和场景变化检测的可靠性，从而更好地发挥无线数字监控系统的效能。

以上所述仅为本发明的较佳实施例，并用以限制本发明，但是我们仍然相信，在不离开本发明所附权利要求所定义的范围的条件下，一些专业人士可以做许多创新和改进。

Claims (5)

1、一种基于压缩域的场景变化实时检测方法，其特征在于，它包括如下步骤：

1)检测区域设置过程

将图像划分为多个检测区域，对选定的区域进行检测；

2)图像解码过程

从输入端过来的图像已经过编码压缩，被当作当前图像送给图像解码过程，经过熵解码后得到解压缩后的变换域系数；

3)移动侦测过程

直接从熵解码后的符号流中提取统计特征，对两帧已编码图像进行检测，对于处在选定侦测区域内的各个子块，先提取每个颜色分量上变换域系数的统计特征以判断子块是否发生变化，然后逻辑判断机制对颜色分量的变化情况进行判断，同时给出移动侦测结果；

4)场景变化判别过程

在压缩域内对当前图像和背景参考图像以及变化记录图像进行联合移动侦测，接着根据移动侦测结果进行场景变化判别，同时给出场景变化指示。

2、如权利要求1所述的基于压缩域的场景变化实时检测方法，其特征在于所述的步骤4)的场景变化判别过程：在选定的检测区域内，对当前图像和背景参考图像、变化记录图像相同位置处颜色分量的变化情况进行联合移动侦测，并根据移动侦测的结果判断是否有场景变化，同时动态更新背景参考图像和变化记录图像。

3、如权利要求1所述的基于压缩域的场景变化实时检测方法，其特征在于所述的步骤4)的背景参考图像以及变化记录图像：用来存储编码图像不完全解码得到的变换域系数，且由场景变化判别过程根据一段时间内图像序列的变化情况进行相应的更新。

4、如权利要求1所述的基于压缩域的场景变化实时检测方法，其特征在于所述的逻辑判断机制：如果利用Y、U和V三个颜色分量的变化情况进行联合判断，则移动侦测这三个分量，然后进行“与/或”判断的方式；如果只利用Y分量的变化情况进行判断，则仅移动侦测Y分量，对U和V进行“非”操作判断的方式。

5、如权利要求1所述的基于压缩域的场景变化实时检测方法，其特征在于所述的子块是否发生变化：对于一个以K×K像素为单位的子块，首先计算变换域系数绝对值的和，然后取其差的绝对值，如果此绝对值大于设定的阈值，则认为该子块发生了变化。

Images