CN101483763A - 一种面向社会治安监控的数字影像处理方法及其装置 - Google Patents

Abstract

本发明公开了一种面向治安监控的数字影像处理方法和装置，该装置包括影像采集模块、影像处理模块和场景抽象分析引擎，本发明处理步骤包括：(1)影像采集模块获取场景影像，将影像转换成连续图片帧发送至影像处理模块；(2)影像处理模块接收获得的连续帧，对模糊的单帧图片进行增强和复原，对关键的用户感兴趣的多帧图片进行融合，进行运动目标检测和跟踪，将运动目标检测和跟踪的信息发送至场景抽象分析模块；(3)场景抽象分析引擎根据接收到的信息，对影像进行高层次抽象分析；(4)场景抽象分析引擎将分析后的结果反馈到影像处理平台，最终提供抽象决策信息。本发明有效的处理大量的视频影像信息，为用户的决策提供智能的支持。

Description

一种面向社会治安监控的数字影像处理方法及其装置

技术领域

本发明涉及一种数字影像处理方法及其装置，面向公众安全领域。

背景技术

在我国，尽管在公安领域应用图像处理等信息技术已有多年的历史，但面向社会治安的监控数字影像处理平台的建设尚属空白。

近年来，为了加强社会治安监控体系建设，我国新建安装了许多监控装置，防范设施的建设使得监控覆盖面得到进一步加强，对控制、预防和打击犯罪起到了一定作用。但是，目前公安机关所掌握的还只是监控系统的原始、低质数字影像资料。在主要的技术防范层面上，自动影像处理、检测和识别的技术还达不到实用化的要求。对从监控设备获取的大量影像还是基于人工进行处理，费时费工，效率很低，而有些图像不经过处理，很难进行辨识，不利于提高案件的侦破率。综上所述，现有的治安监控体系对数字影像的利用还停留在较低层次，难以适应数字影像资料的爆炸式增长和高层次智能分析处理的需要。平台实施过程中采用了一种窗口划分和重组的跟踪方法和一种基于小波变换的序列彩色图像融合技术，该两项技术已经由申请人提出了专利申请，申请号分别为：200810195185.0和200810234949.2。

发明内容

发明目的：本发明针对现有平台的不足，提供一种能够处理大量的视频影像信息的数字影像处理方法和装置。

技术方案：本发明将数字影像处理硬件部分包括影像采集模块、影像处理模块、场景抽象分析模块。影像采集模块获得实时或者离线的场景影像，将影像转换成连续图片帧发送至影像处理模块。影像处理模块接受获得的连续帧，进行运动目标检测和跟踪；对关键的用户感兴趣的多帧图片进行融合，对模糊的单帧图片进行增强和复原；影像处理模块将运动目标检测和跟踪的信息发送至场景抽象分析模块。场景抽象分析模块根据接受到的运动目标的信息，进行场景分割和异常行为检测。平台实施过程中采用了一种窗口划分和重组的跟踪方法和一种基于小波变换的序列彩色图像融合技术，该两项技术已经由申请人提出了专利申请，申请号分别为：200810195185.0和200810234949.2。

有益效果：本发明与现有技术相比，其显著优点是：能够有效的处理大量的视频影像信息，为用户的决策提供智能的支持。

附图说明

图1是本发明的组成流程图。

图2是本发明的影像采集模块流程图。

图3是本发明的影像处理模块流程图。

图4是本发明的场景抽象分析引擎。

图5是基于小波变换的序列彩色图像融合方法的流程图。

图6是一种窗口划分和重组的跟踪方法的流程图。

具体实施方式

如图1所示，本发明装置包含影像采集模块、影像处理模块、场景抽象分析引擎。

本发明影像采集模块如图2所示，下面详细说明：

影像采集模块从摄像头等外设获取实时影像(输入方式1)，或者从本地打开保存的历史影像资料(输入方式2)。使用时，平台根据数据源类型，对影像进行连续帧的提取：使用视频采集卡直接提取帧(对应输入方式1)；对视频文件解码得到连续帧(对应输入方式2)，这些连续帧被发送到影像处理模块。

本发明影像处理模块如图3所示，下面详细说明：

影像处理模块获得连续帧。对帧的处理方式又分为如下三个子模块：

1、图像增强与复原模块：

对单帧图片进行图像增强与复原，图像增强采用基于Retinex色彩恒常理论的方法，图像复原采用MeanShift去模糊的方法。

2、图像融合模块：

对于多帧图片，为了充分利用每个帧的有效信息，采用一种基于小波变换的序列彩色图像融合技术(已由申请人提出专利申请，申请号：200810234949.2)。

3、运动检测与跟踪模块：

根据连续帧，首先使用GMM建立背景模型，根据当前帧与背景模型检测出运动目标，在整个迭代处理过程中，不断更新维护背景模型。检测出运动目标后，使用的一种窗口划分和重组的跟踪方法(已由申请人提出专利申请，申请号：200810195185.0)来跟踪运动目标，得到目标的信息，包括目标序号，坐标，大小等。影像处理模块将这些信息发送至场景抽象分析引擎。

本发明场景抽象分析引擎如图4所示，下面详细说明：

场景抽象分析引擎接受影像处理模块发送的信息，利用场景分割与摘要模块、场景异常行为分析和挖掘模块，对影像进行高层次抽象分析。

1、场景分割与摘要模块根据场景中每个运动目标的形状、运动轨迹等特征信息和所有运动目标的数目、分布等统计信息，对视频序列进行场景分割，并对分割好的场景片段分段提取关键帧。以上述提取好的信息为基础，根据已有聚类技术，对分割好的场景片段进行聚类，从而完成视频摘要。

2、场景异常行为分析和挖掘模块中，采用数据流驱动改进后的隐马尔科夫模型进行建模，并且针对异常行为训练集过小的特殊情况，运用半监督算法进行训练，完成复杂场景下行为分析和事件挖掘。在此过程中，首先由目标跟踪提供的物体运动轨迹中计算出物体运动速度、能量等18个基本特征，然后在训练中自动提取出最关键的特征数据，并训练出一个隐马尔可夫集成训练器，最终通过训练器投票的方式计算出该运动轨迹是否为异常。若为异常，运用适应技术建立一个新的训练器，从而提高了假真率和假假率。

场景抽象分析引擎将分析后的结果反馈到影像处理平台，最终提供抽象决策信息。

本发明方法种引用的基于小波变换的序列彩色图像融合方法流程如图5所示，下面详细说明：

步骤1，从输入的序列图像P1，P2，...Pn中选取一副为参考图像。以参考图像为基准，其他图像融合至参考图像中。

步骤2，计算所有图像的128维SIFT特征描述子。为了提高在高维空间进行特征描述子匹配的效率，建立Kd搜索树，并采用BBF(Best Bin First)的搜索策略。在得到的N对匹配点对上，采用随机抽样一致性算法RANSAC(RandomSample Consensus)的随机采样算法求取八参数的投影变换矩阵。再根据变换矩阵对待匹配图像进行空间变换，完成与其他图像与参考图像的配准。

步骤3，对非参考图像作预处理操作，待配准图像空间变换后留下来的黑块用参考图像来填补。

步骤4，对所有图像进行YIQ色彩空间变换，得到色彩分量Y1，Y2，…Yn；I1，I2，…In；Q1，Q2，…Qn。其中Y分量代表亮度信息，I和Q为色彩信息。将彩色图像从RGB转换到YIQ色彩空间，可以把彩色图像中的亮度信息与色度信息分开，分别独立进行处理。

步骤5，将每副图像的Y色彩分量进行N级小波分解。本发明中N设为2或者3，小波类型为DB4。

步骤6，对于小波低频系数，高频系数和色彩分量分别采取三种不同的融合策略。

低频融合策略。首先对序列图像的每个低频图像建立一个跟其大小一样的布尔矩阵M1，M2，...Mn。M纪录对应低频图像的低频系数是否属于例外系数。如果某个低频系数与该位置所有低频系数的中值相差超过给定的阈值，被认为是例外系数。然后根据例外矩阵，对非例外的低频系数进行加权平均。采用例外系数判断的方法，可以增强对配准阶段的误差和错误的鲁棒性，能消除大块模糊区域，减少遮掩等情况对最后融合效果的负面影响。

高频融合策略。以参考图像为基础，其他图像依次两两融合至参考图像中。小波分解域的每一层有三副高频图像HH、HL、LH，两幅图像的对应高频子图像分别进行融合。采取CM(Choose Max)融合策略，即选取拥有最大激活度量的高频系数。这里采用窗口方差作为激活度量，窗口大小为3*3。对不同的分解层，不同的高频图像分别进行一致性检测。某个点的3*3的邻域中，如果超过半数的点的高频系数都选自同一副图像，则该点的高频系数也选自此图像对应点的高频系数。

色彩分量融合策略。色彩分量I1，I2，...In以及Q1，Q2，...Qn依据在低频融合策略中生成的对应的布尔矩阵M1，M2，...Mn进行加权平均。如果矩阵Mi纪录像素点Pm(x_m，y_m)的低频系数是例外系数，则彩色分量Ii和Qi的对应像素点Pn(x_n，y_n)的值不纳入加权平均计算中。这里Pm和Pn的对应关系根据小波分解层次而定。比如三级小波分解，低频图像大小是原图像大小的八分之一，则

和最终得到融合后的I和Q色彩分量图像I0和Q0。

步骤7，对融合后的小波域图像进行小波反变换，得到融合后彩色图像的Y0分量。

步骤8，将步骤7所得的Y0分量和步骤6所得的I0和Q0分量作色彩空间的反变换，得到最终融合的RGB图像P0。

本平台中引用的一种窗口划分和重组的跟踪方法流程如图6所示，下面详细说明：

步骤1，从外设(如摄像头)读入第一张图片。

步骤2，手动用外接矩形把图中要跟踪的物体框定出来。

步骤3，记录下步骤2中目标框外围四点的坐标，如目标框的左上角坐标是(x₀，y₀)，右上角坐标是(x₀，y₁)，左下角坐标是(x₁，y₀)，右下角坐标是(x₁，y₁)，则窗口的高度是x₁-x₀，窗口的宽度是y₁-y₀。并计算它所包围的封闭区域的颜色直方图(RGB，灰度都可)信息。

步骤4，根据步骤3中的目标框的位置定义一个矩形的中心区域。如目标框的左上角坐标是(x₀，y₀)，右上角坐标是(x₀，y₁)，左下角坐标是(x₁，y₀)，右下角坐标是(x₁，y₁)，则此目标框中的中心区域的四个角的坐标位置为：左上角为(x₀+α(x₁-x₀)，y₀+α(y₁-y₀))，右上角为(x₀+α(x₁-x₀)，y₁-α(y₁-y₀))，左下角为(x₁-α(x₁-x₀)，y₀+α(y₁-y₀))，右下角为(x₁-α(x₁-x₀)，y₁-α(y₁-y₀))。其中α，(0<α<0.5)衡量中心区域到目标框的距离，α越小表示中心区域离目标框的距离越小，反之越远。

步骤5，在步骤4中定义的中心区域中找出一条直线来划分这个目标框区域，可以垂直的划分，也可以水平的划分，划分评价的依据是使划分的左右两部分或者上下两部分区域所包围的像素点之间颜色平均值的方差最大。

步骤6，取下一帧的图片，目标框保持不动。

步骤7，对步骤5中的划分出的两部分以及原目标框这三部分分别进行Mean-Shift的跟踪，得到三个新的窗口。

Mean-Shift算法的具体步骤是：

(1)计算当前目标区域直方图与原目标模型直方图的巴氏距离ρ₁。

(2)计算当前帧与上一帧的相似性权值，比如现有一个像素点灰度是x，则分别统计当前目标区域直方图与原模型直方图中灰度是x的像素点个数分别是Num₁与Num₂，则此像素点的权值为

(3)根据(2)中的权重计算现在目标中心的位置，现在中心的位置是

其中x_i表示区域中像素点的颜色值(灰度，RGB都可)，n表示区域中像素点的个数，w(x_i)表示用(2)的方法计算出的x_i这个点的相似性权值。

(4)计算目标区域直方图与原目标模型直方图的巴氏距离ρ₂。

(5)根据计算巴氏距离的差值判断是否已经达到收敛的条件，即|ρ₁-ρ₂|是否小于指定的阈值，否就回到(2)继续循环，是就停止。

步骤8，把步骤7中的三个窗口组合起来，在本发明的方法中，假定划分是水平划分的，经过步骤7以后两个子窗口的四条边界分别是(up₁，down₁，left(1)，right₁)，(up₂，down₂，left(2)，right₂)，和整个窗口的跟踪结果(up_e，down_e，left(e)，right_e)，则组合以后的窗口W₁的结果是：上边界是3/4*up₁+1/4*up_e，下边界是3/4*down₂+1/4*down_e，左，右边界分别是3/7*left₁+3/7*left₂+1/7*left_e，3/7*right₁+3/7*right₂+1/7*right_e。同理，垂直划分的情况与此类似。

步骤9，边缘分割。在上一次跟踪窗口四条边缘的邻域内找出一条使分开的两部分区域的颜色平均值的方差最大，把新的四条边缘组成新的窗口W₂。在本发明的方法中，假设目标框的左上角坐标是(x₀，y₀)，右上角坐标是(x₀，y₁)，左下角坐标是(x₁，y₀)，右下角坐标是(x₁，y₁)，则目标框的高是h，宽是w，则上边界的矩形邻域的四个点的坐标是(x₀-h/4，y₀)，(x₀-h/4，y₁)，(x₀+h/4，y₀)，(x₀+h/4，y₁)。同理，下，左，右边界的邻域以此类推。

步骤10，把W₁和W₂的边界以加权平均的方式求平均的新的跟踪窗口W_New。假定W₁和W₂的上，下，左，右的边界分别是(up₁，down₁，left(1)，right₁)，和(up₂，down₂，left(2)，right₂)，在我们的方法中W_New的上，下，左，右边界分别是up₁/2+up₂/2，down₁/2+down₂/2，left₁/2+left₂/2，right₁/2+right₂/2。

步骤11，回到步骤2，进行下一次跟踪。

Claims (7)

1、一种面向社会治安监控的数字影像处理方法，其特征是该方法包括以下步骤：

(1)影像采集模块获取实时或者离线的场景影像，将影像转换成连续图片帧发送至影像处理模块；

(2)影像处理模块接收获得的连续帧，对模糊的单帧图片进行增强和复原，对关键的用户感兴趣的多帧图片进行融合，进行运动目标检测和跟踪；影像处理模块将运动目标检测和跟踪的信息发送至场景抽象分析模块；

(3)场景抽象分析引擎根据接收到的影像模块的信息，对影像进行高层次抽象分析；

(4)场景抽象分析引擎将分析后的结果反馈到影像处理装置，最终提供抽象决策信息。

2、根据权利要求1所述的一种面向社会治安监控的数字影像处理方法，其特征是步骤(1)所述的影像采集模块获取实时或者离线的场景影像，将影像转换成连续图片帧发送至影像处理模块的具体方法为：影像采集模块从外部输入设备获取实时影像，或者从本地打开保存的历史影像资料，根据数据源类型，对影像进行连续帧的提取，使用视频采集卡直接提取连续图片帧；对视频文件解码得到连续图片帧；这些连续图片帧被发送到影像处理模块。

3、根据权利要求1所述的一种面向社会治安监控的数字影像处理方法，其特征是步骤(2)的处理过程为：

(21)图像增强与复原模块对单帧图片进行图像增强与复原，图像增强采用基于Retinex色彩恒常理论的方法，图像复原采用MeanShift去模糊的方法；

(22)对于多帧图片，采用一种基于小波变换的序列彩色图像融合技术；

(23)运动检测与跟踪模块根据连续帧，首先使用GMM建立背景模型，根据当前帧与背景模型检测出运动目标，在整个迭代处理过程中，不断更新维护背景模型，检测出运动目标后，使用一种窗口划分和重组的跟踪方法来跟踪运动目标，得到目标的信息，影像处理模块将这些信息发送至场景抽象分析引擎。

4、根据权利要求1所述的一种面向社会治安监控的数字影像处理方法，其特征是步骤(3)的处理过程为：

(31)场景分割与摘要模块根据场景中每个运动目标的特征信息和所有运动目标的统计信息，对视频序列进行场景分割，并对分割好的场景片段分段提取关键帧，以上述提取好的信息为基础，根据已有聚类技术，对分割好的场景片段进行聚类，从而完成视频摘要；

(32)场景异常行为分析和挖掘模块中，采用数据流驱动改进后的隐马尔科夫模型进行建模，并且针对异常行为训练集过小的特殊情况，运用半监督算法进行训练，完成复杂场景下行为分析和事件挖掘，在此过程中，首先由目标跟踪提供的物体运动轨迹中计算出物体的18个基本特征，然后在训练中自动提取出最关键的特征数据，并训练出一个隐马尔可夫集成训练器，最终通过训练器投票的方式计算出该运动轨迹是否为异常，若为异常，运用适应技术建立一个新的训练器，从而提高了假真率和假假率。

5、实现如权利要求1所述的一种面向社会治安监控的数字影像处理方法的装置，其特征是该装置包括影像采集模块(1)、影像处理模块(2)和场景抽象分析引擎(3)。

6、根据权利要求5所述的一种面向社会治安监控的数字影像处理方法的装置，其特征是所述的影像处理模块(1)包括图像增强与复原模块、图像融合模块和运动检测与跟踪模块三个子模块。

7、根据权利要求5所述的一种面向社会治安监控的数字影像处理方法的装置，其特征是所述的场景抽象分析引擎(3)包括场景分割与摘要模块和场景异常行为分析和挖掘模块二个子模块。

Images