CN101572770B - 一种可用于实时监控的运动检测方法与装置 - Google Patents

Abstract

本发明公开了一种能够应用于视频监控的运动检测方法。该方法基于独立分量分析原理，将运动前景和环境背景作为整幅图像的主要组成成分，通过对两个观测矢量进行对应数据融合，调整在统计意义上相互独立的分量之间的混合关系，使之趋于线性组合。针对帧间随机采样噪声的干扰，在观测量中加入虚拟运动，在图像重构过程后滤除噪声。最后利用矩阵分离方法将固定不变的环境分量与运动分量分离，实现运动目标检测，最终检测出的目标区域以外接矩形框的形式标记于图像中。本发明同时公开一种运动检测装置，本发明所述的检测方法和装置能够较好的适应颜色复杂的监控环境，其设计实现是以周期处理的方式进行运动实时检测，自适应定位目标区域，是具有通用性的监控视觉处理手段。

Description

一种可用于实时监控的运动检测方法与装置

技术领域

本发明涉及智能监控中的图像处理领域，在摄像头静止情况下，对复杂环境中的运动目标进行实时检测与定位。

技术背景

运动目标检测是计算机图像、视频处理的基础，在工业、军事等领域中应用广泛。运动目标相对于环境属于前景，可以表达成运动前景区域的分割。虽然目标检测已经在计算机视觉检测中很常见，但是目前仍然有很多问题未能很好的解决，视场的光线变化，包括渐变、突变与反光等，往往会因为影响到整个视场的光线强度造成检测算法的不精确；遮挡问题，有可能在目标提取的过程中把遮挡的物体当作目标的一部分；背景干扰，比如摄相机抖动、树叶摇晃等，影响到整体背景环境。目前在视频监控领域比较流行的是背景差的方法，先根据拍摄到的前几帧序列进行计算，得到在摄像静止时的环境背景初始化模型，然后将模型与当前采集到的图像帧进行对比，在当前帧中剔除背景，保留前景运动信息，同时不断更新背景模型。这种方法易于实现，但是当摄像机随着监控的需要而改变视角时，初始的环境模型就无法继续使用，与模型进行比对参照的阈值也不一定能够适用于新的环境背景中，对户外光线变化适应能力不强。

随着视频监控领域对技术智能化要求的不断提高，需要将快速有效的，能够很好适应复杂环境的运动检测技术应用于监控系统。由于现代计算机技术的发展，运算处理速度比往年更快，使得一些较为鲁棒的视觉处理思路可以在运动检测方面得以应用。自主无监督的、实时有效的以及智能化的运动检测技术已经成为目前监控领域的技术方向，同时也是计算机视觉的一个前沿研究方向，具有广泛的应用前景和潜在的商业价值。

发明内容

本发明的目的是提供一种实时有效的运动检测方法，要解决的问题是针对镜头中的复杂监控场景进行鲁棒的运动区域检测，克服光线变化、颜色相近等常见的干扰因素，是一种比较通用的检测技术。同时提供一种运动检测装置。

本发明提供的检测技术方案为：基于独立分量分析原理(ICA)的运动目标检测方法，其特征在于步骤为：

(1)将相邻的第t-1帧图像和第t帧图像作为检测输入数据，按照行列形式展开成为一维矢量x_t-1和x_t，称为原始观测量；

(2)对两个观测量进行线形融合与数据修改。先加长原始观测量，在加长的部分中加入相对运动的数据，称为虚拟运动，然后设一个融合权值将两个向量按权值进行相互叠加，形成两个新的观测量x′_t-1和x′_t。

(3)将y′_t-1和y′_t送入FAST-ICA运算的输入口，经过矩阵分离计算得出在统计特征上不相关的两个向量，称为源分量，根据能量大小判断出是环境背景还是运动前景，定义运动区域为f_t。

(4)对判断出来的目标像素点进行连通区域连接，以外接矩形框的形式定位出各运动目标区域。

所述的基于独立分量分析的运动检测方法，是根据ICA原理来分析图像序列中运动前景与环境背景之间的变化关系。ICA能将由源分量线性组合的混合信号分离成近似于源分量的各信号，也就是将已经组合后的信号进行解析重构，分离出其中从统计特征上无关的各分量信号。当组合的各源信号满足统计特征上的无关性以及自身不属于正态分布，就能以ICA分离进行求解。序列图像中的运动与背景从直观上看已经满足无关性和不属于正态分布的条件，所以本发明中对图像序列使用分离运算。

所述步骤(2)中，为了使两帧图像中的运动量与背景环境的组合关系向线性关系靠拢，采取将两个观测量进行线性叠加的方法。叠加时背景相同的部分仍然属于背景区域，属于前景的部分在新的两个观测量中就形成一个整体，表示了两帧间的运动。新的背景部分与新的前景部分就组成新的观测区域，以不同的权值分布于两个新的观测量中。

所述步骤(3)中，FAST-ICA是快速的数值稳定的独立分量分析算法，利用分离矩阵方法，无监督的抽取混合信号中的统计独立特征，提取混合信号中的各个组成成分，通过随机梯度法调节分离矩阵最优化。定义近似最大化负熵作为用于非高斯性测量，其表达式如公式(1)和公式(2)，通过求出最大化的J来计算出分离矩阵。

J(y)＝[E{G(y)}-E{G(v)}]²        (1)

$G\left(u\right)=-e^{-\frac{u^2}{2}}---\left(2\right)$

式(1)中G是一任意非二次型函数，E是数学期望，y_i是具有零均值和单位方差的随机变量，v是具有零均值和单位方差的高斯随机变量。

一种运动检测装置，组成结构包括图像采集与检测处理两大单元。图像采集单元用于进行图像信息的传递，向处理单元传送当前帧，同时执行向指定路径的存储空间中传送单幅图像或视频序。处理单元承担运动检测任务，其中包括分量分解模块、区域定位模块、观测量融合转化模块、检测结果显示等功能模块。

与现有的技术相比，本发明的优点在于：

(1)从统计特征方面进行运动区域的检测，是从整体的信号差异来衡量运动和背景之间的关系，所以受到局部范围扰动和光线变化的影响不大。

(2)基于独立分量分析原理，将近似源分量的组合提取出来，也就是提取图像中的主要组成成分，其中包括背景量与运动量，这样就抑制了不属于主要成分的随机噪声，提高检测精度。

(3)利用矩阵分离运算找到运动区域，是一种根据整体统计特征进行的自适应过程，不需要设定分割阈值，对不同色彩的环境适应能力较好。

(4)仅在两帧之间做分析，节省了运算量和存储空间，与其他基于独立分量分析的方法相比，做到了实时处理的效果。

附图说明

图1是运动目标检测周期流程图；

图2是检测方法流程图；

图3是系统组成结构图；

图4是系统数据流图。

具体实施方式

在具体实施中，采用PC作为上位机，从摄像头中实时的采集连续图像信息，将当前帧送入后台进行观测量转化、矢量修改、FAST-ICA分解以及二维重构等处理，检测出运动目标区域，以最小外接矩形的形式定位目标区域，最终检测结果显示于操作面板的图片框中。

图1为本发明运动目标检测的周期流程图，显示了整个检测过程中所涉及到的主要步骤。按照先采集再处理最后显示的方法，在得到的图像序列中分割出运动目标。采用定时周期内处理的模式，在事先定义的时间间隔(如100ms)中，完成图示中的完整检测过程，反复循环这个周期，实现实时检测。具体描述如下：

步骤101，从摄像头中读取当前时刻的图像信息，图像尺寸大小为640×480，结构是三通道RGB格式，该图像就作为当前帧的原始数据。

步骤102，检测两帧之间存在的运动差异量，从统计特征方面分析运动与背景之间的关系，将背景与前景作为组成整幅图像信息的主要成分，融合两帧中对应的像素值，使得两帧图像接近于主要成分的线性组合，利用FAST-ICA将各组成分量分离出来，也就是实现运动与背景的分割。

所述运动差异量为两帧图像之间从像素值角度看发生变化的部分。当摄像头拍摄时，其位置没有发生移动，视场中的环境整体是不变的，只存在前景运动的变化。由于运动目标以一定的速度或角度在视场中移动，所以在连续的两帧中，运动目标的位置相对不一样，就造成某些区域中像素值发生变化。这些颜色变化反映在两帧图像中就属于运动区域。

所述统计特征为组成图像信息的主成分分布。由于ICA模型中源信号可以理解为一组随机变量，观测信号则是源分量的线性组合。根据中心极限定理的林德贝尔格条件：一组随机变量序列，存在各自的均值与方差，这一组随机变量标准化之后的和的分布收敛于高斯分布，观测信号应该比各源信号更接近于高斯分布，所以运动量检测可理解为一个非高斯特征的分离过程。

所述的对两帧间对应像素值进行融合也是为了降低观测量中主要成分的维数。由于ICA分解需要满足的前提假设为：(a)源信号矢量中各分量在统计特征上相互独立且至多只有一个分量服从高斯分布；(b)观测信号矢量的维数不小于源信号矢量维数。图像信息中的背景与前景从直观上看不属于高斯分布，通过融合使源分量与观测量的维数相当。当满足了两个假设条件后，就可以在两帧中进行源分量分离运算。以非高斯性作为度量，得到近似于两个分量(背景与前景)的信号，实现运动分割。

步骤103，把已经分离出来的具有一定连通性的运动像素区域划为整体，以最小外接矩形方式定位检测到的目标区域。这是由于帧间的运动差异并不是一个填充充分的区域，可能由部分较为分散的点集组成，就需要将他们合并，组成完整的目标区域描述。

步骤104，将标记了目标区域的图像显示于操作面板上，同时输出分割过程的中间数据，包括前景二值图像、背景二值图像以及提取的运动图像。

图2是检测方法流程图，具体实施方法如下：

步骤201，采集当前图像帧存放于事先定义的图像格式m_pFrame_rgb中，表示本次检测周期开始循环。之前先将m_pFrame_rgb本来存放的上一帧图像写入m_pFrame_rgb_last，作为帧间检测的原始数据。

步骤202，把二维的图像信号转化为一维矢量。图像本来是二维数组的矩阵形式，本步骤中按照每行首尾相接的方法，如第二行第一列的数据放在第一行最后列数据的后面，这样逐行将列数据写入一维数组中，形成长度为307200的矢量形式。由于需要在两帧中进行分解，把m_pFrame_rgb和m_pFrame_rgb_last均展开，生成两个原始观测量x_t-1和x_t

步骤203，在两个原始观测量中进行像素值融合，并加入虚拟运动。以权值

做融合如公式(3)和公式(4)。

$x_{t-1}^{\′}=\∂\·x_{t-1}+(1-\∂)\·x_t---\left(3\right)$

$x_t^{\′}=(1-\∂)\·x_{t-1}+\∂\·x_t---\left(4\right)$

由于运动差异与背景之间保持统计独立特性，当图像帧之间存在运动时，根据分离原理可以分离出运动量，也就是相对运动区域。但当帧间相对静止不存在运动时，非高斯分布的随机噪声可能会代替运动差异成为观测信号的主要成分之一。随机噪声的主要来源是采样量化过程中产生的波动，称为采样噪声。噪声波动的幅度并不是很高，但由于事先假设运动量和背景均为分布未知的随机变量，所以无法从概率分布的角度分辨出噪声与实际运动。

所述虚拟运动是在两个观测矢量之间加入的用来模拟存在运动的情况，抑制噪声带来的影响。增加观测矢量长度Δl，设本时刻的虚拟运动量为S(t，Δl)，前一时刻为S(t-1，Δl)，修改观测矢量如公式(5)和公式(6)。虚拟运动量是根据采集设备自身噪声量选取的，当虚拟运动量的总量超过采样噪声时，取代噪声成为主要成分之一而被分离出来。由于分离出来的两帧间相对运动只存在于虚拟状态，超出观测矢量长度的部分不属于二维图像重构范围，起到噪声抑制作用。

x″_t＝x′_t+S(t，Δl)                  (5)

x″_t-1＝x′_t-1+S(t-1，Δl)            (6)

步骤204，把观测量x″_t与x″_t-1做为FAST-ICA的输入端，进行以非高斯性为度量的分离过程。

所述的FAST-ICA分离过程是先将观测量进行均值归零和白化处理，使观测量x变换为具有单位方差的信号z，其中z的各分量之间相互正交，选择任意正交阵作为初始混解矩阵W，通过对W每一列的更新，实现各源分量的分离。

所述的更新混解矩阵过程如公式(7)和公式(8)，W是ICA分离矩阵，g是非二次型函数一阶导，先更新每一列w_j，再利用公式(9)来正交化混解矩阵，若矩阵变化收敛就表示W已经确定，若没有收敛继续重复进行更新列的操作。收敛后根据公式(10)计算两帧中出现的前景分量与背景分量，其中前景分量就表示运动目标区域所涉及的像素点集合。

$w_i^{+}=E\left\{\mathrm{zg}\left(w_i^{T}z\right)\right\}-E\left\{g\left(w_i^{T}z\right)\right\}{w}_i---\left(7\right)$

$g\left(u\right)={\mathrm{ue}}^{\frac{u^2}{2}}---\left(8\right)$

$W={\left({\mathrm{WW}}^T\right)}^{-\frac{1}{2}}W---\left(9\right)$

$\left[\begin{array}{c}{f}_t\\ b_t\end{array}\right]=W\·\left[\begin{array}{c}{x}_{t-1}^{\′}\\ x_t^{\′}\end{array}\right]---\left(10\right)$

步骤205，判断在源分量中是否有运动存在。在前述步骤204中，计算出混解矩阵W后进行公式(10)，计算出两个二值化的源分量f_t与b_t，其中f_t表示运动的前景区域，b_t表示没有变化的背景部分。按照所包含能量，也就是满足灰度255的像素点的多少来决定属于前景还是背景，较小的一方分f_t。若f_t中的满足灰度255的像素点超过一个目标所能包含的最小数目，就表示存在运动，否则表示没有运动存在，等待下一个周期的检测。将ICA的最初检测结果保存在m_pFrame_ica_display格式中，等待进一步的处理。

步骤206，是在判断出存在运动目标后，进行的区域连通处理。大致处理过程为：

a.取第t帧图像和第t+1帧图像，得出运动前景区域f_t+1，与上一次的结果f_t进行与运算，得到第t帧中真正的运动目标像素点；

b.从端点出发，搜寻白色像素点；

c.一旦找到，将该点附一个表示已经搜寻过并且属于一个区域的标记；

d.沿着这个标记，进行八个邻域的递归搜索，将找到的白色点都附上同一个标记，直到搜索结束；

e.继续寻找未标记过的白色点，重复(b)-(d)的过程，直到结束将区域定位结果画在m_pFrame_rgb中。

每个检测周期内都进行一次图2中的检测过程，将当前帧与前一帧进行帧间运动量的提取，然后对提取出来的连通运动区域进行定位，定位框的位置与原始视频相与，形成可视的检测结果图，显示于面板。

图3是运动目标检测系统组成结构，整个系统分为图像采集模块与检测处理模块两大部分。图像采集模块用于进行图像信息的传递，向处理模块传送当前帧，同时接收存储指令，执行向指定路径的存储空间中传送单幅图像或视频序列，其中定义了图像的高度、宽度、顺位以及OpenCV中的Ipl Image*格式来表示帧信息。检测处理模块承担运动检测的任务，每一个处理步骤都对应相应函数，处理过程中使用统一的数据定义与中间数据，其中定义了FAST-ICA矩阵分解、虚拟运动、矢量融合、转化等功能函数以及公有的中间数据包括分解运算中用到的前后帧图像m_pFrame_ica_a与m_pFrame_ica_b、前景显示图像m_pFrame_front、灰度图像m_pFrame_gray等。根据图示，具体的结构功能如下描述：

图像格式信息：含有帧高，帧宽，显示位置，彩色图像，灰度图像，视频头结构体，视频写入器结构体以及视频图像保存路径等数据。

单帧存储：响应单帧图像存储的操作命令，将当前周期内的实时图像保存于图像用BMP的格式保存路径下的存储空间。

视频存储：响应序列图像存储的操作命令，将当前周期及以后周期内的实时图像用AVI格式保存于视频保存路径下的存储空间。

观测量转化：实现将输入的二维图像信息转化为一维矢量结构，用于分解运算需要；同时也可以将输入的矢量重构为二维图像信息，便于显示分解结果和后续处理。

分解检测处理：包括FAST-ICA算法流程安排和相关计算函数。在程序启动时就创建临时存储空间，定义分解算法所需要的矩阵数据、虚拟运动量的长度与形式、融合参数等。

目标区域定位：实现连通区域连接功能，将属于同一个目标的像素点整合至同一个目标框中。

检测结果显示：实现各个阶段处理的显示功能，将原始图像、分解结果、连通区域、目标区域显示于操作面板上，直观的反映当前的运动目标检测结果。

图4是运动检测系统的数据流图。矩形表示数据的外部实体，包括摄像头、操作界面、显示界面；圆角的矩形表示变换数据的处理逻辑，包括数据存储、观测量转化、检测处理、区域定位；缺少右边界的矩形表示数据的存储，包括指定存储空间和临时空间。数据流图中各个流中的数据描述如下：

数据1：存储操作命令，流向数据存储处理，决定单帧存储或视频存储；

数据2：当前图像帧信息，流向数据存储处理以备进行存储，流向临时空间，用于下一周期处理时用，同时流向观测量转化处理，进行矢量展开；

数据3：由二维图像转化来的一维观测矢量；

数据4：需要重构成二维图像的观测矢量；

数据5：已经存在目标区域的各显示图像，其中被检测出来的运动目标是以最小外接矩形的形式标记出来。

数据6：信息保存格式，图像信息以BMP格式保存，视频信息以AVI格式保存。

数据7：前次周期中的图像帧信息。

由上述技术方案可见，本发明一种可用于实时监控的运动检测方法是利用当前图像帧与上一处理周期内的图像帧进行帧间运动量分离。观测量融合与加入的虚拟运动可以抑制帧间出现的不稳定采样噪声，达到基于FAST-ICA的分离算法对分量组合上的假设要求。以分布统计特征作为运动与环境的分离度量，同时仅在相邻的两帧之间进行检测，具有一定的对于环境光线变化抑制的能力，而且检测中不需要对前景背景的区别设定阈值，是一种实现自适应分割的方法。结合运动检测装置实现对检测到的运动目标进行区域定位，实时输出当前各目标的位置，以多种数据形式将检测结果显示于操作面板中。

Claims (8)

1.一种可用于实时监控的运动检测方法，其特征在于步骤为：

(1)将当前图像帧和序列中前一图像帧分别按照行列规律展开为一维矢量形式的原始观测量；

(2)由当前图象帧展开的一维矢量观测量和前一图象帧展开的一维矢量观测量根据设定权值得到两组线性融合观测量；延展线性融合观测量，延展的部分嵌入虚拟运动量，该虚拟运动量是根据采集设备自身噪声量选取的，且该虚拟运动量的总量大于采样噪声；

(3)按照独立分量分析分离步骤，分离两组含虚拟运动的观测量中在统计特征上不相关的两个源分量，根据能量大小判断出是环境背景还是运动前景；

(4)将判断出来的前景运动目标区域像素点进行连通区域连接，定位出各运动目标区域。

2.根据权利要求1所述的运动检测方法，其特征在于：所述步骤(1)中，把二维的图像信号转化为一维矢量；图像本来是二维数组的矩阵形式，本步骤中按照每行首尾相接的方法，第二行第一列的数据放在第一行最后列数据的后面，这样逐行将列数据写入一维数组中，形成矢量形式，生成两个原始观测量x_t-1和x_t。

3.根据权利要求1所述的运动检测方法，其特征在于：所述步骤(2)中，为了使两帧图像中的运动量与背景环境的组合关系向线性关系靠拢，采取将两个观测量进行线性叠加的方法；叠加时背景相同的部分仍然属于背景区域，属于前景的部分在新的两个观测量中就形成一个整体，表示了两帧间的运动；新的背景部分与新的前景部分就组成新的观测区域，以不同的权值分布于两个新的观测量中；以权值

做融合如公式(1)和公式(2)：

其中x_t表示t时刻采集到的图像帧转化来的观测量，x_t-1表示t-1时刻采集到的图像帧转化来的观测量，x′_t与x′_t-1是融合后的新的观测矢量。

4.根据权利要求1所述的运动检测方法，其特征在于：所述步骤(2)中，所述虚拟运动是在两个观测矢量之间加入的用来模拟存在运动的情况，抑制噪声带来的影响。

5.根据权利要求1所述的运动检测方法，其特征在于：所述步骤(3)中，采用快速独立分量分析对由图像二维信号转化来的一维观测矢量进行分解运算，以能量大小判断出是否有前景运动目标区域存在，若存在前景运动目标区域进行本周期的下一步处理，若不存在则等待下一周期处理。

6.一种可用于实时监控的运动检测装置，其特征在于：组成结构包括图像采集与检测处理两大单元；所述图像采集单元用于进行图像信息的传递，向检测处理单元传送当前帧，同时执行向指定路径的存储空间中传送单幅图像或视频序列；所述检测处理单元承担运动检测任务，其中包括分量分解模块、区域定位模块、观测量融合转化模块、检测结果显示模块；延展线性融合观测量，延展的部分嵌入虚拟运动量，该虚拟运动量是根据采集设备自身噪声量选取的，且该虚拟运动量的总量大于采样噪声。

7.根据权利要求6所述的一种可用于实时监控的运动检测装置，其特征在于：

所述的图像信息包括确定图像帧高度，宽度，彩色通道，视频头结构体，视频写入器结构体以及视频图像保存路径数据；

所述观测量融合转化模块实现的功能包括实现将输入的二维图像信息转化为一维矢量结构，用于分解运算需要；同时也可以将输入的矢量重构为二维图像信息，便于显示分解结果和后续处理；

所述分量分解模块的功能是采用快速独立分量分析，分离出观测量中相互独立存在的源分量，同时分配临时空间承载矩阵数据、虚拟运动量的长度与形式、融合参数；

所述区域定位模块的功能包括实现连通区域连接功能，将属于同一个目标的像素点整合至同一个目标框中；

所述检测结果显示模块的功能是实现各个阶段处理的显示功能，将原始图像、分解结果、连通区域、目标区域显示于操作面板上，直观的反映当前的运动目标检测结果。

8.根据权利要求7所述的一种可用于实时监控的运动检测装置，其特征在于：定义了基于检测的数据流图，外部实体包括采集、操作、显示；处理逻辑包括存储、观测量转化、检测处理、区域定位；数据存储包括指定存储空间和临时空间。

Images