CN102118561B - 监控系统中相机移动检测系统及方法 - Google Patents

Abstract

本发明揭示了一种监控系统中相机移动检测系统及方法，所述系统包括画面分割模块、特征提取模块、特征点匹配模块、运动矢量滤波模块、背景分割模块、移动判断模块。画面分割模块对参考帧和后续帧的画面进行分割；特征提取模块对参考帧和后续帧的画面进行特征提取；特征点匹配模块为后续帧中每一个小区域内的候选特征点在参考帧中找到相对应的匹配点；运动矢量滤波模块滤除运动矢量场中的错误匹配的特征点；背景分割模块分离出背景画面，并累计背景画面每一个小区域的静态累积次数；移动判断模块对每个特征点按区域位置标上记号，累积运动矢量为零的特征点，判断相机是否移动。本发明可检测出监控系统中相机的缓慢移动。

Description

监控系统中相机移动检测系统及方法

技术领域

本发明属于视频监控技术领域，涉及一种监控系统，尤其涉及一种监控系统中相机移动检测系统；同时，本发明还涉及一种监控系统中相机移动检测方法。

背景技术

随着监控系统网络的不断增大，网络中部署的相机不断增多，如城市交通监控系统，监控点多到数上万个，直至数数十万个以上。监控系统中的相机越来越多，无法安排足够的安防人员进行对每个相机的工作状态进行检查。很多相机由于长时间无人维护而无法正常工作，如干扰、虚焦、遮挡等，从而导致监控无法进行。实时检查相机的工作状态，需要相机本身的智能化，使得相机的检测自动化，对于现代的大型分布式监控系统，如城市安防，无论相机安装在多远的距离，或者什么地方，都可以在中心机房进行检测，且这种检测可同时进行，速度快，效率高。这种智能检测的内容包括：相机镜头的丢焦，镜头的缓慢移动造成场景渐变，镜头上积累了大量的灰尘，安装不稳、大风或震动造成的图像抖动，接触不良造成的信号不稳或信号干扰等。

相机缓慢移动是其中一项最重要也最常见的检测。户外相机固定在云台上，由于长期风吹雨淋日晒，螺丝锈蚀造成相机固定不稳，稍有风吹或地面震动导致画面移动，影响了视频录像的效果，更影响后期的智能视频分析。有的相机固定在一些比较高的架子上，受到支架附着物震动影响，比如安装在桥梁或高架、铁路边的相机，很容易受到经过的汽车、火车带来的地面震动而出现抖动。另外，有些罪犯为了能避开相机录像，有意将相机缓慢移动到监控画面外，使得监控画面无法监视犯罪事实。本发明就是针对相机的移动，包括快速、缓慢移动。该项功能采用数字图像处理技术，计算监控视频图像的移动速度，算法不受画面中运动物体或光线变化的干扰，能对相机的移动进行快速检测，及时做出报警。

现有的用来检测画面是否出现运动的方法包括：中国专利CN200580032022(检测照相机移动的系统和包括检测照相机移动的系统的照相机)，采用光学分光原理检测民用相机在拍摄中的晃动；中国专利CN01124045(数字相机检测移动的方法)用于检测场景中是否有运动物体，从而触发一些事件；中国专利CN200410101568(运动矢量检测装置以及移动图像照相机)是为了降低参考帧图像传输而进行运动区域检测。

然而，检测画面是否出现运动的经典算法是采用相邻图像差分法，这种算法速度快，但是容易受到光线变化的影响，因此人们提出了很多的改进算法。其中，专利号200710165357.5，名称为：监控系统中检测并抑制相机移动产生的影响的设备和方法，属三星电子株式会社北京三星通信技术研究有限公司。该发明专利针对运动检测中的误报警问题，当由于相机的移动被检测成场景中的物体运动而产生误报警时，判断这种报警的类型是否为由于相机移动造成的，从而达到抑制这种误报警。虽然该发明使用的方法是跟踪图像中像素值的变化范围来判断是否发生移动，但其检测方法的基础仍然是基于两幅图像间的相同位置像素强度值是否变化来判断，只是该发明利用了高斯统计模型，为每一个像素建立一个统计权限范围，在一定范围内变化的仍然当作背景，因此该发明虽然能部分抑制噪声、光照等影响，但是对光线变化比较敏感，特别当环境光变化过快时，比如雷电、太阳光变化、车灯照射、路灯等都会影响其算法性能，造成误判。

发明内容

本发明所要解决的技术问题是：提供一种监控系统中相机移动检测系统，可检测出监控系统中相机的缓慢移动，并对环境光强变化不敏感。

此外，本发明还提供一种监控系统中相机移动检测方法，可检测出监控系统中相机的缓慢移动，可做到对环境光强度变化不敏感。

为解决上述技术问题，本发明采用如下技术方案：

一种监控系统中相机移动检测系统，所述系统包括：

画面分割模块，用以对参考帧和后续帧的画面进行分割；

特征提取模块，用以对参考帧和后续帧的画面进行特征提取，每个区域提取至少一个特征点；

特征点匹配模块，用以为后续帧中每一个小区域内的候选特征点在参考帧中找到相对应的匹配点，计算特征点的运动矢量，得到整个画面的运动矢量场；

运动矢量滤波模块，用以根据检测阈值和上下文关系，滤除运动矢量场中的错误匹配的特征点；

背景分割模块，用以分离出背景画面，并累计背景画面每一个小区域的静态累积次数；

移动判断模块，用以对每个特征点按区域位置标上记号，累积运动矢量为零的特征点，当图像中的特征点累积次数大于设定阈值，认为相机静止，否则认为相机移动。

作为本发明的一种优选方案，所述画面分割模块将参考帧和后续帧的画面分割为大小相等的小区域；所述特征提取模块对参考帧和后续帧的画面进行特征提取，每个区域提取一个最大特征点。

作为本发明的一种优选方案，所述特征点匹配模块将参考帧中的特征点与后续帧中提取出来的特征点按匹配规则进行对应点匹配计算，计算出每个区域中相对应的所有特征点；采用点点匹配或点集匹配方法；

点点匹配方法为：首先将图像中的子区域编号；后续帧中每个区域包括一代表特征点、若干个候选特征点；将参考帧中的特征点与后续帧中来自相同区域位置的代表特征点及候选特征点进行匹配；匹配度最大的点的匹配度如果大于可信阈值Tm，则该点为匹配点；如果该区域没有点匹配，再与周围其他区域的特征点进行匹配；与周围点匹配时，先与代表特征点进行匹配，如果没有匹配点，再与候选特征点匹配，直至找到匹配特征点；参考帧中的特征点在后续帧中找到相对应的匹配特征点后，计算特征点的运动矢量，得到整个画面的运动矢量场；没有找到对应特征点的，运动矢量置为负值；

对于没有找到匹配点的特征点t_x，并非立即从特征点集合T(t₁，t₂，...t_x...t_n)中剔除，而是做上标记t_x’＝＞T(t₁，t₂，...t_x’...t_n)，只有这些点经过多次匹配后仍然没有找到匹配点，如果经过一段时间后找到了匹配点，重新将该点的标志置为有效特征点；无效特征点的运动矢量计为一1，不影响后续的移动判断；

特征点之间的匹配方法采用特征矢量匹配，每个特征点根据周边像素点建立该点的特征矢量；然后计算特征矢量之间的距离，距离最小的为匹配点；

建立特征矢量的方法包括：

从第K帧f_k中找到候选的特征点后，按照上述特征检测方法为第K-1帧f_k-1中的F_i ^(k-1)建立特征矢量，每次获得两种特征：拐点或直线，建立一个多维特征矢量；当相应的特征值大于检测阈值时，矢量单元值为1，否则为0；

在f_k中为每一个候选的特征点建立扩展特征矢量fv(i，k，j)，所有的候选特征点检测完毕后，这些特征矢量构成一个特征矢量族：

从候选特征点中找出对应特征点的问题，于是便成了从这些候选的扩展特征矢量FV中，找出和fv(i，k-1)之间的绝对值距离最小的矢量；定义特征矢量间的欧氏距离DFV.：

$\mathrm{DFV}=\underset{j=1}{\overset{72}{\mathrm{\Σ}}}{[\mathrm{fv}(i,k,j,m)-\mathrm{fv}(i,k-1,m)]}^2$

当DFV最小时，即矢量间的距离最小时，该位置即为匹配位置，于是得到该点的运动矢量

计算出所有的特征点运动矢量后，以平均值作为两帧图像间的运动矢量。

作为本发明的一种优选方案，所述运动矢量滤波模块利用匹配阈值滤除错误匹配点，所有特征点运动矢量建立了画面的运动矢量场，通过矢量场中相近特征矢量间的上下文关系，滤除错误匹配矢量。

作为本发明的一种优选方案，所述运动矢量滤波模块计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差大于设定值，则取中值代替原有值。

作为本发明的一种优选方案，所述背景分割模块使用K-mean聚类分析法，将所有匹配到的特征点进行分类，分类后的特征点分布在几个特征点集中，根据每个点集的中心运动矢量确定为背景还是运动物体。

作为本发明的一种优选方案，所述移动判断模块的判断方法为：滤波后的矢量场中，若某区域运动矢量为零，则判断该区域为静态背景区域，其连续出现的次数Ts进行累计，一旦该区域运动矢量为非零，则重新开始累计；当Ts＞Th时，则判断相机静止，否则，判断相机正在移动；Th为设定的最小阈值静止次数；相机移动后，移动累加变量Mv加1；如果某帧为静止帧，无论Mv值为多少，立即对Mv清零；当Mv大于阈值Mh时，进行移动报警。

所述系统进一步包括参考帧更新模块，参考帧更新是根据两种条件：时间累加器是否超过阈值Tt，当前帧是否为移动帧；如果是移动状态，超过报警时间，也要更新参帧。

一种监控系统中相机移动检测方法，所述移动检测方法包括如下步骤：

画面分割步骤，对参考帧和后续帧的画面进行分割；

特征提取步骤，对参考帧和后续帧的画面进行特征提取，每个区域提取至少一个特征点；

特征点匹配步骤，为后续帧中每一个小区域内的候选特征点在参考帧中找到相对应的匹配点，计算特征点的运动矢量，得到整个画面的运动矢量场；

运动矢量滤波步骤，根据检测阈值和上下文关系，滤除运动矢量场中的错误匹配的特征点；

背景分割步骤，分离出背景画面，并累计背景画面每一个小区域的静态累积次数；

移动判断步骤，对每个特征点按区域位置标上记号，累积运动矢量为零的特征点，当图像中的特征点累积次数大于设定阈值，认为相机静止，否则认为相机移动。

作为本发明的一种优选方案，所述特征点匹配步骤中，将参考帧中的特征点与后续帧中提取出来的特征点按匹配规则进行对应点匹配计算，计算出每个区域中相对应的所有特征点；采用点点匹配或点集匹配方法；

点点匹配方法为：首先将图像中的子区域编号；后续帧中每个区域包括一代表特征点、若干个候选特征点；将参考帧中的特征点与后续帧中来自相同区域位置的代表特征点及候选特征点进行匹配；匹配度最大的点的匹配度如果大于可信阈值Tm，则该点为匹配点；如果该区域没有点匹配，再与周围其他区域的特征点进行匹配；与周围点匹配时，先与代表特征点进行匹配，如果没有匹配点，再与候选特征点匹配，直至找到匹配特征点；参考帧中的特征点在后续帧中找到相对应的匹配特征点后，计算特征点的运动矢量，得到整个画面的运动矢量场；没有找到对应特征点的，运动矢量置为负值；

对于没有找到匹配点的特征点t_x，并非立即从特征点集合T(t₁，t₂，...t_x...t_n)中剔除，而是做上标记t_x’＝＞T(t₁，t₂，...t_x’...t_n)，只有这些点经过多次匹配后仍然没有找到匹配点，如果经过一段时间后找到了匹配点，重新将该点的标志置为有效特征点；无效特征点的运动矢量计为-1，不影响后续的移动判断；

特征点之间的匹配方法采用特征矢量匹配，每个特征点根据周边像素点建立该点的特征矢量；然后计算特征矢量之间的距离，距离最小的为匹配点；

建立特征矢量的方法包括：

从第K帧f_k中找到候选的特征点后，按照上述特征检测方法为第K-1帧f_k-1中的F_i ^(k-1)建立特征矢量，每次获得两种特征：拐点或直线，建立一个多维特征矢量；当相应的特征值大于检测阈值时，矢量单元值为1，否则为0；

在f_k中为每一个候选的特征点建立扩展特征矢量fv(i，k，j)，所有的候选特征点检测完毕后，这些特征矢量构成一个特征矢量族：

从候选特征点中找出对应特征点的问题，于是便成了从这些候选的扩展特征矢量FV中，找出和fv(i，k-1)之间的绝对值距离最小的矢量；定义特征矢量间的欧氏距离DFV：

$\mathrm{DFV}=\underset{j=1}{\overset{72}{\mathrm{\Σ}}}{[\mathrm{fv}(i,k,j,m)-\mathrm{fv}(i,k-1,m)]}^2$

当DFV最小时，即矢量间的距离最小时，该位置即为匹配位置，于是得到该点的运动矢量

计算出所有的特征点运动矢量后，以平均值作为两帧图像间的运动矢量。

作为本发明的一种优选方案，所述运动矢量滤波步骤中，利用匹配阈值滤除错误匹配点，所有特征点运动矢量建立了画面的运动矢量场，通过矢量场中相近特征矢量间的上下文关系，滤除错误匹配矢量。

作为本发明的一种优选方案，所述运动矢量滤波步骤中，计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差大于设定值，则取中值代替原有值。

作为本发明的一种优选方案，所述背景分割步骤中，使用K-mean聚类分析法，将所有匹配到的特征点进行分类，分类后的特征点分布在几个特征点集中，根据每个点集的中心运动矢量确定为背景还是运动物体。

作为本发明的一种优选方案，所述移动判断步骤的判断方法为：滤波后的矢量场中，若某区域运动矢量为零，则判断该区域为静态背景区域，其连续出现的次数Ts进行累计，一旦该区域运动矢量为非零，则重新开始累计；

当Ts＞Th时，则判断相机静止，否则，判断相机正在移动；Th为设定的最小阈值静止次数；

相机移动后，移动累加变量Mv加1；

如果某帧为静止帧，无论Mv值为多少，立即对Mv清零；

当Mv大于阈值Mh时，进行移动报警。

本发明的有益效果在于：本发明提出的监控系统中相机移动检测系统及方法，由于场景亮度变化导致错误的移动检测问题，而且不需要对图像中的每个像素进行计算，只需要在后续帧中跟踪提取到的特征点即能进行移动判断，算法速度也明显提高。

本发明对画面背景中的静止区域具有记忆能力，最小记忆区域为整个画面的1/64，只要1/64的画面被检测没有移动，就可做出正确判断。

本发明在跟踪特征点时，将这些特征点进行分类后分别跟踪，并对每一类集合中的所有点单独计算器运动矢量，根据运动矢量范围不断从点集中剔除旧点，同时新增被判断为背景上的特征点。因此，即便画面中出现大量的运动物体干扰，仍然能够正确有效地检测。

本发明在进行特征点匹配时使用了特点矢量距离来验证两点间的匹配关系，可检测到最小为半像素的细小位移。

附图说明

图1是本发明检测相机的缓慢移动方法的整个工作流程图。

图2是本发明中所有设备之间逻辑构成的框图。

图3是特征点匹配过程图。

图4是运动矢量场的滤波过程图。

图5是静态与动态背景分割示意图。

图6是背景移动判断逻辑流程图。

图7是画面分割示意图。

图8是特征点与候选点匹配示意图。

图9是建立特征矢量示意图。

图10是一个视频检测结果示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

请参阅图2，本发明揭示了一种监控系统中相机移动检测系统，所述系统包括依次连接的图像获取模块100、画面分割及特征提取模块200、特征点匹配模块300、运动矢量滤波模块400、背景分割模块500、移动判断模块600，所述图像获取模块100及特征点匹配模块300之间还设有参考帧更新模块700。以下分别介绍各模块。

【图像获取模块】

图像获取模块100用以获取监控系统中相机采集的图像。

【画面分割及特征提取模块】

图3为画面分割与特征提取模块200工作的流程图，画面分割及特征提取模块200用以分割图像和提取特征点；包括画面分割模块、特征提取模块。

画面分割模块用以对参考帧和后续帧的画面进行分割；特征提取模块用以对参考帧和后续帧的画面进行特征提取，每个区域提取至少一个特征点。

优选地，所述画面分割模块将参考帧和后续帧的画面分割为大小相等的小区域；所述特征提取模块对参考帧和后续帧的画面进行特征提取，每个区域提取一个最大特征点。

【特征点匹配模块】

特征点匹配模块300用以为后续帧中每一个小区域内的候选特征点在参考帧中找到相对应的匹配点，计算特征点的运动矢量，得到整个画面的运动矢量场。

特征点匹配模块300将参考帧中的特征点与后续帧中提取出来的特征点按匹配规则进行对应点匹配计算，计算出每个区域中相对应的所有特征点。

常见的匹配方法有两种：点点匹配和点集匹配，各有利弊。本实施例为了加快匹配速度，改进了惯用的点与多点匹配方法。首先将图像中的子区域编号；为了降低误匹配，后续帧中每个区域除了代表点(代表特征点)之外，还有两三个特征强度略低的候选点(候选特征点)，这些点都是相似候选点。同时，为防止特征点移动到该区域外，将当前点的上下左右8个相邻区域中的代表特征点都包含在待匹配特征点集合中。因此，参考帧中的每一个特征点在后续帧中的可能存在多个候选点。

匹配过程为：将参考帧中的特征点，与后续帧中来自相同区域位置的特征点进行匹配，包括候选点，如图8所示。匹配度最大的点的匹配度如果大于可信阈值Tm，则该点为匹配点。如果该区域没有点匹配，再与周围8各区域的特征点进行匹配。为了加快匹配速度，与周围点匹配的时候，先与代表点进行匹配，如果没有匹配点，再与候选点匹配，直至找到匹配特征点。参考帧中的特征点在后续帧中找到相对应的匹配特征点后，计算特征点的运动矢量，得到整个画面的运动矢量场。没有找到对应特征点的，运动矢量置为负值。

考虑到运动物体对背景的遮挡，有些特征点可能暂时被遮挡，因此，对于没有找到匹配点的特征点t_x，并非立即从特征点集合T(t₁，t₂，...t_x...t_n)中剔除，而是做上标记t_x’＝＞T(t₁，t₂，...t_x’...t_n)，只有这些点经过多次匹配后仍然没有找到匹配点，如果经过一段时间后找到了匹配点，重新将该点的标志置为有效特征点。无效特征点的运动矢量计为-1，不影响后续的移动判断。

为了降低光照变化带来的干扰，特征点之间的匹配方法采用特征矢量匹配，每个特征点根据周边像素点建立该点的特征矢量，如图9所示。然后计算特征矢量之间的距离，距离最小的为匹配点。

建立特征矢量的方法如下：

从第K帧f_k中找到候选的特征点后，按照上面的特征检测方法为第K-1帧f_k-1中的F_i ^(k-1)建立特征矢量，每次获得两种特征：拐点或直线，建立一个8维特征矢量(c₁，c₂，c₃，c₄，1₁，1₂，1₃，1₄，)。当相应的特征值大于检测阈值时，矢量单元值为1，否则为0。按此方法，图9中的特征点矢量是(0，0，0，0，0，1，0，0)，通常特征点具有多种特征，因此矢量中不止一个单元为1。该特征向量反映了该点的特征，但是从图9中可以看出，这条水平线实际上是位于一个十字的右臂上，仅从这一个特征，邻域内水平线上的所有点都符合要求，必然会出现错误匹配。

但是如果能对其扩展获得更多的特征，就能提高匹配精度，消除错误匹配。下面对该特征向量进行扩展：取f_k-1中以F_i ^(k-1)为中心的9×9的邻域图像，分成9个大小为3×3的块。

在每一个块里进行拐点和直线检测，共检测出9个矢量，将这9个矢量合并成一个特征矢量，于是为每一个候选特征点建立了一个9×8＝72维的扩展特征矢量fv(i，k-1)＝[(c_1，1，c_1，2，c_1，3，c_1，4，1_1，1，1_1，2，1_1，3，1_1，4)；....(c_9，1，c_9，2，c_9，3，c_9，4，1_9，1，1_9，2，1_9，3，1_9，4)]。

同理，在f_k中为每一个候选的特征点建立扩展特征矢量fv(i，k，j)，所有的候选特征点检测完毕后，这些特征矢量构成一个特征矢量族：

从候选特征点中找出对应特征点的问题，于是便成了从这些候选的扩展特征矢量FV中，找出和fv(i，k-1)之间的绝对值距离最小的矢量。定义特征矢量间的欧氏距离DFV：

$\mathrm{DFV}=\underset{j=1}{\overset{72}{\mathrm{\Σ}}}{[\mathrm{fv}(i,k,j,m)-\mathrm{fv}(i,k-1,m)]}^2$

当DFV最小时，即矢量间的距离最小时，该位置即为匹配位置，于是得到该点的运动矢量

计算出所有的特征点运动矢量后，以平均值作为两帧图像间的运动矢量。

这种对应特征点的确定方法，虽然也是运用了特征点周围像素的灰度信息，但是并不是简单地利用灰度曲面匹配方式，而是利用特征点周围的画面结构特征进行确认，比直接采用灰度匹配的方法，具有更好的噪声容错性。

【运动矢量滤波模块】

图4为运动矢量场建立与滤波模块的具体步骤；该模块负责将滤除运动矢量场中的错误匹配的特征点。即使使用上述特征点匹配模块，仍不能保证得到的匹配点是正确的。根据画面运动连续性的特点，对画面的运动矢量场中的运动矢量进行低通滤波，得到相对稳定的运动场。

运动矢量滤波模块400用以根据检测阈值和上下文关系，滤除运动矢量场中的错误匹配的特征点。所述运动矢量滤波模块400利用匹配阈值滤除错误匹配点，所有特征点运动矢量建立了画面的运动矢量场，通过矢量场中相近特征矢量间的上下文关系，滤除错误匹配矢量。

优选地，所述运动矢量滤波模块400计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差大于设定值，则取中值代替原有值。

【背景分割模块】

图5为背景分割模块500的具体步骤，背景分割模块500用以分割画面的背景与运动物体。画面中的运动物体是除了静态背景以外的所有移动目标，包括由于风吹可能导致错误。有时候图像中某些细节出现偶然的周期性重复也会造成错误匹配。

背景分割模块500分离出背景画面，并累计背景画面每一个小区域的静态累积次数。

优选地，本实施例中，所述背景分割模块500使用K-mean聚类分析法，将所有匹配到的特征点进行分类，分类后的特征点分布在几个特征点集中，根据每个点集的中心运动矢量确定为背景还是运动物体。

【移动判断模块】

移动判断模块600用以对每个特征点按区域位置标上记号，累积运动矢量为零的特征点，当图像中的特征点累积次数大于设定阈值，认为相机静止，否则认为相机移动。

图6为移动判断模块600的详细步骤，移动判断模块600是最终决定相机是否移动的关键逻辑算子。滤波后的矢量场中，某区域运动矢量为零，则为静态背景区域，其连续出现的次数Ts进行累计，一旦该区域运动矢量为非零，则新开始累计。当Ts＞Th时，则相机静止，否则，相机正在移动。相机移动后，移动累加变量Mv加1。如果某帧为静止帧，无论Mv值为多少，立即清零。当Mv大于阈值Mh时，进行移动报警。

以上介绍了本发明监控系统中相机移动检测系统，本发明在揭示上述监控系统中相机移动检测的同时，还揭示了上述系统的相机移动检测方法；请参阅图1，本发明监控系统中相机移动检测方法包括如下步骤：

【步骤S100】获取图像，检测模块从前端设备获取当前帧数字图像。

【步骤S200】画面分割与特征提取。先进行画面分割，在每一个区域里提取一个特征点最为代表点。提取的特征为结点，包括十字点和拐点，其中特征值最大的点作为代表点。后续帧采用同样的画面分割和特征提取算子提取特征。

【步骤S300】判断是否为参考帧，如果是第一帧或者前一帧有更新参考帧标记，则该帧为参考帧。

【步骤S400】当前帧是参考帧，提取完特征后立即更新参考证，然后返回步骤S100，获得下一帧图像。如果步骤S300判断不是参考帧，转到步骤S500。

【步骤S500】进行特征点匹配。特征点匹配算法，将参考帧中的特征点与后续帧中提取出来的特征点按匹配规则进行对应点匹配计算，计算出每个区域中相对应的所有特征点。

常见的匹配方法有两种；点点匹配和点集匹配，各有利弊。本专利为了加快匹配速度，改进了点点匹配方法：首先将图像中的子区域编号。为了降低误匹配，后续帧中每个区域除了代表点之外，还有两三个特征强度略低的特征点，这些点都是候选点。因此，参考帧中的每一个特征点在后续帧中的可能存在多个候选点。匹配分为两步：第一步，将参考帧中的特征点，与后续帧中来自相同区域位置的特征点进行匹配，包括候选点，如图8所示。匹配度最大的点的匹配度如果大于可信阈值Tm，则该点为匹配点。如果该区域没有点匹配，再与周围8各区域的特征点进行匹配。为了加快匹配速度，与周围点匹配的时候，先与代表点进行匹配，如果没有匹配点，再与候选点匹配，直至找到匹配特征点。参考帧中的特征点在后续帧中找到相对应的匹配特征点后，计算特征点的运动矢量，得到整个画面的运动矢量场。没有找到对应特征点的，运动矢量置为负值。

为了降低光照变化带来的干扰，特征点之间的匹配方法采用特征矢量匹配，每个特征点根据周边像素点建立该点的特征矢量，如图9所示。然后计算特征矢量之间的距离，距离最小的为匹配点。

建立特征矢量的方法如下：

从第K帧f_k中找到候选的特征点后，按照上面的特征检测方法为第K-1帧f_k-1中的F_i ^(k-1)建立特征矢量，每次获得两种特征：拐点或直线，建立一个8维特征矢量(c₁，c₂，c₃，c₄，1₁，1₂，1₃，1₄，)。当相应的特征值大于检测阈值时，矢量单元值为1，否则为0。按此方法，图9中的特征点矢量是(0，0，0，0，0，1，0，0)，通常特征点具有多种特征，因此矢量中不止一个单元为1。该特征向量反映了该点的特征，但是从图9中可以看出，这条水平线实际上是位于一个十字的右臂上，仅从这一个特征，邻域内水平线上的所有点都符合要求，必然会出现错误匹配。

但是如果能对其扩展获得更多的特征，就能提高匹配精度，消除错误匹配。下面对该特征向量进行扩展：取f_k-1中以F_i ^(k-1)为中心的9×9的邻域图像，分成9个大小为3×3的块。

在每一个块里进行拐点和直线检测，共检测出9个矢量，将这9个矢量合并成一个特征矢量，于是为每一个候选特征点建立了一个9×8＝72维的扩展特征矢量fv(i，k-1)＝[(c_1，1，c_1，2，c_1，3，c_1，4，1_1，1，1_1，2，1_1，3，1_1，4)；....(c_9，1，c_9，2，c_9，3，c_9，4，1_9，1，1_9，2，1_9，3，1_9，4)]。

同理，在f_k中为每一个候选的特征点建立扩展特征矢量fv(i，k，j)，所有的候选特征点检测完毕后，这些特征矢量构成一个特征矢量族：

从候选特征点中找出对应特征点的问题，于是便成了从这些候选的扩展特征矢量FV中，找出和fv(i，k-1)之间的绝对值距离最小的矢量。定义特征矢量间的欧氏距离DFV：

$\mathrm{DFV}=\underset{j=1}{\overset{72}{\mathrm{\Σ}}}{[\mathrm{fv}(i,k,j,m)-\mathrm{fv}(i,k-1,m)]}^2$

当DFV最小时，即矢量间的距离最小时，该位置即为匹配位置，于是得到该点的运动矢量

计算出所有的特征点运动矢量后，以平均值作为两帧图像间的运动矢量。

这种对应特征点的确定方法，虽然也是运用了特征点周围像素的灰度信息，但是并不是简单地利用灰度曲面匹配方式，而是利用特征点周围的画面结构特征进行确认，比直接采用灰度匹配的方法，具有更好的噪声容错性。

【步骤S600】建立运动矢量场。计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计。将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波。采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确。如果两者相差较大，则取中值代替原有值。滤波后的矢量场里，滤除了错误匹配的矢量。

【步骤S700】背景分割。画面中存在运动物体，对运动矢量场扫描，凡是该特征点的运动矢量为零的，判断该区域为候选的静止背景区域，否则，认为该区域为运动区域。经过分割后的画面分为静态背景和动态区域，可以滤除树叶等小运动物体。

【步骤S800】静止与运动统计。所有的静态小区域，其连续出现的次数Ts进行累计，一旦该区域运动矢量为非零，则新开始累计。当Ts＞Th时，则相机静止，否则，相机正在移动。相机移动后，移动累加变量Mv加1。如果某帧为静止帧，无论Mv值为多少，立即清零。当Mv大于阈值Mh时，进行移动报警。

【步骤S900】移动判断。检查所有追踪到的运动矢量为零的特征点，当其中某一点的最大累积次数超过一阈值时，认为该帧为静止帧。如果所有点的运动矢量都不为零，后者静止矢量点的累积次数没达到阈值，认为该帧运动。

图10中，小方框为响应特征点的上次位置，十字为当前位置。画面上方的车辆在等绿灯，下方为停车场的车辆，这些车辆上的特征点运动矢量都为0，画面中央一辆运动的汽车，可以看到检测出的运动矢量线，从小方框到十字的方向为运动方向。该次检测结果为静止。

综上所述，本发明提出的监控系统中相机移动检测系统及方法，由于场景亮度变化导致错误的移动检测问题，而且不需要对图像中的每个像素进行计算，只需要在后续帧中跟踪提取到的特征点即能进行移动判断，算法速度也明显提高。

本发明对画面背景中的静止区域具有记忆能力，最小记忆区域为整个画面的1/64，只要1/64的画面被检测没有移动，就可做出正确判断。

本发明在跟踪特征点时，将这些特征点进行分类后分别跟踪，并对每一类集合中的所有点单独计算器运动矢量，根据运动矢量范围不断从点集中剔除旧点，同时新增被判断为背景上的特征点。因此，即便画面中出现大量的运动物体干扰，仍然能够正确有效地检测。

本发明在进行特征点匹配时使用了特点矢量距离来验证两点间的匹配关系，可检测到最小为半像素的细小位移。

实施例二

本实施例中，本发明相机移动检测系统包括：

画面分割和特征提取模块，为每个子区域提取一个代表性特征点；

特征点匹配模块，将每一个候选特征点在后续帧中找到相对应的匹配特征点，计算特征点的运动矢量，得到整个画面的运动矢量场；

滤波模块，负责将滤除运动矢量场中的错误匹配的特征点；

运动更新模块，对每个特征点按区域位置标上记号，累积运动矢量为零的特征点的静止次数，一旦该点有运动，即运动矢量不为零，其静止次数累积值立即清零。

移动判断模块，当图像中的特征点累积次数大于一个阈值，可认为相机静止，否则当作相机移动。

本发明提供了检查相机是否移动的方法，包括进行特征提取的方法、快速进行帧间特征点的匹配方法、追踪方法，基于统计分类的运动区域和背景区域分割方法，特征矢量场中特征点更新的方法，和相机是否移动的判断方法。具体分为以下几步：

步骤1，获取当前帧数字图像。

步骤2，将画面分割成许多小块，每一个区域里提取一个特征点做为代表点。所有后续帧都使用该步骤提到的方法来分割画面和提取特征。

步骤3，判断该帧类型，即是否为参考帧。

步骤4，如果当前帧是参考帧，提取完特征后立即回到第一步。如果不是参考帧，转到下一步。

步骤5，当前帧中的所有特征点与参考帧中的特征点进行匹配计算。计算的时候，采用点点匹配法，但是当前帧中的每一个点都要在参考帧的相邻区域内找到多个点进行匹配，避免误匹配。

步骤6，根据所有点的运动矢量建立场景运动矢量场，然后进行滤波以剔除无效匹配点。参考帧中的无效匹配点并不立即删除，只是做上标记，因为有些点只是因为运动物体的遮挡而短时间消失。滤波能消除绝大部分错误匹配。

步骤7，背景分割。使用K-mean聚类分析法，将所有匹配到的特征点进行分类，分类后的特征点分布在几个特征点集中，根据每个点集的中心运动矢量确定为背景还是运动物体，点集分类法可以滤除树叶等小运动物体。

步骤8，静止与运动统计。静态区域点集中的每个点，累计其出现的次数Ts，一旦该区域运动矢量不为零，次数累计值Ts立即置零，重新开始累计。而当Ts＞Th(Th为设定的最小阈值静止次数)时，判定该点为静止点。相机移动后，移动累加变量Mv加1。反过来，如果判定某帧为静止帧，无论Mv值为多少，立即清零。

步骤9，移动判断。检查所有追踪到的运动矢量为零的特征点，只有画面中所有点都被判定为非静止点时，才判定相机正在移动。只要其中有且仅有一个点的静止累积次数超过预设的阈值时，即可认为该帧为静止帧。如果所有点的运动矢量都不为零，当Mv大于阈值Mh时，才进行移动报警。移动报警后，如果后续静止矢量点的累积次数也没达到阈值，仍然判断该帧为运动帧。

整个移动检测方法采用C语言编写所有的软件模块，因此，本发明可以驻留在智能相机的内部电路中运行，也可以安装在监控系统的智能服务器中，作为一个独立的功能模块运行，不影响其他功能。同时，算法所依托的硬件实体不限，即便是FPGA等，也可以通过简单的改写就能运行。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (4)

1.一种监控系统中相机移动检测方法，其特征在于，所述移动检测方法包括如下步骤：

画面分割步骤，对参考帧和后续帧的画面进行分割；

特征提取步骤，对参考帧和后续帧的画面进行特征提取，每个区域提取至少一个特征点；

特征点匹配步骤，为后续帧中每一个小区域内的候选特征点在参考帧中找到相对应的匹配点，计算特征点的运动矢量，得到整个画面的运动矢量场；

运动矢量滤波步骤，根据检测阈值和上下文关系，滤除运动矢量场中的错误匹配的特征点；

背景分割步骤，分离出背景画面，在所述滤波后的运动矢量场中，若某区域运动矢量为零，则判断该区域为静态背景区域；

静止与运动统计步骤，累计背景画面每一个静态小区域连续出现的次数Ts，一旦该区域运动矢量为非零，则重新开始累计Ts，当Ts>Th时，则判断所述后续帧静止，否则，判断所述后续帧正在移动，Th为设定的最小阈值静止次数，如果所述后续帧移动，则将移动累加变量Mv加1，如果所述后续帧为静止帧，则无论Mv值为多少，立即对Mv清零，当Mv大于阈值Mh时，进行移动报警；

移动判断步骤，对所述后续帧的每个特征点按区域位置标上记号，当所述后续帧图像中运动矢量为零的特征点的特征点累积次数大于设定阈值，认为所述后续帧静止，否则仍然认为所述后续帧移动，如果所述后续帧移动，则重新累积所述后续帧中运动矢量为零的特征点。

2.根据权利要求1所述的监控系统中相机移动检测方法，其特征在于：

所述运动矢量滤波步骤中，利用匹配阈值滤除错误匹配点，所有特征点运动矢量建立了画面的运动矢量场，通过矢量场中相近特征矢量间的上下文关系，滤除错误匹配矢量。

3.根据权利要求1所述的监控系统中相机移动检测方法，其特征在于：

所述运动矢量滤波步骤中，计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差大于设定值，则取中值代替原有值。

4.根据权利要求1所述的监控系统中相机移动检测方法，其特征在于：

所述背景分割步骤中，使用K-mean聚类分析法，将所有匹配到的特征点进行分类，分类后的特征点分布在几个特征点集中，根据每个点集的中心运动矢量确定为背景还是运动物体。

Images