CN102609957A - 一种摄像装置画面偏移检测方法及系统 - Google Patents

Abstract

本发明揭示了一种摄像装置画面偏移检测方法及系统，所述方法包括：画面分割与特征提取步骤；将画面分割成若干小块区域，每一个区域里提取一个特征点作为代表点；特征点匹配步骤；对参考帧和后续帧中的特征点进行匹配，从而计算出每个点的运动矢量；运动矢量滤波步骤；利用匹配阈值滤除错误匹配点，所有特征点运动矢量建立画面的运动矢量场，通过矢量场中相近特征矢量间的上下文关系，滤除错误匹配矢量；背景分割步骤；根据运动矢量值，将静态背景区域从画面中分割出来；移动判断步骤；根据静态区域积累的次数来判断摄像装置是否移动。本发明解决了由于场景亮度变化导致错误的移动检测问题，且不需要对图像中的每个像素进行计算，速度明显提高。

Description

一种摄像装置画面偏移检测方法及系统

技术领域

本发明属于自动检测技术领域，涉及一种偏移检测方法，尤其涉及一种摄像装置画面偏移检测方法；同时，本发明还涉及一种摄像装置画面偏移检测系统。

背景技术

注塑模具作为注塑制品加工最重要的成型设备，其质量优劣直接关系到制品质量优劣。而且，由于模具在注塑加工企业生产成本中占据较大的比例，其使用寿命直接左右注塑制品成本。因此，提高注塑模具质量，并通过光电技术维护和保养好，延长其使用周期，是注塑制品加工企业降本增效的重要课题。注塑制品加工企业由于产品品种多，模具更换较频繁，在一个生产周期中，对注塑模具的维护与实时监视非常重要，注塑机运行时，每个周期内昂贵的模具都可能因为残留或滑块错位而有损坏的危险，模具保护器可以防止这些情况发生。

在光电自动模具保护器中，对塑件和模腔目标有效可靠的识别，是触发保护装置进行保护性检查的基本要求。注塑机在连续工作当中，塑件和模腔总是交替出现，但是由于相机是安装在机器上，而机器在工作过程不可避免出现震动，导致相机和监控的目标之间出现位置偏移，抓拍到的图像跟系统的模板图像之间不能有效匹配，导致检测错误。本发明就是解决当注塑机的在光电检测过程中，由任何原因导致的相机跟目标之间存在相对运动时，都能有效检测出运动是否发生，从而触发相应的画面偏移补偿模块进行纠正。当这种相对运动较大时，还可能报警，提醒工作人员重新安装和紧固相机。由于改检测算法是对画面进行分割，在每个子区域中提取移动特征量，大大提高了判断准确性，做到100％的识别判断，有效地解决了光电模具保护中的画面偏移问题。

检测画面是否出现运动的经典算法是采用相邻图像差分法，相邻图像差分法速度快，但是容易受到光线变化的影响，因此人们提出了很多的改进算法。如中国专利200710165357.5针对运动检测中的误报警问题，区分画面移动是由相机移动还是运动物体造成。当由于相机的移动被检测成场景中的物体运动而产生误报警时，判断这种报警的类型是否为由于相机移动造成的，从而达到抑制这种误报警。虽然该发明使用的方法是跟踪图像中像素值的变化范围来判断是否发生移动，但其检测方法的基础仍然是基于两幅图像间的相同位置像素强度值是否变化来判断，只是该发明利用了高斯统计模型，为每一个像素建立一个统计权限范围，在一定范围内变化的仍然当作背景，因此该方案虽然能部分抑制噪声、光照等影响，但是对光线变化比较敏感，特别当环境光变化过快时，比如雷电、太阳光变化、车灯照射、路灯等都会影响其算法性能，造成误判。

中国专利CN200580032022采用光学分光原理检测民用相机在拍摄中的晃动；中国专利CN01124045用于检测场景中是否有运动物体，从而触发一些事件；中国专利CN200410101568是为了降低参考帧图像传输而进行运动区域检测。然而，上述方案均没有达到良好的效果，容易造成误判。

发明内容

本发明所要解决的技术问题是：提供一种摄像装置画面偏移检测方法，可解决由于场景亮度变化导致错误的移动检测问题。

此外，本发明还提供一种摄像装置画面偏移检测系统，可解决由于场景亮度变化导致错误的移动检测问题。

为解决上述技术问题，本发明采用如下技术方案：

一种摄像装置画面偏移检测方法，所述方法包括如下步骤：

步骤S1，获取图像步骤；获取当前帧数字图像；

步骤S2，画面分割与特征提取步骤；将画面分割成若干小块，每一个区域里提取一个特征点作为代表点；所有后续帧都使用该步骤提到的方法来分割画面和提取特征；

步骤S3，判断该帧是否为参考帧，如果是第一帧或者前一帧有更新参考帧标记，则该帧为参考帧；如果该帧为参考帧，转至步骤S4，否则转至步骤S5；

步骤S4，提取完特征后更新参考帧，转至步骤S1获得下一帧图像；

步骤S5，特征点匹配步骤；将该帧提取出来的所有特征点与参考帧中的特征点进行对应点匹配计算，计算出每个区域中相对应的所有特征点；

步骤S6，运动矢量滤波步骤；建立运动矢量场，计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差较大，则取中值代替原有值；滤波后的矢量场里，滤除错误匹配的矢量；

步骤S7，背景分割步骤；画面中存在运动物体，对运动矢量场扫描，凡是该特征点的运动矢量为零的，判断该区域为候选的静止背景区域，否则，认为该区域为运动区域；经过分割后的画面分为静态背景和动态区域，用以滤除运动物体；

步骤S8，静止与运动统计步骤；所有的静态小区域，其连续出现的次数Ts进行累计，一旦为非零，则新开始累计；当Ts＞阈值Th时，则摄像装置静止，否则，摄像装置正在移动；摄像装置移动后，移动累加变量Mv加1；如果某帧为静止帧，无论Mv值为多少，立即清零；当Mv大于阈值Mh时，进行移动报警；

步骤S9，移动判断步骤；检查所有追踪到的运动矢量为零的特征点，当其中某一点的最大累积次数超过一阈值时，认为该帧为静止帧；如果所有点的运动矢量都不为零，后者静止矢量点的累积次数没达到阈值，认为该帧运动。

作为本发明的一种优选方案，所述步骤S5中，首先将图像中的子区域编号；为了降低误匹配，后续帧中每个区域除了代表点之外，还有若干个特征强度略低的特征点，这些点都是相似候选点；同时，为防止特征点移动到该区域外，将当前点的若干个相邻区域中的代表特征点都包含在待匹配特征点集合中；因此，参考帧中的每一个特征点在后续帧中的都存在多个相似候选点；

将参考帧中的特征点，与后续帧中来自相同区域位置的相似候选点进行匹配；匹配度最大的点的匹配度如果大于可信阈值Tm，则该点为匹配点；如果该区域没有点能与之匹配，再与周围若干个邻域区域的特征点进行匹配；为了加快匹配速度，与周围点匹配的时候，先与代表点进行匹配，如果仍然没有找到匹配点，再与相似候选点匹配，直至找到匹配特征点；参考帧中的特征点在后续帧中找到相对应的匹配特征点后，计算特征点的运动矢量，得到整个画面的运动矢量场；没有找到对应特征点的，运动矢量置为负值；

考虑到运动物体对背景的遮挡，有些特征点可能暂时被遮挡，对于没有找到匹配点的特征点t_x，并非立即从特征点集合T(t₁，t₂，...t_x...t_n)中剔除，而是做上标记t_x’＝＞T(t₁，t₂，...t_x’...t_n)，只有这些点经过多次匹配后仍然没有不能找到匹配点，如果经过设定时间后找到了匹配点，重新将该点的标志置为有效特征点；无效特征点的运动矢量计为-1，不影响后续的移动判断；

特征点之间的匹配方法采用特征矢量匹配，每个特征点根据周边像素点建立该点的特征矢量；然后计算特征矢量之间的距离，距离最小的为匹配点；

建立特征矢量的方法如下：

从第K帧f_k中找到候选的特征点后，按照上面的特征检测方法为第K-1帧f_k-1中的

建立特征矢量，每次获得两种特征：拐点或直线，建立一个8维特征矢量(c₁，c₂，c₃，c₄，l₁，l₂，l₃，l₄，)；当相应的特征值大于检测阈值时，矢量单元值为1，否则为0；

对该特征向量进行扩展：取f_k-1中以

为中心的9×9的邻域图像，分成9个大小为3×3的块；

在每一个块里进行拐点和直线检测，共检测出9个矢量，将这9个矢量合并成一个特征矢量，于是为每一个候选特征点建立了一个9×8＝72维的扩展特征矢量fv(i，k-1)＝[(c_1，1，c_1，2，c_1，3，c_1，4，l_1，1，l_1，2，l_1，3，l_1，4)，…，(c_9，1，c_9，2，c_9，3，c_9，4，l_9，1，l_9，2，l_9，3，l_9，4)]；

在f_k中为每一个候选的特征点建立扩展特征矢量fv(i，k，j)，所有的候选特征点检测完毕后，这些特征矢量构成一个特征矢量族：

从候选特征点中找出对应特征点的问题，于是便成了从这些候选的扩展特征矢量FV中，找出和fv(i，k-1)之间的绝对值距离最小的矢量；定义特征矢量间的欧氏距离DFV：

$\mathrm{DFV}=\underset{j=1}{\overset{72}{\mathrm{\Σ}}}{[\mathrm{fv}(i,k,j,m)-\mathrm{fv}(i,k-1,m)]}^2;$

当DFV最小时，即矢量间的距离最小时，该位置即为匹配位置，于是得到该点的运动矢量

计算出所有的特征点运动矢量后，以平均值作为两帧图像间的运动矢量。

一种摄像装置画面偏移检测方法，所述方法包括如下步骤：

步骤一、画面分割与特征提取步骤；将画面分割成若干小块区域，每一个区域里提取至少一个特征点作为代表点；

步骤二、特征点匹配步骤；对参考帧和后续帧中的特征点进行匹配，从而计算出每个点的运动矢量；

步骤三、运动矢量滤波步骤；利用匹配阈值滤除错误匹配点，所有特征点运动矢量建立画面的运动矢量场，通过矢量场中相近特征矢量间的上下文关系，滤除错误匹配矢量；

步骤四、背景分割步骤；根据运动矢量值，将静态背景区域从画面中分割出来；

步骤五、移动判断步骤；根据静态区域积累的次数来判断摄像装置是否移动。

作为本发明的一种优选方案，所述步骤三中，根据画面运动连续性的特点，对画面的运动矢量场中的运动矢量进行低通滤波，得到相对稳定的运动场；

建立运动矢量场，计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差较大，则取中值代替原有值；滤波后的矢量场里，滤除了错误匹配的矢量。

作为本发明的一种优选方案，所述步骤四中，画面中存在运动物体，对运动矢量场扫描，凡是该特征点的运动矢量为零的，判断该区域为候选的静止背景区域，否则，认为该区域为运动区域；经过分割后的画面分为静态背景和动态区域，用以滤除运动物体；

所述步骤五中，检查所有追踪到的运动矢量为零的特征点，当其中某一点的最大累积次数超过一阈值时，认为该帧为静止帧；如果所有点的运动矢量都不为零，后者静止矢量点的累积次数没达到阈值，认为该帧运动。

作为本发明的一种优选方案，所述步骤四、步骤五之间还包括静止与运动统计步骤；所有的静态小区域，其连续出现的次数Ts进行累计，一旦为非零，则开始累计；当Ts＞阈值Th时，则摄像装置静止，否则，摄像装置正在移动；摄像装置移动后，移动累加变量Mv加1；如果某帧为静止帧，无论Mv值为多少，立即清零；当Mv大于阈值Mh时，进行移动报警；

静止累积的方法为：累计每个子区域的静止次数；所有的子区域做静止累积的结果是，形成一个全画面的运动矢量场：每个静止区域都有一个对应的值，在运动区域该值为0；在每个静止区域，该值大于零，值越大，表示静止的可能性越大。

一种摄像装置画面偏移检测系统，所述系统包括：

画面分割与特征提取模块，用以将画面分割成若干小块区域，每一个区域里提取至少一个特征点作为代表点；

特征点匹配模块，用以对参考帧和后续帧中的特征点进行匹配，从而计算出每个点的运动矢量；

运动矢量滤波模块，用以利用匹配阈值滤除错误匹配点，所有特征点运动矢量建立画面的运动矢量场，通过矢量场中相近特征矢量间的上下文关系，滤除错误匹配矢量；

背景分割模块，用以根据运动矢量值，将静态背景区域从画面中分割出来；

移动判断模块，用以根据静态区域积累的次数来判断摄像装置是否移动。

作为本发明的一种优选方案，所述系统进一步包括：

图像获取模块，用以获取当前帧数字图像；

参考帧更新模块，用以更新参考帧。

作为本发明的一种优选方案，所述运动矢量滤波模块根据画面运动连续性的特点，对画面的运动矢量场中的运动矢量进行低通滤波，得到相对稳定的运动场；建立运动矢量场，计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差较大，则取中值代替原有值；滤波后的矢量场里，滤除了错误匹配的矢量。

作为本发明的一种优选方案，所述背景分割模块对运动矢量场扫描，凡是该特征点的运动矢量为零的，判断该区域为候选的静止背景区域，否则，认为该区域为运动区域；经过分割后的画面分为静态背景和动态区域，用以滤除运动物体；

所述移动判断模块检查所有追踪到的运动矢量为零的特征点，当其中某一点的最大累积次数超过一阈值时，认为该帧为静止帧；如果所有点的运动矢量都不为零，后者静止矢量点的累积次数没达到阈值，认为该帧运动。

作为本发明的一种优选方案，所述系统还包括静止与运动统计模块，累计所有的静态小区域连续出现的次数Ts，一旦为非零，则开始累计；当Ts＞阈值Th时，则摄像装置静止，否则，摄像装置正在移动；摄像装置移动后，移动累加变量Mv加1；如果某帧为静止帧，无论Mv值为多少，立即清零；当Mv大于阈值Mh时，进行移动报警；

静止累积的方法为：累计每个子区域的静止次数；所有的子区域做静止累积的结果是，形成一个全画面的运动矢量场：每个静止区域都有一个对应的值，在运动区域该值为0；在每个静止区域，该值大于零，值越大，表示静止的可能性越大。

本发明的有益效果在于：本发明提出的摄像装置画面偏移检测方法及系统，解决了由于场景亮度变化导致错误的移动检测问题，而且不需要对图像中的每个像素进行计算，只需要在后续帧中跟踪提取到的特征点即能进行移动判断，算法速度也明显提高。

本发明对画面背景中的静止区域具有记忆能力，最小记忆区域为整个画面的1/64，只要1/64的画面被检测没有移动，就可做出正确判断。

本发明在跟踪特征点时，将这些特征点进行分类后分别跟踪，并对每一类集合中的所有点单独计算器运动矢量，根据运动矢量范围不断从点集中剔除旧点，同时新增被判断为背景上的特征点。因此，即便画面中出现大量的运动物体干扰，仍然能够正确有效地检测。

本发明在进行特征点匹配时使用了特点矢量距离来验证两点间的匹配关系，可检测到最小为半像素的细小位移。

附图说明

图1为本发明检测相机的缓慢移动方法的整个工作流程。

图2为本发明中所有设备之间逻辑构成的框图。

图3为特征点匹配流程图。

图4为运动矢量场的滤波流程图。

图5为静态与动态背景分割流程图。

图6为背景移动判断流程图。

图7为特征点与候选点匹配示意图。

图8为建立特征矢量示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

请参阅图1，本发明揭示了一种摄像装置画面偏移检测方法，所述方法包括如下步骤：

【步骤S1】检测模块从前端设备获取当前帧数字图像。

【步骤S2】画面分割与特征提取。先进行画面分割，在每一个区域里提取一个特征点最为代表点。提取的特征为结点，包括十字点和拐点，其中特征值最大的点作为代表点。后续帧采用同样的画面分割和特征提取算子提取特征。

图3为画面分割与特征提取步骤的具体流程图，将图像分割成小区域后，在每个区域中提出一个代表性的特征点。无论是对参考帧还是后续帧画面，都分割成同样数量的大小相同的小图像，然后用相同的特征提取算子，从每个区域提取一个最大特征点。

【步骤S3】判断是否为参考帧，如果是第一帧或者前一帧有更新参考帧标记，则该帧为参考帧。

【步骤S4】当前帧是参考帧，提取完特征后立即更新参考证，然后返回至步骤S1，获得下一帧图像。

如果S300判断不是参考帧，转到步骤S500。

【步骤S5】进行特征点匹配。将参考帧中的特征点与后续帧中提取出来的特征点按匹配规则进行对应点匹配计算，计算出每个区域中相对应的所有特征点。

常见的匹配方法有两种；点点匹配和点集匹配，各有利弊。本发明为了加快匹配速度，改进了点与多点匹配方法。如图7所示，该方法中，首先将图像中的子区域编号。为了降低误匹配，后续帧中每个区域除了代表点之外，还有两三个特征强度略低的特征点，这些点都是相似候选点。同时，为防止特征点移动到该区域外，将当前点的上下左右8个相邻区域中的代表特征点都包含在待匹配特征点集合中。因此，参考帧中的每一个特征点在后续帧中的都存在多个相似候选点。

匹配过程包括：将参考帧中的特征点，与后续帧中来自相同区域位置的相似候选点进行匹配，如图7所示。匹配度最大的点的匹配度如果大于可信阈值Tm，则该点为匹配点。如果该区域没有点能与之匹配，再与周围8个邻域区域的特征点进行匹配。为了加快匹配速度，与周围点匹配的时候，先与代表点进行匹配，如果仍然没有找到匹配点，再与相似候选点匹配，直至找到匹配特征点。参考帧中的特征点在后续帧中找到相对应的匹配特征点后，计算特征点的运动矢量，得到整个画面的运动矢量场。没有找到对应特征点的，运动矢量置为负值。

考虑到运动物体对背景的遮挡，有些特征点可能暂时被遮挡，因此，对于没有找到匹配点的特征点t_x，并非立即从特征点集合T(t₁，t₂，...t_x...t_n)中剔除，而是做上标记t_x’＝＞T(t₁，t₂，...t_x’...t_n)，只有这些点经过多次匹配后仍然没有不能找到匹配点，如果经过一段时间后找到了匹配点，重新将该点的标志置为有效特征点。无效特征点的运动矢量计为-1，不影响后续的移动判断。

为了降低光照变化带来的干扰，特征点之间的匹配方法采用特征矢量匹配，每个特征点根据周边像素点建立该点的特征矢量，如图7所示。然后计算特征矢量之间的距离，距离最小的为匹配点。

建立特征矢量的方法如下：

从第K帧f_k中找到候选的特征点后，按照上面的特征检测方法为第K-1帧f_k-1中的

建立特征矢量，每次获得两种特征：拐点或直线，建立一个8维特征矢量(c₁，c₂，c₃，c₄，l₁，l₂，l₃，l₄，)。当相应的特征值大于检测阈值时，矢量单元值为1，否则为0。按此方法，图7中的特征点矢量是(0，0，0，0，0，1，0，0)，通常特征点具有多种特征，因此矢量中不止一个单元为1。该特征向量反映了该点的特征，但是从图7中可以看出，这条水平线实际上是位于一个十字的右臂上，仅从这一个特征，邻域内水平线上的所有点都符合要求，必然会出现错误匹配。

但是如果能对其扩展获得更多的特征，就能提高匹配精度，消除错误匹配。下面对该特征向量进行扩展：取f_k-1中以为中心的9×9的邻域图像，分成9个大小为3×3的块。

在每一个块里进行拐点和直线检测，共检测出9个矢量，将这9个矢量合并成一个特征矢量，于是为每一个候选特征点建立了一个9×8＝72维的扩展特征矢量fv(i，k-1)＝[(c_1，1，c_1，2，c_1，3，c_1，4，l_1，1，l_1，2，l_1，3，l_1，4)，...，(c_9，1，c_9，2，c_9，3，c_9，4，l_9，1，l_9，2，l_9，3，l_9，4)]。

同理，在f_k中为每一个候选的特征点建立扩展特征矢量fv(i，k，j)，所有的候选特征点检测完毕后，这些特征矢量构成一个特征矢量族：

从候选特征点中找出对应特征点的问题，于是便成了从这些候选的扩展特征矢量FV中，找出和fv(i，k-1)之间的绝对值距离最小的矢量。定义特征矢量间的欧氏距离DFV：

$\mathrm{DFV}=\underset{j=1}{\overset{72}{\mathrm{\Σ}}}{[\mathrm{fv}(i,k,j,m)-\mathrm{fv}(i,k-1,m)]}^2$

当DFV最小时，即矢量间的距离最小时，该位置即为匹配位置，于是得到该点的运动矢量

计算出所有的特征点运动矢量后，以平均值作为两帧图像间的运动矢量。

这种对应特征点的确定方法，虽然也是运用了特征点周围像素的灰度信息，但是并不是简单地利用灰度曲面匹配方式，而是利用特征点周围的画面结构特征进行确认，比直接采用灰度匹配的方法，具有更好的噪声容错性。

【步骤S6】建立运动矢量场。计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计。将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波。采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，区中值，如果中值与原有值相似，则原有值正确。如果两者相差较大，则取中值代替原有值。滤波后的矢量场里，滤除了错误匹配的矢量。

图4为运动矢量场建立与滤波步骤的具体流程。将滤除运动矢量场中的错误匹配的特征点。即使经过特征点匹配，仍不能保证得到的匹配点是正确的。根据画面运动连续性的特点，对画面的运动矢量场中的运动矢量进行低通滤波，得到相对稳定的运动场。

【步骤S7】背景分割。画面中存在运动物体，对运动矢量场扫描，凡是该特征点的运动矢量为零的，判断该区域为候选的静止背景区域，否则，认为该区域为运动区域。经过分割后的画面分为静态背景和动态区域，可以滤除树叶、汽车、行人等运动物体。

图5揭示了背景分割步骤的具体流程，分割画面的背景与运动物体。画面中的运动物体是除了静态背景以外的所有移动目标，包括由于风吹可能导致错误。有时候图像中某些细节出现偶然的周期性重复也会造成错误匹配。

【步骤S8】静止与运动统计。所有的静态小区域，其连续出现的次数Ts进行累计，一旦为非零，则新开始累计。具体流程稍后与步骤S9一并介绍。

【步骤S9】移动判断。检查所有追踪到的运动矢量为零的特征点，当其中某一点的最大累积次数超过一阈值时，认为该帧为静止帧。如果所有点的运动矢量都不为零，后者静止矢量点的累积次数没达到阈值，认为该帧运动。

图6为静止与运动统计及相机移动判断方法的详细步骤，是最终决定相机是否移动的关键步骤。滤波后的矢量场中，某区域运动矢量为零，则为静态背景区域，其连续出现的次数TS进行累计，一旦为非零，则新开始累计。当Ts＞Th时，则相机静止，否则，相机正在移动。相机移动后，移动累加变量Mv加1。如果某帧为静止帧，无论Mv值为多少，立即清零。当Mv大于阈值Mh时，进行移动报警。

以上介绍了本发明摄像装置画面偏移检测方法的流程，本发明在揭示上述摄像装置画面偏移检测方法的同时，还揭示一种摄像装置画面偏移检测系统。图2为该系统的组成示意图，请参阅图2，摄像装置画面偏移检测系统包括：图像获取模块100、画面分割与特征提取模块200、特征匹配模块300、运动矢量滤波模块400、背景分割模块500、静止与运动统计模块、移动判断模块600、参考帧更新模块700。

图像获取模块100用以获取当前帧数字图像。

画面分割与特征提取模块200用于分割图像和提取特征点。

特征匹配模块300用于对参考帧和后续帧中的特征点进行匹配，从而计算出每个点的运动矢量。

运动矢量滤波模块400滤除非法匹配点，建立特征矢量场。本实施例中，所述运动矢量滤波模块400根据画面运动连续性的特点，对画面的运动矢量场中的运动矢量进行低通滤波，得到相对稳定的运动场；建立运动矢量场，计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差较大，则取中值代替原有值；滤波后的矢量场里，滤除了错误匹配的矢量。

背景分割模块500根据运动矢量值，将静态背景区域从画面中分割出来。所述背景分割模块500对运动矢量场扫描，凡是该特征点的运动矢量为零的，判断该区域为候选的静止背景区域，否则，认为该区域为运动区域；经过分割后的画面分为静态背景和动态区域，用以滤除运动物体。

静止与运动统计模块用以累计所有的静态小区域连续出现的次数Ts，一旦为非零，则开始累计；当Ts＞阈值Th时，则摄像装置静止，否则，摄像装置正在移动；摄像装置移动后，移动累加变量Mv加1；如果某帧为静止帧，无论Mv值为多少，立即清零；当Mv大于阈值Mh时，进行移动报警；静止累积的方法为：累计每个子区域的静止次数；所有的子区域做静止累积的结果是，形成一个全画面的运动矢量场：每个静止区域都有一个对应的值，在运动区域该值为0；在每个静止区域，该值大于零，值越大，表示静止的可能性越大。

移动判断模块600根据静态区域积累的次数来判断相机是否移动。所述移动判断模块600检查所有追踪到的运动矢量为零的特征点，当其中某一点的最大累积次数超过一阈值时，认为该帧为静止帧；如果所有点的运动矢量都不为零，后者静止矢量点的累积次数没达到阈值，认为该帧运动。

参考帧更新模块700用以更新参考帧。参考帧更新是根据两种条件：时间累加器是否超过阈值Tt，当前帧是否为移动帧，如果是移动状态，超过报警时间，也要更新参帧。

综上所述，本发明提出的摄像装置画面偏移检测方法及系统，解决了由于场景亮度变化导致错误的移动检测问题，而且不需要对图像中的每个像素进行计算，只需要在后续帧中跟踪提取到的特征点即能进行移动判断，算法速度也明显提高。

本发明对画面背景中的静止区域具有记忆能力，最小记忆区域为整个画面的1/64，只要1/64的画面被检测没有移动，就可做出正确判断。

本发明在跟踪特征点时，将这些特征点进行分类后分别跟踪，并对每一类集合中的所有点单独计算器运动矢量，根据运动矢量范围不断从点集中剔除旧点，同时新增被判断为背景上的特征点。因此，即便画面中出现大量的运动物体干扰，仍然能够正确有效地检测。

本发明在进行特征点匹配时使用了特点矢量距离来验证两点间的匹配关系，可检测到最小为半像素的细小位移。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (10)

1.一种摄像装置画面偏移检测方法，其特征在于，所述方法包括如下步骤：

步骤S1，获取图像步骤；获取当前帧数字图像；

步骤S2，画面分割与特征提取步骤；将画面分割成若干小块，每一个区域里提取一个特征点作为代表点；所有后续帧都使用该步骤提到的方法来分割画面和提取特征；

步骤S3，判断该帧是否为参考帧，如果是第一帧或者前一帧有更新参考帧标记，则该帧为参考帧；如果该帧为参考帧，转至步骤S4，否则转至步骤S5；

步骤S4，提取完特征后更新参考帧，转至步骤S1获得下一帧图像；

步骤S5，特征点匹配步骤；将该帧提取出来的所有特征点与参考帧中的特征点进行对应点匹配计算，计算出每个区域中相对应的所有特征点；

步骤S6，运动矢量滤波步骤；建立运动矢量场，计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差较大，则取中值代替原有值；滤波后的矢量场里，滤除错误匹配的矢量；

步骤S7，背景分割步骤；画面中存在运动物体，对运动矢量场扫描，凡是该特征点的运动矢量为零的，判断该区域为候选的静止背景区域，否则，认为该区域为运动区域；经过分割后的画面分为静态背景和动态区域，用以滤除运动物体；

步骤S8，静止与运动统计步骤；所有的静态小区域，其连续出现的次数Ts进行累计，一旦为非零，则新开始累计；当Ts＞阈值Th时，则摄像装置静止，否则，摄像装置正在移动；摄像装置移动后，移动累加变量Mv加1；如果某帧为静止帧，无论Mv值为多少，立即清零；当Mv大于阈值Mh时，进行移动报警；

步骤S9，移动判断步骤；检查所有追踪到的运动矢量为零的特征点，当其中某一点的最大累积次数超过一阈值时，认为该帧为静止帧；如果所有点的运动矢量都不为零，后者静止矢量点的累积次数没达到阈值，认为该帧运动。

2.根据权利要求1所述的摄像装置画面偏移检测方法，其特征在于：

所述步骤S5中，首先将图像中的子区域编号；为了降低误匹配，后续帧中每个区域除了代表点之外，还有若干个特征强度略低的特征点，这些点都是相似候选点；同时，为防止特征点移动到该区域外，将当前点的若干个相邻区域中的代表特征点都包含在待匹配特征点集合中；因此，参考帧中的每一个特征点在后续帧中的都存在多个相似候选点；

将参考帧中的特征点，与后续帧中来自相同区域位置的相似候选点进行匹配；匹配度最大的点的匹配度如果大于可信阈值Tm，则该点为匹配点；如果该区域没有点能与之匹配，再与周围若干个邻域区域的特征点进行匹配；为了加快匹配速度，与周围点匹配的时候，先与代表点进行匹配，如果仍然没有找到匹配点，再与相似候选点匹配，直至找到匹配特征点；参考帧中的特征点在后续帧中找到相对应的匹配特征点后，计算特征点的运动矢量，得到整个画面的运动矢量场；没有找到对应特征点的，运动矢量置为负值；

考虑到运动物体对背景的遮挡，有些特征点可能暂时被遮挡，对于没有找到匹配点的特征点t_x，并非立即从特征点集合T(t₁，t₂，...t_x...t_n)中剔除，而是做上标记t_x’＝＞T(t₁，t₂，...t_x’...t_n)，只有这些点经过多次匹配后仍然没有不能找到匹配点，如果经过设定时间后找到了匹配点，重新将该点的标志置为有效特征点；无效特征点的运动矢量计为-1，不影响后续的移动判断；

特征点之间的匹配方法采用特征矢量匹配，每个特征点根据周边像素点建立该点的特征矢量；然后计算特征矢量之间的距离，距离最小的为匹配点；

建立特征矢量的方法如下：

从第K帧f_k中找到候选的特征点后，按照上面的特征检测方法为第K-1帧f_k-1中的

建立特征矢量，每次获得两种特征：拐点或直线，建立一个8维特征矢量(c₁，c₂，c₃，c₄，l₁，l₂，l₃，l₄，)；当相应的特征值大于检测阈值时，矢量单元值为1，否则为0；

对该特征向量进行扩展：取f_k-1中以

为中心的9×9的邻域图像，分成9个大小为3×3的块；

在每一个块里进行拐点和直线检测，共检测出9个矢量，将这9个矢量合并成一个特征矢量，于是为每一个候选特征点建立了一个9×8＝72维的扩展特征矢量fv(i，k-1)＝[(c_1，1，c_1，2，c_1，3，c_1，4，l_1，1，l_1，2，l_1，3，l_1，4)，…，(c_9，1，c_9，2，c_9，3，c_9，4，l_9，1，l_9，2，l_9，3，l_9，4)]；

在f_k中为每一个候选的特征点建立扩展特征矢量fv(i，k，j)，所有的候选特征点检测完毕后，这些特征矢量构成一个特征矢量族：

从候选特征点中找出对应特征点的问题，于是便成了从这些候选的扩展特征矢量FV中，找出和fv(i，k-1)之间的绝对值距离最小的矢量；定义特征矢量间的欧氏距离DFV：

$\mathrm{DFV}=\underset{j=1}{\overset{72}{\mathrm{\Σ}}}{[\mathrm{fv}(i,k,j,m)-\mathrm{fv}(i,k-1,m)]}^2;$

当DFV最小时，即矢量间的距离最小时，该位置即为匹配位置，于是得到该点的运动矢量

计算出所有的特征点运动矢量后，以平均值作为两帧图像间的运动矢量。

3.一种摄像装置画面偏移检测方法，其特征在于，所述方法包括如下步骤：

步骤一、画面分割与特征提取步骤；将画面分割成若干小块区域，每一个区域里提取至少一个特征点作为代表点；

步骤二、特征点匹配步骤；对参考帧和后续帧中的特征点进行匹配，从而计算出每个点的运动矢量；

步骤三、运动矢量滤波步骤；利用匹配阈值滤除错误匹配点，所有特征点运动矢量建立画面的运动矢量场，通过矢量场中相近特征矢量间的上下文关系，滤除错误匹配矢量；

步骤四、背景分割步骤；根据运动矢量值，将静态背景区域从画面中分割出来；

步骤五、移动判断步骤；根据静态区域积累的次数来判断摄像装置是否移动。

4.根据权利要求3所述的摄像装置画面偏移检测方法，其特征在于：

所述步骤三中，根据画面运动连续性的特点，对画面的运动矢量场中的运动矢量进行低通滤波，得到相对稳定的运动场；建立运动矢量场，计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差较大，则取中值代替原有值；滤波后的矢量场里，滤除了错误匹配的矢量；

所述步骤四中，画面中存在运动物体，对运动矢量场扫描，凡是该特征点的运动矢量为零的，判断该区域为候选的静止背景区域，否则，认为该区域为运动区域；经过分割后的画面分为静态背景和动态区域，用以滤除运动物体；

所述步骤五中，检查所有追踪到的运动矢量为零的特征点，当其中某一点的最大累积次数超过一阈值时，认为该帧为静止帧；如果所有点的运动矢量都不为零，后者静止矢量点的累积次数没达到阈值，认为该帧运动。

5.根据权利要求3所述的摄像装置画面偏移检测方法，其特征在于：

所述步骤四、步骤五之间还包括静止与运动统计步骤；所有的静态小区域，其连续出现的次数Ts进行累计，一旦为非零，则开始累计；当Ts＞阈值Th时，则摄像装置静止，否则，摄像装置正在移动；摄像装置移动后，移动累加变量Mv加1；如果某帧为静止帧，无论Mv值为多少，立即清零；当Mv大于阈值Mh时，进行移动报警；

静止累积的方法为：累计每个子区域的静止次数；所有的子区域做静止累积的结果是，形成一个全画面的运动矢量场：每个静止区域都有一个对应的值，在运动区域该值为0；在每个静止区域，该值大于零，值越大，表示静止的可能性越大。

6.一种摄像装置画面偏移检测系统，其特征在于，所述系统包括：

画面分割与特征提取模块，用以将画面分割成若干小块区域，每一个区域里提取至少一个特征点作为代表点；

特征点匹配模块，用以对参考帧和后续帧中的特征点进行匹配，从而计算出每个点的运动矢量；

运动矢量滤波模块，用以利用匹配阈值滤除错误匹配点，所有特征点运动矢量建立画面的运动矢量场，通过矢量场中相近特征矢量间的上下文关系，滤除错误匹配矢量；

背景分割模块，用以根据运动矢量值，将静态背景区域从画面中分割出来；

移动判断模块，用以根据静态区域积累的次数来判断摄像装置是否移动。

7.根据权利要求6所述的摄像装置画面偏移检测系统，其特征在于：

所述系统进一步包括：

图像获取模块，用以获取当前帧数字图像；

参考帧更新模块，用以更新参考帧。

8.根据权利要求6所述的摄像装置画面偏移检测系统，其特征在于：

所述运动矢量滤波模块根据画面运动连续性的特点，对画面的运动矢量场中的运动矢量进行低通滤波，得到相对稳定的运动场；建立运动矢量场，计算所有特征点的运动矢量，没有找到对应特征点的区域默认其运动矢量为负值，忽略不计；将所有特征点的特征矢量建立画面结构的运动矢量场，然后进行滤波；采用中值滤波法，将每个特征矢量与周围小区域的特征矢量排序，取中值，如果中值与原有值相似，则原有值正确；如果两者相差较大，则取中值代替原有值；滤波后的矢量场里，滤除了错误匹配的矢量。

9.根据权利要求6所述的摄像装置画面偏移检测系统，其特征在于：

所述背景分割模块对运动矢量场扫描，凡是该特征点的运动矢量为零的，判断该区域为候选的静止背景区域，否则，认为该区域为运动区域；经过分割后的画面分为静态背景和动态区域，用以滤除运动物体；

所述移动判断模块检查所有追踪到的运动矢量为零的特征点，当其中某一点的最大累积次数超过一阈值时，认为该帧为静止帧；如果所有点的运动矢量都不为零，后者静止矢量点的累积次数没达到阈值，认为该帧运动。

10.根据权利要求6所述的摄像装置画面偏移检测系统，其特征在于：

所述系统还包括静止与运动统计模块，累计所有的静态小区域连续出现的次数Ts，一旦为非零，则开始累计；当Ts＞阈值Th时，则摄像装置静止，否则，摄像装置正在移动；摄像装置移动后，移动累加变量Mv加1；如果某帧为静止帧，无论Mv值为多少，立即清零；当Mv大于阈值Mh时，进行移动报警；

静止累积的方法为：累计每个子区域的静止次数；所有的子区域做静止累积的结果是，形成一个全画面的运动矢量场：每个静止区域都有一个对应的值，在运动区域该值为0；在每个静止区域，该值大于零，值越大，表示静止的可能性越大。

Images