CN102982537B - 一种检测场景变换的方法和系统 - Google Patents

Abstract

本发明公开了一种检测场景变换的方法，包括以下步骤：获取监控场景的两幅图像；采用快速鲁棒特征算法提取两幅图像的特征点；采用k维数据空间树算法对两幅图像的特征点进行匹配；采用改进的随机抽样一致性算法对两幅图像匹配到的特征点进行透视变换矩阵的估计；根据估计的透视变换矩阵计算出两幅图像的空间偏移量，从而得到场景变换的程度。本发明的方法使用了快速鲁棒特征算法、k维数据空间树算法和改进的随机抽样一致性算法，具有快速、稳定性好和精度高的优点。本发明还公开了一种检测场景变换的系统，包括图像获取模块、图像特征提取模块、图像特征匹配模块、透视变换矩阵估计模块和场景变换程度计算模块。本发明广泛应用于视频监控领域。

Description

一种检测场景变换的方法和系统

技术领域

本发明涉及视频监控领域，尤其是一种检测场景变换的方法和系统。

背景技术

在目前的视频监控应用中，摄像机由于受到某种外力的影响（如人为移动摄像机、摄像机固定架的位移、刮风或摄像机焦距发生变化等），会使实际监控到的视频场景偏离原来想要监控的场景。另外，若摄像机被外物遮挡，也会使原来要监控的场景丢失。由于上述的种种原因，摄像机监控的场景发生了部分或完全的变换，丢失了原来想要监控的场景，这可能会严重影响整个视频监控系统。因此，我们需要及时准确地检测到这种异常情况并提示报警，以便工作人员对异常情况做出快速的响应。

目前场景变换的检测方法大多基于灰度直方图或亮度变化的方法，这些方法在场景光照变化比较大或场景中运动目标比较多的情况下，准确率会严重受到影响。另外，这些方法也无法检测到场景的微小变换（如摄像机的小角度旋转），也无法准确的评估出场景变换的程度。

发明内容

为了解决上述的技术问题，本发明的目的是提供一种检测场景变换的方法。

本发明的另一目的是提供一种检测场景变换的系统。

本发明所采用的技术方案是：

一种检测场景变换的方法，该方法包括以下步骤：

A．获取监控场景的两幅图像；

B．采用快速鲁棒特征算法提取所述两幅图像的特征点；

C．采用k维数据空间树算法对所述两幅图像的特征点进行匹配；

D．采用改进的随机抽样一致性算法对所述两幅图像匹配到的特征点进行透视变换矩阵的估计；

E．根据估计的透视变换矩阵计算出所述两幅图像的空间偏移量，从而得到场景变换的程度。

优选地，所述步骤B包括：

B1．计算图像的Soble边缘总灰度值Ｇ；

B2．计算图像特征点的个数K，计算的公式（1）如下：

K=w*log(G)（1）

其中，W为一系数，且K的值应满足：

其中，T1和T2均为常数；

B3．取海赛矩阵中响应最大的前K个特征点作为最终提取出来的特征点。

优选地，所述步骤C，其具体为，以所述两幅图像的其中一幅图像作为参考图像，另一图像作为实时视频图像，在实时视频图像的特征点中使用k维数据空间树算法找到与参考图像每一个特征点最匹配的特征点，从而得到数对特征点匹配对。

优选地，所述步骤D包括：

D1．将当前最佳估计内点数目设置为0，并将所述参考图像分割为32*32个子块，然后在所有子块中随机抽取4个至少含有一个特征点的子块，跟着在每个抽取出的子块中随机抽取一个特征点，从而得到4个初始点；

D2.采用最小二乘法对所述4个初始点对应的透视变换矩阵进行计算，进而根据该透视变换矩阵统计所述特征点匹配对的内点数目；

D3.比较当前内点数目与当前最佳估计内点数目，若当前内点数目大于当前最佳估计内点数目，则将当前的透视变换矩阵作为当前最佳估计，并更新当前最佳估计内点数目，同时动态估测所需迭代次数；若当前迭代次数达到所需迭代次数，则保留当前的透视变换矩阵作为最终的透视变换矩阵，反之，则重新执行步骤D1。

优选地，所述步骤E包括：

E1．根据估计的透视变换矩阵把矩形的实时视频图像的四个顶点坐标变换到参考图像上，从而得到变换后的图像与参考图像的重合区域；

E2．统计所述重合区域的像素点个数，进而计算场景变换的程度。

本发明所采用的另一方案是：一种检测场景变换的系统，该系统包括以下模块：

图像获取模块，用于获取监控场景的两幅图像；

图像特征提取模块，用于采用快速鲁棒特征算法提取所述两幅图像的特征点；

图像特征匹配模块，用于采用k维数据空间树算法对所述两幅图像的特征点进行匹配；

透视变换矩阵估计模块，用于采用改进的随机抽样一致性算法对所述两幅图像匹配到的特征点进行透视变换矩阵的估计；

场景变换程度计算模块，用于根据估计的透视变换矩阵计算出所述两幅图像的空间偏移量，从而得到场景变换的程度。

优选地，所述图像特征提取模块包括：

Soble边缘总灰度值计算单元，用于计算图像的Soble边缘总灰度值Ｇ；

特征点个数计算单元，用于计算图像特征点的个数K，计算的公式（1）如下：

K=w*log(G)（1）

其中，W为一系数，且K的值应满足：

$K=\left\{\begin{array}{ccc}T1& \mathrm{if}& K>T1\\ T2& \mathrm{if}& K>T1\\ K& \mathrm{else}& \end{array}\right.---\left(2\right)$

其中，T1和T2均为常数；

最终特征点提取单元，用于取海赛矩阵中响应最大的前K个特征点作为最终提取出来的特征点。

优选地，所述透视变换矩阵估计模块包括：

初始点获取单元，用于将当前最佳估计内点数目设置为0，并将所述参考图像分割为32*32个子块，然后在所有子块中随机抽取4个至少含有一个特征点的子块，跟着在每个子块中随机抽取一个特征点，从而得到4个初始点；

特征点匹配对的内点数目统计单元，用于采用最小二乘法对所述4个初始点对应的透视变换矩阵进行计算，进而根据该透视变换矩阵统计所述特征点匹配对的内点数目；

透视变换矩阵获取单元，用于比较当前内点数目与当前最佳估计内点数目，若当前内点数目大于当前最佳估计内点数目，则将当前的透视变换矩阵作为当前最佳估计，并更新当前最佳估计内点数目，同时动态估测所需迭代次数；若当前迭代次数达到所需迭代次数，则保留当前的透视变换矩阵作为最终的透视变换矩阵，反之，则重新回到初始点获取单元。

优选地，所述场景变换程度计算模块包括：

图像变换单元，用于根据估计的透视变换矩阵把矩形的实时视频图像的四个顶点坐标变换到参考图像上，从而得到变换后的图像与参考图像的重合区域；

场景变换程度计算单元，用于统计所述重合区域的像素点个数，进而计算场景变换的程度。

本发明的有益效果是：本发明的方法使用了快速鲁棒特征算法、k维数据空间树算法和改进的随机抽样一致性算法，在场景光照变化大和运动物体多时仍有非常好的鲁棒性，且能准确估算出场景变换的程度，具有快速、稳定性好和精度高的优点。

本发明的另一有益效果是：本发明的系统采用图像特征提取模块、图像特征匹配模块、透视变换矩阵估计模块和场景变换程度计算模块来对场景变换进行准确的检测，能有效地避免光照和运动目标对准确率的影响，从而使工作人员及时、准确地对场景的异常情况作出相应的处理。

附图说明

图1是本发明一种检测场景变换的方法的步骤流程图；

图2是本发明一种检测场景变换的方法步骤B的具体步骤流程图；

图3是本发明一种检测场景变换的方法步骤D的具体步骤流程图；

图4是本发明一种检测场景变换的方法步骤E的具体步骤流程图；

图5是本发明一种检测场景变换的系统的功能模块方框图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。

参照图1，本发明一种检测场景变换的方法，该方法包括以下步骤：

A．获取监控场景的两幅图像；

B．采用快速鲁棒特征算法提取所述两幅图像的特征点；

C．采用k维数据空间树算法对所述两幅图像的特征点进行匹配；

D．采用改进的随机抽样一致性算法对所述两幅图像匹配到的特征点进行透视变换矩阵的估计；

E．根据估计的透视变换矩阵计算出所述两幅图像的空间偏移量，从而得到场景变换的程度。

参照图2，作为进一步优选的实施方式，所述步骤B包括：

Ｂ1.计算图像的Soble边缘总灰度值Ｇ；

纹理复杂度的度量方法有很多种，本发明采用Soble边缘检测算子（Soble算子）的响应图像来度量纹理的复杂度，即边缘越丰富，纹理越复杂，对应的特征点就应该越多。这里首先要采用Soble算子提取图像的边缘，进而计算出该Soble图像边缘的总灰度值G。

Ｂ2.计算图像特征点的个数K，计算的公式（1）如下：

K=w*log(G)（1）

其中W为一系数，这里取0.0001。在这里，计算处理后的K值有最大和最小的限制，它还应该满足公式（2）：

$K=\left\{\begin{array}{ccc}T1& \mathrm{if}& K>T1\\ T2& \mathrm{if}& K>T1\\ K& \mathrm{else}& \end{array}\right.---\left(2\right)$

其中，T1取400，T2取40，结合公式（1）和公式（2）最终确定特征点的个数K；

Ｂ3.取海赛矩阵中响应最大的前K个特征点作为最终提取出来的特征点。

目前常用的图像特征提取方法有surf、sift、Harris、Fast等，本发明综合考虑运算量和精确度，使用了一种快速鲁棒特征算法（surf算法）对图像进行特征检测，从而得到两幅图像的特征点。提取出的特征点个数的多少会直接影响到后续匹配的性能，若特征点个数过多，则会加大后续匹配的运算量；若特征点个数过少，则可能会使后续的匹配失败。如公式（1）和公式（2）所示，该快速鲁棒特征算法能根据图像纹理复杂度来自动设置特征点个数，优点是计算速度快，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等均具有良好的不变性，对视觉变化和仿射变换也能保持一定程度的稳定性。

参照图1，作为进一步优选的实施方式，所述步骤C，其具体为，以所述两幅图像的其中一幅图像作为参考图像，另一图像作为实时视频图像，在实时视频图像的特征点中使用k维数据空间树算法找到与参考图像每一个特征点最匹配的特征点，从而得到数对特征点匹配对。

在两幅图像的特征点提取出来后，需要对两幅图像的特征点进行比较以确定匹配的点，本发明采用k维数据空间树算法（Kd-tree算法）进行特征点的快速匹配。k维数据空间树（Kd-tree）是由二叉搜索树推广而来的用于多维检索的树的结构形式（K为空间的维数）。它与二叉搜索树不同的是它的每个结点表示k维空间的一个点，并且每一层都根据该层的分辨器（discriminator）对相应对象做出分支决策。顶层结点按由分辨器决定的一个维度进行划分，第二层则按照该层的分辨器决定的一个维进行划分……，以此类推在余下各维之间不断地进行划分，直至一个结点中的点数少于给定的最大点数时，结束划分。因此k维数据空间树的构建是一个逐级展开的递归过程。

而本发明是以实时视频图像的特征点建立k维数据空间树，把参考图像的特征点作为查找对象，进而对k维数据空间树进行最优二分查找，找出搜索路径中与实时视频图像的特征点距离最接近的特征点和次最接近的特征点。若最接近的特征点和次最接近的特征点的距离小于设定阈值（一般取0～1内的值），则把该距离最接近的特征点作为最匹配的特征点。特征点匹配完成后，我们就可以得到数对特征点匹配对。若找到的特征点匹配对的数量小于某一个阈值时（这里取8），则认为这两幅图像完全不一样了，可直接把场景变换的程度设为最大值，而不需要先进行透视变换矩阵的估计。

参照图3，作为进一步优选的实施方式，所述步骤D包括：

D1．将当前最佳估计内点数目设置为0，并将所述参考图像分割为32*32个子块，然后在所有子块中随机抽取4个至少含有一个特征点的子块，跟着在每个抽取出的子块中随机抽取一个特征点，从而得到4个初始点；

D2.采用最小二乘法对所述4个初始点对应的透视变换矩阵进行计算，进而根据该透视变换矩阵统计所述特征点匹配对的内点数目；

D3.比较当前内点数目与当前最佳估计内点数目，若当前内点数目大于当前最佳估计内点数目，则将当前的透视变换矩阵作为当前最佳估计，并更新当前最佳估计内点数目，同时动态估测所需迭代次数；若当前迭代次数达到所需迭代次数，则保留当前的透视变换矩阵作为最终的透视变换矩阵，反之，则重新执行步骤D1。

通过步骤Ｃ得到特征点匹配对以后，我们就可以用其来计算两幅图像的透视变换矩阵H了。一般的做法是采用样本点来进行最小二乘拟合，得到误差最小的估算值，但由于图像受到光照、信号的干扰，特征点匹配对中很可能会有噪声，所以本发明根据实际的应用情况使用改进的随机抽样一致性算法（ransac算法）来进行透视变换矩阵的估计，即所述步骤D的具体流程如下：

Ｄ1.将当前最佳估计内点数目Ni设置为0，并将所述参考图像分割为32＊32个子块，然后在所有子块中随机抽取4个至少含有一个特征点的子块，跟着在每个抽取出的子块中随机抽取一个特征点，从而得到4个初始点。这样做相对于传统的ransac算法可以在一定程度上降低取到共线点的风险，同时也避免了取得的4个点过于临近，提高了随机抽样的效率。

Ｄ2.采用最小二乘法对所述4个初始点对应的透视变换矩阵进行计算，计算出该透视变换矩阵H的8个参数，进而根据该透视变换矩阵H统计所述特征点匹配对的内点数目；

设特征点匹配对为（x1,y1）,（x2,y2）,……，（xn,yn）,共有n对，特征点x1,x2,…，xn在参考图像Ａ上，特征点y1,y2,…，yn在实时视频图像Ｂ上，根据矩阵H计算A上的x1,x2,…，xn在B中的位置x1＇,x2＇,…，xn＇，即计算xi＇与yi的二维空间距离（i为1,2，...,n），若该二维空间距离小于5，则该特征匹配对是个内点。Ｄ3.比较当前内点数目与Ni，若当前内点数目大于Ni，则将当前的矩阵H作为当前最佳估计，并更新Ni，同时动态估测所需迭代次数S(S正比于1/log(p)，其中p为4*Ni)；如果当前迭代次数达到S，则保留当前的矩阵H作为最终的透视变换矩阵，反之，继续重新执行步骤Ｄ1。传统的ransac算法的迭代次数为一固定值，而本发明的迭代次数是根据当前的内点数目来自适应调节的，因此本发明能更加快速和准确地对透视变换矩阵进行估计。

参照图4，作为进一步优选的实施方式，所述步骤E包括：

E1．根据估计的透视变换矩阵把矩形的实时视频图像的四个顶点坐标变换到参考图像上，从而得到变换后的图像与参考图像的重合区域；

E2．统计所述重合区域的像素点个数，进而计算场景变换的程度。

通过步骤Ｄ得到透视变换矩阵H后，我们就可以把实时视频图像变换到参考图像中了。实时视频图像是矩形的，若设图像的宽和高为w、h,则实时视频图像的四个顶点的坐标（x,y）为(0,0),(w,0),(w,h),(0,h),对于每个坐标（x,y），通过透视变换矩阵H得到其在参考图像对应的坐标（x＇,y＇）。

设透视变换矩阵为 $H=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_1& m_4& m_5\\ m_6& m_7& 1\end{array}\right]$

则

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}{m}_0& m_1\\ m_3& m_4\\ m_6& m_7\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\begin{array}{c}\left[\begin{array}{c}{m}_2\\ m_5\\ 1\end{array}\right]\end{array}---\left(3\right)$

通过公式（3）可计算出实时视频图像的四个顶点在参考图像中的位置，即把矩形的实时视频图像的四个顶点坐标变换到参考图像的坐标系中，从而得到变换后的图像与参考图像的重合区域。这样，我们就可以精确计算出场景变换的程度。设重合区域的像素点个数为N，则场景变换的程度Q可通过公式（4）得到,公式（4）如下：

Q=(w*h)/N（4）

当只有极少区域为重合区域时，两个场景很可能完全不一样了，所以当Q大于100时，Q取100，可认为此时两个场景已经完全不一样了，此时场景变换的程度最大。若计算出的场景变换程度Ｑ达到设定阈值（如50），则表明监控系统异常，系统会自动报警以提醒工作人员注意。

如图5所示，一种检测场景变换的系统，该系统包括：图像获取模块、图像特征提取模块、图像特征匹配模块、透视变换矩阵估计模块和场景变换程度计算模块；

所述图像获取模块的输出端依次通过图像特征提取模块、图像特征匹配模块以及透视变换矩阵估计模块进而与场景变换程度计算模块的输入端连接；

图像获取模块，用于获取监控场景的两幅图像；

图像特征提取模块，用于采用快速鲁棒特征算法提取所述两幅图像的特征点；

图像特征匹配模块，用于采用k维数据空间树算法对所述两幅图像的特征点进行匹配；

透视变换矩阵估计模块，用于采用改进的随机抽样一致性算法对所述两幅图像匹配到的特征点进行透视变换矩阵的估计；

场景变换程度计算模块，用于根据估计的透视变换矩阵计算出所述两幅图像的空间偏移量，从而得到场景变换的程度。

作为进一步优选的实施方式，所述图像特征提取模块包括：

Soble边缘总灰度值计算单元，用于计算图像的Soble边缘总灰度值Ｇ；

特征点个数计算单元，用于计算图像特征点的个数K，计算的公式（1）如下：

K=w*log(G)（1）

其中，W为一系数，且K的值应满足：

$K=\left\{\begin{array}{ccc}T1& \mathrm{if}& K>T1\\ T2& \mathrm{if}& K>T1\\ K& \mathrm{else}& \end{array}\right.---\left(2\right)$

其中，T1和T2均为常数；

最终特征点提取单元，用于取海赛矩阵中响应最大的前K个特征点作为最终提取出来的特征点。

作为进一步优选的实施方式，所述透视变换矩阵估计模块包括：初始点获取单元，用于将当前最佳估计内点数目设置为0，并将所述参考图像分割为32*32个子块，然后在所有子块中随机抽取4个至少含有一个特征点的子块，跟着在每个抽取出的子块中随机抽取一个特征点，从而得到4个初始点；

特征点匹配对的内点数目统计单元，用于采用最小二乘法对所述4个初始点对应的透视变换矩阵进行计算，进而根据该透视变换矩阵统计所述特征点匹配对的内点数目；

透视变换矩阵获取单元，用于比较当前内点数目与当前最佳估计内点数目，若当前内点数目大于当前最佳估计内点数目，则将当前的透视变换矩阵作为当前最佳估计，并更新当前最佳估计内点数目，同时动态估测所需迭代次数；若当前迭代次数达到所需迭代次数，则保留当前的透视变换矩阵作为最终的透视变换矩阵，反之，则重新回到初始点获取单元。

作为进一步优选的实施方式，所述场景变换程度计算模块包括：图像变换单元，用于根据估计的透视变换矩阵把矩形的实时视频图像的四个顶点坐标变换到参考图像上，从而得到变换后的图像与参考图像的重合区域；

场景变换程度计算单元，用于统计所述重合区域的像素点个数，进而计算场景变换的程度。

以上是对本发明的较佳实施例进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (2)

1.一种检测场景变换的方法，其特征在于，该方法包括以下步骤：

A．获取监控场景的两幅图像；

B．采用快速鲁棒特征算法提取所述两幅图像的特征点；

C．采用k维数据空间树算法对所述两幅图像的特征点进行匹配；

D．采用改进的随机抽样一致性算法对所述两幅图像匹配到的特征点进行透视变换矩阵的估计；

E．根据估计的透视变换矩阵计算出所述两幅图像的空间偏移量，从而得到场景变换的程度；

所述步骤B包括：

B1．计算图像的Soble边缘总灰度值Ｇ；

B2．计算图像特征点的个数K，计算的公式（１）如下：

（１）

其中，w为一系数，且K的值应满足：

其中，T1和T2均为常数；

B3．取海赛矩阵中响应最大的前K个特征点作为最终提取出来的特征点；

所述步骤C，其具体为，以所述两幅图像的其中一幅图像作为参考图像，另一图像作为实时视频图像，在实时视频图像的特征点中使用k维数据空间树算法找到与参考图像每一个特征点最匹配的特征点，从而得到数对特征点匹配对；

所述步骤D包括：

D1．将当前最佳估计内点数目设置为0，并将所述参考图像分割为32*32个子块，然后在所有子块中随机抽取4个至少含有一个特征点的子块，跟着在每个抽取出的子块中随机抽取一个特征点，从而得到4个初始点；

D2．采用最小二乘法对所述4个初始点对应的透视变换矩阵进行计算，进而根据该透视变换矩阵统计所述特征点匹配对的内点数目；

D3．比较当前内点数目与当前最佳估计内点数目，若当前内点数目大于当前最佳估计内点数目，则将当前的透视变换矩阵作为当前最佳估计，并更新当前最佳估计内点数目，同时动态估测所需迭代次数；若当前迭代次数达到所需迭代次数，则保留当前的透视变换矩阵作为最终的透视变换矩阵，反之，则重新执行步骤D1；

所述步骤E，其包括：

E1．根据估计的透视变换矩阵把矩形的实时视频图像的四个顶点坐标变换到参考图像上，从而得到变换后的图像与参考图像的重合区域；

E２．统计所述重合区域的像素点个数，进而计算场景变换的程度。

2.一种检测场景变换的系统，其特征在于，该系统包括以下模块：

图像获取模块，用于获取监控场景的两幅图像；

图像特征提取模块，用于采用快速鲁棒特征算法提取所述两幅图像的特征点；

图像特征匹配模块，用于采用k维数据空间树算法对所述两幅图像的特征点进行匹配；

透视变换矩阵估计模块，用于采用改进的随机抽样一致性算法对所述两幅图像匹配到的特征点进行透视变换矩阵的估计；

场景变换程度计算模块，用于根据估计的透视变换矩阵计算出所述两幅图像的空间偏移量，从而得到场景变换的程度；

所述图像特征提取模块包括：

Soble边缘总灰度值计算单元，用于计算图像的Soble边缘总灰度值Ｇ；

特征点个数计算单元，用于计算图像特征点的个数K，计算的公式（１）如下：

（１）

其中，w为一系数，且K的值应满足：

其中，T1和T2均为常数；

最终特征点提取单元，用于取海赛矩阵中响应最大的前K个特征点作为最终提取出来的特征点；

所述图像特征匹配模块，其具体用于以所述两幅图像的其中一幅图像作为参考图像，另一图像作为实时视频图像，在实时视频图像的特征点中使用k维数据空间树算法找到与参考图像每一个特征点最匹配的特征点，从而得到数对特征点匹配对；

所述透视变换矩阵估计模块包括：

初始点获取单元，用于将当前最佳估计内点数目设置为0，并将所述参考图像分割为32*32个子块，然后在所有子块中随机抽取4个至少含有一个特征点的子块，跟着在每个抽取出的子块中随机抽取一个特征点，从而得到4个初始点；

特征点匹配对的内点数目统计单元，用于采用最小二乘法对所述4个初始点对应的透视变换矩阵进行计算，进而根据该透视变换矩阵统计所述特征点匹配对的内点数目；

透视变换矩阵获取单元，用于比较当前内点数目与当前最佳估计内点数目，若当前内点数目大于当前最佳估计内点数目，则将当前的透视变换矩阵作为当前最佳估计，并更新当前最佳估计内点数目，同时动态估测所需迭代次数；若当前迭代次数达到所需迭代次数，则保留当前的透视变换矩阵作为最终的透视变换矩阵，反之，则重新回到初始点获取单元；

所述场景变换程度计算模块包括：

图像变换单元，用于根据估计的透视变换矩阵把矩形的实时视频图像的四个顶点坐标变换到参考图像上，从而得到变换后的图像与参考图像的重合区域；

场景变换程度计算单元，用于统计所述重合区域的像素点个数，进而计算场景变换的程度。