CN109359513B - 一种基于边缘检测和颜色匹配的异常检测方法 - Google Patents

Abstract

本发明提出一种基于边缘检测和颜色匹配的异常检测方法，通过对不同时刻采集的两幅航拍图像进行配准、颜色平衡、边缘检测和颜色匹配，高效且准确地检测其中的异常区域。针对传统基于图像要素比对的异常检测方法的不足，本发明在图像配准步骤引入基于邻域的特征点匹配对筛选以及基于距离与面积准则的关键点选择策略，提高了图像配准的可靠性；在图像比对环节结合边缘检测与颜色匹配，解决了异常检测与颜色平衡相冲突的问题，提高了异常检测的准确率。

Description

一种基于边缘检测和颜色匹配的异常检测方法

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种基于边缘检测和颜色匹配的异常检测方法。

背景技术

在地表环境监测等领域，需要通过采集图像以比对同一区域随时间的变化情况，发现并标注异常区域。例如利用无人机对同一地点在不同时刻分别拍摄图像，并进行对比分析，检测图像中的异常变化，如违章建筑、植被破坏、河流污染等。当前，异常检测的方法主要有两类，一类是基于图像要素比对的方法，另一类是基于前背景分割的方法。

基于图像要素对比的异常检测方法通过从图像中提取点、线、块等图像要素，然后加以对比，来区分异常和正常的部分。这类方法一般需要先进行图像配准，以解决航拍角度、高度等因素带来的成像角度、尺度变化问题。这种方法不需要学习，因此无需大量的训练样本，但是往往鲁棒性不足，在不同分辨率下得到的检测结果常常有较大差别，而图像配准的效果受分辨率影响也较大。

基于前背景分割的异常检测方法主要应用于固定摄像头拍摄的视频流数据，通常数据来源于城市等场景下固定安装的摄像头。此类方法基于样本的学习建立背景模型，并检测图像与背景模型的偏离，在此基础上进行异常前景检测和分类。这些方法的缺点在于摄像头需要固定，不适用于无人值守的大范围、长时间间隔的变化检测。

发明内容

本发明的发明目的在于解决现有技术提供的基于图像要素对比的异常检测方法鲁棒性不足、稳定性不够的技术缺陷，以及解决现有技术提供的基于前背景分割的异常检测方法存在的不适用于无人值守的大范围、长时间间隔的变化检测的技术缺陷，提供了一种基于边缘检测和颜色匹配的异常检测方法。

为实现以上发明目的，采用的技术方案是：

一种基于边缘检测和颜色匹配的异常检测方法，包括以下步骤：

S1.对两幅图像A、B进行SIFT特征点的检测和匹配，获得特征点匹配对；

S2.采用Lowe算法对得到的特征点匹配对进行初步的筛选，初步筛选完毕后进行基于邻域的特征点匹配对筛选；

S3.从经过筛选的特征点匹配对中选取三对特征点匹配对，并基于三对特征点匹配对求取仿射变换矩阵，对图像A/B进行仿射变换；

S4.对两幅图像A、B中的颜色异常进行初步的检测，将两幅图像转换为Lab颜色空间，然后进行Lab颜色空间下的颜色平衡；

S5.对经历过颜色平衡的图像A、B分别进行边缘异常检测、颜色异常检测。

与现有技术相比，本发明的有益效果是：

1)由于现实应用环境的复杂性，现有的图像配准方法中采用的特征点匹配往往可靠性不足。本发明提出了基于邻域的特征点匹配对筛选方法，可以准确高效地实现匹配对筛选；在选取关键点步骤，提出了简单且高效的关键点选取方法，提高了图像配准的可靠性。

2)本发明在颜色平衡和异常检测阶段加入了颜色异常检测的步骤，并在两个阶段分别设置不同的阈值，一方面在颜色平衡中排除了异常区域的干扰，另一方面也通过结合颜色匹配有效地提高了异常检测的准确率。

附图说明

图1为五种边缘检测模板的示意图。

图2为基于边缘检测和颜色匹配的异常检测方法的流程示意图。

图3为图像配准的流程图。

图4为颜色平衡的流程图。

图5为异常检测的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

如图2所示，本发明提供的基于边缘检测和颜色匹配的异常检测方法包括有图像配准、颜色平衡、异常检测三个步骤。

一、图像配准

无人机在不同时刻拍摄的两幅图像在尺度、角度、范围等方面有所不同，图像配准的目的是通过对两幅图像进行特定的仿射变换，使它们对应的位置对齐。

如图3所示，图像配准分为三个阶段：(1)SIFT特征点的检测和匹配；(2)特征点匹配对的筛选；(3)关键点的选取及图像配准。

(1)SIFT特征点的检测和匹配

1)从两幅图像A、B中检测SIFT特征点，并获取对应的特征向量；

2)对图像A中的每个SIFT特征点，采用暴力匹配的方式在图像B中进行2-近邻匹配，选取与该SIFT特征点表达最为相似的2个特征点作为匹配对象，形成特征点匹配对。

(2)特征点匹配对的筛选

首先采用Lowe算法进行特征点匹配对的初步筛选，过程如下：

1)对于每对特征点匹配对位于图像A中特征点，令与它表达最为相似的位于图像B中的两个特征点的特征向量距离为d₁和d₂，d₁<d₂；

2)设定一个(0,1)内的阈值τ₁，若d₁/d₂<τ₁，则保留图像A中的特征点与图像B中表达最为相似的特征点的匹配，否则筛掉该对特征点匹配对。

实验中，阈值τ₁设定为0.75(τ₁一般设置为0.4–0.8，τ₁越小则筛选越严格)。

采用Lowe算法初步筛选后，进一步进行基于邻域的特征点匹配对筛选，过程如下：

对于每对特征点匹配对中的两个特征点，分别找出在图像A、B中距离两个特征点最近的n个邻域特征点，然后计算图像A、B中的n个邻域特征点是否匹配，并记录匹配的邻域特征点的对数k；设定一个(0,1)内的阈值τ₂，若k/n>τ₂，则保留这一对特征点匹配对，否则，筛掉这对特征点匹配对。

实验中，中将n设为5，τ₂设为0.5(τ₂越大则筛选越严格)。

(3)关键点的选取及图像配准

由于求取仿射变换矩阵只需要三对匹配点，因此需要从匹配的点对中选取三对匹配点对，将其称为关键点。选取匹配点对需要考虑到“数据退化”的问题：如果选取的三对匹配点对接近一条直线或距离太近，将导致仿射变换矩阵的退化，在图像配准中引入较大误差。针对该问题，本发明提出的关键点选取过程如下：

计算图像A/B中经历过步骤S2筛选的所有特征点之间的几何距离，记录距离最远的两个特征点；计算其余的特征点与上述两个特征点构成的三角形面积，记录能够使得构成的三角形面积最大的特征点；以上记录的三个特征点对应的特征点匹配对即为选取的三对特征点匹配对。

选取最远的两个特征点，这样可以保证选取的关键点不会退化为一个点，选取第三个特征点与前两个特征点构成面积最大的三角形，这样可以保证选取的关键点不会退化为一条线，从而防止变换矩阵的退化，保证图像配准的可靠性。

通过前面选取的三对特征点匹配对求取仿射变换矩阵，然后进行仿射变换，即可将两幅图像在空间位移、角度和尺度上对应起来。

二、颜色平衡

由于拍摄时间不同及拍摄设备可能存在参数差异等，在同一地点先后拍摄的两幅图像可能存在亮度和色调等方面的差异，因此需要对图像进行颜色平衡，使它们在亮度和色调上趋于一致。

如图4所示，颜色平衡分为两个阶段：(1)颜色异常的初步检测；(2)Lab空间下的颜色平衡。

(1)颜色异常的初步检测

由于异常区块可能较大(例如大面积的违章建筑)，因此在进行颜色平衡时，如果盲目地使用整幅图像的颜色信息，可能会造成异常区块对颜色平衡造成较大干扰，因此需要进行异常区块的初步检测。这里存在颜色平衡和异常检测的“矛盾”问题：要进行异常检测，需要先进行颜色平衡；但要保证颜色平衡的效果，又需要先排除异常区块的干扰。这里的解决方法是先在颜色平衡步骤进行初步的异常区块检测，“初步”指的是阈值设置得较低，防止漏检测，而将后续异常检测步骤的颜色异常检测阈值设置得较高，保证检测的可靠性。初步的颜色异常检测过程如下：

将图像A、B划分为p×p像素的方块，对每块方块计算在RGB颜色空间下的颜色均值；

比较图像A、B中对应块的颜色距离(本发明采用l₂范数)，若颜色距离超过阈值τ₃(τ₃的范围一般为200-5000)则认为该块存在颜色异常。

颜色距离的计算公式如下：

其中

和

分别代表图像A、B中的第(i,j)个块的第m个通道的颜色均值。

(2)Lab空间下的颜色平衡

对异常区块进行初步检测之后，将两幅图像转换为Lab颜色空间，分别对图像A、B求取无异常块的颜色均值μ_s、μ_t和方差σ_s、σ_t，并对图像A进行以下处理：

其中，t表示图像A，s表示图像B，t^new是颜色平衡后的图像A，μ_s、μ_t分别为图像B和图像A的颜色均值，σ_s、σ_t分别为图像B和图像A的颜色各通道标准差。通过变换，图像B和图像A中的颜色均值和方差趋于一致。

三、异常检测

通过图像配准和颜色平衡，两幅图像在空间位移、尺度、角度、颜色风格等方面趋于一致，可进行下一步的异常检测。如图5所示，异常检测步骤主要包括边缘异常检测和颜色异常检测(颜色匹配)。

(1)边缘异常检测

将对齐的两幅图像分块并分别提取图像每个块的MPEG-7边缘直方图并求取其距离，超过阈值则认为该块存在边缘异常，MPEG-7边缘直方图的提取过程如下：

1)将图像分为p×p(实验中取60×60)像素的块，每个块作为边缘直方图检测的基本单位。

2)对每个块，分为q×q(实验中取4×4)像素的小块，每个小块作为边缘检测的基本单位。

3)对每个小块，将其分成2×2部分，对每一部分求取其均值。使用图1所示的五种模板(垂直，水平，45°，135°，无方向)进行边缘检测，超过阈值则认为存在该方向的边，并累加到块的边缘直方图中。

对两幅图中的每个块求取边缘分布直方图，得到一个5维直方图向量，表示五种方向边的数目，通过以下公式求取对应块的边缘向量距离(距离一般取l₁范数或l₂范数)，超过阈值τ₄(实验中τ₄的范围为10-200)则认为该块存在边缘异常。

其中e₁(i)与e₂(i)分别为两个对应块直方图向量的第i分量。

2)颜色异常检测

此步骤的颜色异常检测与颜色平衡中初步的颜色异常检测过程大致相同，区别在于此步骤的阈值τ₅(τ₅的范围一般为300-1200)设置得更高，防止误检测。

实施例2

为了验证本发明提供的方法的有益效果，本实施例进行了具体的实验，本次实验的数据集采用的是SZTAKI数据集，其中包含12对彩色图像，对应匈牙利城市Szada和Tiszadob的部分区域。每对图像的大小是952×640像素，分辨率为1.5米/像素，图像的拍摄时间间隔分别为五年和七年。图像中的变化区域包括新建城区、建筑施工、树群栽植、耕地开垦等。

实验中分别测试只进行边缘异常检测的方法和同时进行边缘异常检测和颜色异常检测的方法，结果如表1所示：

表1：传统仅使用边缘检测的方法与本发明所提方法的实验结果对比

准确率指识别正确的区域(包括异常和非异常)占所有区域的比例，精确率指检测出的异常区域中确为异常的比例，召回率指检测出的异常区域占所有异常区域的比例，其定义分别如公式(4)、(5)和(6)所示。

准确率＝(TP+TN)/(TP+FN+FP+TN) (4)

精确率＝TP/(TP+FP) (5)

召回率＝TP/(TP+FN) (6)

其中，TP指的是将异常区域检测为异常的数目，FN指的是将异常区域检测为正常的数目，FP指的是将正常区域检测为异常的数目，TN指的是将正常区域识别为正常的数目。

由以上结果可以看出，采用了颜色匹配步骤后的异常检测方法无论是在准确率和召回率等指标上，都比只基于边缘检测的异常检测方法能够达到更好的异常检测效果。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于边缘检测和颜色匹配的异常检测方法，其特征在于：包括以下步骤：

S1.对两幅图像A、B进行SIFT特征点的检测和匹配，获得特征点匹配对；

S2.采用Lowe算法对得到的特征点匹配对进行初步的筛选，初步筛选完毕后进行基于邻域的特征点匹配对筛选；

S3.从经过筛选的特征点匹配对中选取三对特征点匹配对，并基于三对特征点匹配对求取仿射变换矩阵，对图像A/B进行仿射变换；

S4.对两幅图像A、B中的颜色异常进行初步的检测，将两幅图像转换为Lab颜色空间，然后进行Lab颜色空间下的颜色平衡；

S5.对经历过颜色平衡的图像A、B分别进行边缘异常检测、颜色异常检测；

其中，步骤S4中所述的Lab颜色空间下的颜色平衡的具体过程如下：

分别对图像A、B求取无异常块的颜色均值μ_t、μ_s和标准差σ_t、σ_s，并对图像A进行以下处理：

其中，t表示图像A，s表示图像B，t^new是颜色平衡后的图像A，μ_s、μ_t分别为图像B和图像A的颜色均值，σ_s、σ_t分别为图像B和图像A的颜色各通道标准差。

2.根据权利要求1所述的基于边缘检测和颜色匹配的异常检测方法，其特征在于：所述步骤S1的具体执行步骤如下：

从两幅图像A、B中检测SIFT特征点，并获取对应的特征向量；

对图像A中的每个SIFT特征点，采用暴力匹配的方式在图像B中进行2-近邻匹配，选取与该SIFT特征点表达最为相似的2个特征点作为匹配对象，形成特征点匹配对。

3.根据权利要求2所述的基于边缘检测和颜色匹配的异常检测方法，其特征在于：所述步骤S2中，采用Lowe算法进行初步筛选的具体步骤如下：

对于每对特征点匹配对位于图像A中特征点，令与它表达最为相似的位于图像B中的两个特征点的特征向量距离为d₁和d₂，d₁<d₂；

设定一个(0,1)内的阈值τ₁，若d₁/d₂<τ₁，则保留图像A中的特征点与图像B中表达最为相似的特征点的匹配，否则筛掉该对特征点匹配对。

4.根据权利要求3所述的基于边缘检测和颜色匹配的异常检测方法，其特征在于：所述步骤S2进行基于邻域的特征点匹配对筛选的具体过程如下：

对于每对特征点匹配对中的两个特征点，分别找出在图像A、B中距离两个特征点最近的n个邻域特征点，然后计算图像A、B中的n个邻域特征点是否匹配，并记录匹配的邻域特征点的对数k；设定一个(0,1)内的阈值τ₂，若k/n>τ₂，则保留这一对特征点匹配对，否则，筛掉这对特征点匹配对。

5.根据权利要求4所述的基于边缘检测和颜色匹配的异常检测方法，其特征在于：所述步骤S3中通过以下方式选取三对特征点匹配对：

计算图像A/B中经历过步骤S2筛选的所有特征点之间的几何距离，记录距离最远的两个特征点；计算其余的特征点与上述两个特征点构成的三角形面积，记录能够使得构成的三角形面积最大的特征点；以上记录的三个特征点对应的特征点匹配对即为选取的三对特征点匹配对。

6.根据权利要求1～5任一项所述的基于边缘检测和颜色匹配的异常检测方法，其特征在于：所述步骤S4进行初步的颜色异常检测的具体过程如下：

将图像A、B划分为p×p像素的方块，对每块方块计算在RGB颜色空间下的颜色均值；

比较图像A、B中对应块的颜色距离，若颜色距离超过阈值τ₃则认为该块存在颜色异常。

7.根据权利要求6所述的基于边缘检测和颜色匹配的异常检测方法，其特征在于：所述颜色距离的计算公式如下：

其中

和

分别代表图像A、B中的第(i,j)个块的第m个通道的颜色均值。

8.根据权利要求6所述的基于边缘检测和颜色匹配的异常检测方法，其特征在于：所述步骤S5进行边缘异常检测的具体过程如下：

对图像A、B分别执行以下步骤：

1)将图像分为p×p像素的块，每个块作为边缘直方图检测的基本单位；

2)对每个块，分为q×q像素的小块，每个小块作为边缘检测的基本单位；

3)对每个小块，将其分成2×2部分，对每一部分求取其均值，并进行方向为垂直、水平、45°、135°、无方向的边缘检测，超过阈值则认为存在该方向上的边，并累加到块的边缘分布直方图中；

对图像A、B中的每个块分布求取边缘分布直方图，得到一个5维直方图向量，表示五种方向边的数目，然后求取对应块的边缘向量距离：

其中e₁(i)与e₂(i)分别表示图像A、B中对应块的边缘分布直方图的第i分量；

若边缘向量距离超过阈值τ₄，则认为该块存在边缘异常。

9.根据权利要求6所述的基于边缘检测和颜色匹配的异常检测方法，其特征在于：所述颜色异常检测的具体过如下：

将图像A、B划分为p×p像素的方块，对每块方块计算在RGB颜色空间下的颜色均值；

比较图像A、B中对应块的颜色距离，若颜色距离超过阈值阈值τ₅则认为该块存在颜色异常。

Images