CN106407900B - 基于多源航片的异常场景识别方法 - Google Patents

Abstract

一种基于多源航片的异常场景识别方法，首先通过在远红外和SAR图像中检测温度异常区域集和介电性强区域集，并合并两者结果作为疑似异常区域集。逐一对疑似异常区域提取三源(可见光、远红外、SAR)特征，并在特征级上三者进行融合。最后将融合特征输入到分类器中进行分类识别。本发明提出以温度异常或具有人工金属制品作为异常场景的共同属性，并提供了一套切实可行的识别框架，填补了使用该三源图像进行异常场景识别的研究空白。

Description

基于多源航片的异常场景识别方法

技术领域

本发明涉及图像处理技术，具体是结合DOG(Difference of Gaussians)斑点检测算法与CFAR(Constant False-Alarm Rate)检测算法，针对多源航片的异常场景识别方法。

背景技术

本发明涉及的异常场景与传统研究定义不同，特指人迹罕至地带，具有异常人类活动痕迹的场景，基本属性表现为温度异常或具有人造金属制品。这些场所往往深藏大山荒漠，人力普查耗费巨大，并具有严重的社会危害性，如违禁药品加工场、涉恐训练营以及非法赌场。

针对上述场景特点，研究设计了无人机搭载可见光、远红外以及SAR相机进行巡查，并对获取的多源航拍数据进行处理。无人机具有噪声小，不易察觉，续航久，成本低等优点，是取代人力对偏远地区进行排查的有利工具。搭载的多源相机所获取的图像中，可见光影像是反射影像，在一定照度下能够反映场景的细节和形态纹理特征；红外影像是辐射影像，在光照较差时具有较优的目标探测性能，但是反映真实场景的细节较差，主要利用目标的热性质；微波不受天气情况的影响可以探测目标的介电性。多源数据对同一目标的特性反应不同，由信息理论知识可知，结合这些互补信息能有效的提高目标识别能力。

本发明主要内容为多源航片的图像处理技术，具体为针对上述三源航片，研发异常场景的识别算法，并针对两大异常场景(违禁药品加工场、涉恐训练营)进行验证。就目前而言，国内外并未发现同时针对该三源航片的场景识别研究。

发明内容

本发明结合DOG斑点检测算法与CFAR检测算法，研发针对可见光、远红外以及SAR图像的异常场景识别算法，填补了该项应用的研究空白。本发明的技术解决方案主要分为两大部分：第一部分为疑似异常区域探测部分，第二部分为异常场景识别部分。本发明流程图如图1所示，两部分的详细内容如下所述。

①基于该处对异常场景的假设：异常场景一般表现为温度异常或具有人造金属制品，本发明第一部分充分利用图像特性，提出分别使用DOG检测算法探测远红外图像中的温度异常区域，使用CFAR算法探测SAR图像中具有强介电性物质(例如金属)的区域，最后合并两者区域作为疑似异常区域集。算法包括如下步骤：

第一步，输入远红外图像

第二步，对红外图像使用DOG检测算法，并将检测到的区域标志为R_I。温度异常在热红外图像中表现为一个浅色或深色的斑点，本文提出使用DOG斑点检测算法对该类区域进行探测，它具有计算速度快，实时性强等特点。DOG是一个空总额的小波母函数，它从一个窄高斯减去一个宽高斯，是墨西哥帽小波的一个近似。一维情况下它的定义公式如下：

在二维的情况下：

第三步，输入SAR图像

第四步，对SAR图像使用CFAR检测算法，将检测到的区域标志为R_s。人工金属制品为强反射点在SAR图像中表现一个亮斑，然而由于SAR图像自身的成像机理，使一般的亮斑检测算法无法达到理想效果，本发明提出采用CFAR算法探测该类区域。CFAR在背景确定的情况下，通过保持恒定的虚警率来进行目标检测，其关键在于确定自适应的阈值即判决门限。假设SAR图像的背景和目标的概率密度分布分别为P_b(x)和P_t(x)，T为判决门限如图2所示。

虚警率p_fa和检测率p_d分别下式所示。

其中检测阈值T由下式求得。

求得T以后由以下判决规则进行判断：

第五步，计算R_I，R_s各个区域的中心位置距离，合并中心位置距离小于一定范围的区域(该处距离为经验值，可根据实际场景设定以及图像分辨率自行设定)，获得疑似异常区域集R'。

第一、二步针对远红外图像，第三、四步针对SAR图像，两者并行处理，可以大大缩短算法计算时间。

②本发明第二部分针对疑似异常区域，分别提取多源HOG(Histogram ofOriented Gradients)特征，并对多源特征使用PCA(PrincipalComponent Analysis)降维后，采用CCA(Canonical Correlation Analysis)进行融合，最后对串联的融合特征使用训练完成的SVM(Support Vector Machine)判别模型对疑似区域进行场景分类识别。算法包括如下步骤：

第一步，针对疑似异常区域集R'中每一块疑似异常区域，截取多源航片中对应图像块。因此每一个疑似异常区域对应一组图像，分别由热红外、SAR以及可见图像块组成，作为第二部分的输入。

第二步，对图像块进行拉伸，统一尺寸，对每组图像提取HOG特征。HOG对图像几何的和光学的形变都能保持很好的不变性。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，一些细微的变化可以被忽略而不影响检测效果。其大致过程可以归纳为：

(1)灰度化；

(2)采用Gamma校正法对输入图像进行颜色空间标准化，Gamma压缩公式如下：

I(x,y)＝I(x,y)^gamma (7)

(3)计算图像每个像素的梯度(包括大小和方向),每个像素点(x,y)的梯度为：

G

其中G_x(x,y)，G_y(x,y)，H(x,y)分别表示像素点(x,y)的水平方向梯度，垂直方向梯度以及像素值。像素点(x,y)处的梯度幅值G(x,y)和梯度方向α(x,y)分别为：

(4)将图像划分为小cells；

(5)统计每个cell组成的梯度直方图；

(6)将每几个cell组成一个block，每个block里所有cell的特征描述符串联起来得到该block的特征描述符；

(7)将图像中所有block的特征描述符串联起来得到图像的HOG特征。

第三步，对多源航片HOG特征使用PCA降维后，使用CCA进行融合。具体为通过学习映射矩阵使多源数据分布尽可能一致。三者的投影矩阵可以通过优化以下公式获得：

其中Σ_ij为Φⁱ与Φ^j的协方差矩，Wⁱ为投影矩阵，其中第k列表示为Φ表示使用PCA降维后的HOG特征。

第四步，串联多源映射特征作为融合特征，输入到SVM分类器中，对该区域场景进行识别。SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间)，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题，在样本数目较少的情况也能获得较好的分类效果。

本发明的有益效果是：

1、本发明提出采用DOG探测温度异常区域，CFAR探测介电性异常区域，并合并两则探测结果作为疑似异常区域集，该结果在虚警较高的前提下，取得了很好的探测结果。可并行的处理机制，更大大加快了算法的计算速度。该方法还解决了可见光在能见度较低时无法获取有效图像的致命缺点，对边远地区实现全天时的监测。

2、本发明提出采用PCA和CCA对可见、远红外、SAR的HOG特征进行融合，PCA能去除多源信息中的冗余信息，而CCA则通过映射这些信息使它们的相关度达到最大。最后基于多源融合特征使用SVM进行场景识别，解决了第一部分虚警率过高的缺点，实现了特定场景的多源识别任务。

附图说明

图1是本发明流程图。

图2是CFAR算法中判别门限的示意图。

图3(a)～(c)依次是含有违禁药品加工场的远红外、SAR以及可见光图像，图3(d)～(f)依次为DOG检测结果、CFAR检测结果以及疑似异常区域检测结果。图3(g)为本发明对于违禁药品加工场的识别图。

图4(a)～(c)依次是含有涉恐训练营的远红外、SAR以及可见光图像，图4(d)～(f)依次为DOG检测结果、CFAR检测结果以及疑似异常区域检测结果。图4(g)为本发明对于涉恐训练营的识别图。

图5是违禁药品加工场单源/多源识别结果图。

图6是涉恐训练营单源/多源识别结果图。

具体实施方式

以下结合附图和实施例对本发明作详细的说明：本实施例在以本发明技术方案为前提下进行实施的例子，验证了本发明对于违禁药品加工场、涉恐训练营这两类场景的识别效果，并给出了详细的实施方式和过程，但本发明的保护范围不应限于下述的实施例。

①首先是使用本发明识别违禁药品加工场的实施例，请先参阅图1与图3，图1是本发明的流程图，图3为本例的输入、中间过程图以及结果图。如图所示，本发明具体实施分两大部分，第一部分步骤如下：

第一步，输入远红外、SAR图像，如图3(a)～(b)所示。

第二步，同时对远红外、SAR图像实施金字塔降噪预处理

第三步，将远红外图像灰度反转得到反转图，再分别对原图和反转图使用DOG斑点检测算法，合并两者结果得到温度异常区域集，如图3(d)。同时对SAR图像使用CFAR检测算法，得到强反射区域，如图3(e)。

第四步，计算温度异常区域、强反射区域的中心点距离，合并距离小于50像素的区域，得到疑似异常区域集,如图3(f)。

得到疑似异常区域集后，开始实施第二部分内容，具体步骤如下所示：

第一步，由第一部分获取的异常区域坐标，截取多源航片中对应图像块。

第二步，对图像块进行拉伸，统一尺寸为32*32。针对每一个异常区域，分别提取多源航片块的HOG特征。

第三步，对每一个区域的三个HOG特征使用PCA降维到64维，并使用CCA融合降维后的HOG特征，串联得到融合特征。

第四步，将融合特征输入到SVM分类器中，对该区域场景进行分类识别。保留目标场景区域，清除非目标场景的区域，得到的最终识别结果如图3(g)所示。

②其次是使用本发明识别涉恐训练营的实施例，请先参阅图1与图4，图1是本发明的流程图，图4为本例的输入、中间过程图以及结果图。如图所示，本发明具体实施分两大部分，第一部分步骤如下：

第一步，输入远红外、SAR图像，如图4(a)～(b)所示。

第二步，同时对远红外、SAR图像实施金字塔降噪预处理

第三步，将远红外图像灰度反转得到反转图，再分别对原图和反转图使用DOG斑点检测算法，合并两者结果得到温度异常区域集，如图4(d)。同时对SAR图像使用CFAR检测算法，得到强反射区域集，如图4(e)。

第四步，计算温度异常区域、强反射区域的中心点距离，合并距离小于70像素的区域，得到疑似异常区域集,如图4(f)。

得到疑似异常区域集后，开始实施第二部分内容，具体步骤如下所示：

第一步,由第一部分获取的异常区域坐标，截取多源航片中对应图像块。

第二步，对图像块进行拉伸，统一尺寸为32*32。针对每一个异常区域，分别提取多源航片块的HOG特征。

第三步，对每一个区域的三个HOG特征使用PCA降维到64维，并使用CCA融合降维后的HOG特征，串联得到融合特征。

第四步，将融合特征输入到SVM分类器中，对该区域场景进行分类识别。保留目标场景区域，清除非目标场景的区域，得到的最终识别结果如图4(g)所示。

温度异常和强介电性较好的定义了大多数异常场景的共同属性，其中用于验证本发明算法的违禁药品加工场、涉恐训练营地均具备这两种特性。实验基于单源以及多源数据，测试算法对上述两类场景的识别率。测试实验结果验证了多源数据所包含的信息具有互补性，本发明的多源航片识别方法融合多源信息对这类场景具有优异的识别效果。具体测试结果如下表以及图5～图6所示：

表1

Claims (3)

1.一种基于多源航片的异常场景识别方法，其特征在于，包括如下步骤：

第一阶段：对疑似异常区域的检测，具体如下：

①输入配准后的远红外图像和SAR图像；

②将远红外图像灰度反转得到反转图，再分别对远红外图像和反转图使用DOG斑点检测算法，合并两者结果得到温度异常区域集；同时对SAR图像使用CFAR检测算法，得到强反射区域集；

③计算温度异常区域、强反射区域的中心点距离，合并小于一定距离的区域，得到疑似异常区域集；

第二阶段：对疑似异常区域集进行进一步识别，排除非目标区域，具体如下：

④由疑似异常区域坐标，截取多源航片中对应图像块；

⑤对图像块进行拉伸，统一尺寸，并对每一块异常区域分别提取多源航片块的HOG特征；

⑥对每一个区域的多源航片块的HOG特征使用PCA降维，并使用CCA融合降维后的HOG特征，串联得到融合特征；

⑦将融合特征输入到SVM分类器中，对该区域场景进行分类识别，保留目标场景区域，清除非目标场景的区域，得到的最终识别结果。

2.根据权利要求1所述的基于多源航片的异常场景识别方法，其特征在于，所述步骤②中并行的对远红外图像使用DOG检测温度异常区域、对SAR图像使用CFAR检测强反射区域，并合并两者的检测结果作为疑似异常区域集。

3.根据权利要求1所述的基于多源航片的异常场景识别方法，其特征在于，所述步骤⑥中分别对可见光图像、远红外以及SAR图像提取HOG特征，并对三者使用PCA降维后采用CCA进行特征融合。