CN104392228A - 基于条件随机场模型的无人机图像目标类检测方法 - Google Patents

Abstract

本发明公开了一种基于条件随机场模型的无人机图像目标类检测方法，其步骤为：(1)对特定区域的场景图片进行采集作为训练样本；(2)通过空间金字塔方法进行SVM分类器训练；(3)通过SVM分类器对特定区域内进行场景识别；(4)对无人机得到的图像进行超像素分割；(5)通过ORB算法提取特征，并在每个超像素块中进行融合作为该超像素块的特征；(6)构建条件随机场模型，将步骤(3)中的场景对目标类的限制加入建模过程；(7)进行参数学习；(8)进行模型推断，基于步骤(7)采用最大后验准则为每一个节点分配一个使其边缘概率最大的标记，最终实现目标类检测。本发明具有适用范围广、能够提高检测准确度和处理速度等优点。

Description

基于条件随机场模型的无人机图像目标类检测方法

技术领域

本发明主要涉及到无人机系统的设计领域，特指一种基于条件随机场模型的无人机图像目标类检测方法。

背景技术

目前，无人机系统在各个行业领域都发挥着越来越重要的作用，但是随着无人机系统传感器获取的图像信息数据量急剧膨胀，迫切需要智能化的处理手段辅助，甚至替代操作员完成基本的图像分析任务，处理目标信息。目标类检测中图像表现出的不确定性和模糊性是两个急需解决的重要问题。为了减少这些不确定性和模糊性对目标检测的影响，一个重要的办法是在检测过程中尽可能多地利用图像中包含的信息，包括图像特征和图像成分之间的上下文信息。一方面场景信息是一种重要的上下文信息，如飞机出现在机场的概率要比在旷野中大很多，轮船一般出现在水域附近；另一方面目标不同的目标部件区域可以由不同的结构和纹理基元构成，不仅同一部件的不同观测具有一定的纹理或结构相似性，而且相邻的部件之间在空间上也存在相关性。这种多层次的上下文信息对于实现目标类检测有很大帮助。特别是对于存在环境干扰或遮挡的情况，根据对目标部件分布情况的分析可以从概率的角度推断出目标的出现。基于部件的条件随机场模型直接对后验概率建模，既能融合多特征又可以利用上下文信息。基于像素级别的处理往往导致需要处理的基本单元过多，这大大影响了图像分类的效率，以超像素块为节点建立图模型可以极大减小图模型规模，降低图像处理的复杂度。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种适用范围广、能够提高检测准确度和处理速度的基于条件随机场模型的无人机图像目标类检测方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于条件随机场模型的无人机图像目标类检测方法，其步骤为：

(1)对特定区域的场景图片进行采集作为训练样本；

(2)通过空间金字塔方法进行SVM分类器训练；

(3)通过SVM分类器对特定区域内进行场景识别；

(4)对无人机得到的图像进行超像素分割；

(5)通过ORB算法提取特征，并在每个超像素块中进行融合作为该超像素块的特征；

(6)针对目标类检测特点基于部件模型原理进行条件随机场势函数和邻域设计，构建条件随机场模型，同时将步骤(3)中的场景对目标类的限制加入建模过程；

(7)进行参数学习；采用极大似然估计方法实现求解条件随机场模型的参数问题，通过学习训练出分类模型；

(8)进行模型推断，基于步骤(7)采用最大后验准则为每一个节点分配一个使其边缘概率最大的标记，最终实现目标类检测。

作为本发明的进一步改进：所述步骤(2)中，采用规则网格将图像分块，并提取每个块的SIFT特征；通过Kmeans聚类形成块类型的码本，利用交叉直方图，选择适合的核函数对SVM分类器进行训练。

作为本发明的进一步改进：所述步骤(4)中，对测试图像进行过分割；采用SLIC算法进行超像素分割，SLIC算法利用5维特征进行过分割，3维的CIELAB颜色空间的L、a、b和2维x、y的位置信息，任意设定分割的超像素块数。

作为本发明的进一步改进：所述步骤(5)中，对超像素块通过ORB算法提取角点特征，同时提取RGB颜色特征、纹理特征、灰度值特征共同构成特征向量，并对目标内的超像素块特征进行整合构成特征向量。

作为本发明的进一步改进：所述步骤(6)的具体步骤为：

(6.1)定义邻域结构；计算节点周围最近邻的n个邻节点，作为该节点的邻域系统；其中最近邻的依据采用图像空间内的二维距离进行判断；由图G＝(V，E)表示概率分布，即在图G中，结点v∈V表示一个随机变量Y_v，边e∈E表示随机变量之间的概率依赖关系；若两个超像素块相邻，则在CRF模型中他们对应的结点上加入一条边，用来表示两个结点是相邻的；

(6.2)构建双层模型；

第一层模型：建立观测y和部件标记h的关联，采用观测图像的颜色特征、纹理特征和局部不变性特征作为输入y_i，融合不同特征的超像素块在图像空间中的位置对应于CRF图模型中顶点的概念；超像素块之间通过实线连接，表示存在着相互依赖的关系；多个超像素块在物理上可能对应于同一个目标部件；

第二层模型：建立部件标记h和目标标记x之间的关联；采用多类别的部件标记作为观测，衡量变量x在给定h下的后验概率；同样，h_i与h_j存在物理相关性，x与整个h相关。模型的训练和推断在一个整体的框架下进行，通过数学手段略去对h的直接使用。

与现有技术相比，本发明的优点在于：

1、本发明的基于条件随机场模型的无人机图像目标类检测方法，将采集到的图像作为训练图像，通过空间金字塔方法对SVM分类器进行训练，而后通过分类器对测试图像进行场景分类。下一步对图像进行超像素分割，以超像素为节点建立图模型，而后对图像进行特征提取与描述，并基于部件模型建立条件随机场，同时将场景对目标类的限制融入模型的构建中，并将提取的特征向量作为输入对目标建模，然后进行参数估计和模型推断，最后实现对目标类的检测。在本发明的处理过程中，模型可以快速提取图像局部特征，并能充分利用上下文信息，相比于基于像素的条件随机场模型在训练和推导速度上具有明显优势。

2、本发明的基于条件随机场模型的无人机图像目标类检测方法，首先基于已经采集的图像，尤其是特定区域的图像通过空间金字塔(Spatial Pyramid)方法训练SVM分类器，实现对场景尤其是特定区域场景的判断。而后结合已知特定场景这个上下文信息，对基于部件建立条件随机场模型进行限制，从而提高检测的准确度。

3、本发明为了减少计算复杂度和空间复杂度，首先通过SLIC算法对图像进行超像素分割，以超像素为单位建立节点，快速融合多种图像特征。其中一种提取特征的方法是利用ORB算法实现对角点特征的快速提取与描述。

4、本发明的基于条件随机场模型的无人机图像目标类检测方法，整体训练推理速度较快，对目标类检测精度较高。

附图说明

图1是本发明方法的流程示意图。

图2是本发明在具体应用实例中空中无人机目标类检测结果的示意图。

图3是本发明在具体应用实例中以海洋背景进行目标类检测结果的示意图。

图4是本发明在另一个具体应用实例中以海洋背景进行目标类检测结果的示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明的基于条件随机场模型的无人机图像目标类检测方法，其步骤为：

(1)对特定区域所场景图片进行采集作为训练样本；

采集训练图像，针对无人机在特定区域执行任务的特点，预先采集该区域的所必须出现的场景图像作为后期的训练图像。

(2)通过空间金字塔方法进行SVM分类器训练；

基于经典的空间金字塔方法对SVM分类器进行训练，用规则网格将图像分块，并提取每个块的SIFT特征，通过Kmeans聚类形成块类型的码本；利用交叉直方图，同时选择适合的核函数对SVM分类器进行训练。

(3)通过SVM分类器实现对特定区域内场景的识别；

(4)超像素分割和提取特征。

对图像进行超像素分割，实现方法采用SLIC算法将图像过分割为多个超像素块，尽可能的保留目标的边缘特征。

采用现有的SLIC算法进行超像素分割。SLIC算法利用5维特征进行过分割，3维的CIELAB颜色空间的L、a、b和2维x、y的位置信息，可以任意设定分割的超像素块数，能够较好的保持目标的边缘特征，同时速度较快。

对超像素块通过ORB算法提取角点特征，同时提取RGB颜色特征、纹理柱状图提取的纹理特征、灰度值等特征共同构成特征向量，并对目标内的超像素块特征进行整合构成特征向量。

(5)构建条件随机场模型。

第一步，邻域结构定义方法采用n-Lattice方法。其基本思想是：计算节点周围最近邻的n个邻节点，作为该节点的邻域系统。其中，最近邻的依据可以采用图像空间内的二维距离进行判断。

第二步，建立图模型。图G＝(V，E)表示概率分布，即在图G中，结点v∈V表示一个随机变量Y_v，边e∈E表示随机变量之间的概率依赖关系。若两个超像素块相邻，则在CRF模型中它们对应的结点上加入一条边，用来表示两个结点是相邻的。

第三步，基于部件模型思想建立条件随机场。1)第一层模型建立观测y和部件标记h的关联，采用观测图像的颜色特征、纹理特征和局部不变性特征作为输入y_i，融合不同特征的超像素块在图像空间中的位置对应于CRF图模型中顶点的概念。超像素块之间通过实线连接，表示存在着相互依赖的关系。多个超像素块在物理上可能对应于同一个目标部件，因此部件标记h_i依赖于多个观测y_i。相邻的部件标记h_i与h_j存在物理结构上的相关性，因而也使用实线连接。2)第二层模型建立部件标记h和目标标记x之间的关联。采用多类别的部件标记作为观测，衡量变量x在给定h下的后验概率。同样，h_i与h_j存在物理相关性，x与整个h相关。模型的训练和推断在一个整体的框架下进行，通过数学手段略去对h的直接使用。

第一层模型考虑单位置关联势函数和双位置交互势函数，后验概率P(h|y,λ)可以建模为：

其中λ＝{μ,ν}为该层的模型参数。和分别为关联势函数和交互势函数。定义：

其中，f_i(y)和g_ij(y)分别为单位置特征矢量和双位置特征矢量。参数矢量 的维数分别与两类特征矢量一致。实验中，将超像素块中颜色特征、纹理特征和局部不变性特征构成特征向量提取每一个超像素块中特征向量所有维的平均值组成特征向量作为区域特征。

第二层模型考虑到目标标记x仅依赖于隐藏部件层标记h，在设计这一层模型时，将部件标记h视作观测变量，则后验概率P(x|h,κ)可以通过CRF建模为：

其中κ＝{α,γ}为模型参数。为关于观测h和标记x的单位置势函数，为不同观测的双位置势函数。h_i作为中间层变量，与第一层观测y_i不同，它只能代表i位置的部件标记。势函数定义为：

其中参数前者的数量和h_i的取值范围相关，为|H|，后者的数量则取决于模型的邻域结构。

根据两层势函数的定义，模型的完整表达为：

其中，模型参数为θ＝{μ,α,ν,γ}。

(6)、针对目标类检测特点，基于部件模型原理进行条件随机场势函数和邻域设计，构建条件随机场模型，同时将步骤(3)中的场景对目标类的限制加入建模过程；

(7)参数学习，实现方式为采用极大似然估计方法实现求解条件随机场模型的参数问题从而学习训练出分类模型；

(8)模型推断，基于步骤(7)采用最大后验准则为每一个节点分配一个使其边缘概率最大的标记，最终实现目标类检测。

在上述步骤(6)、步骤(7)和步骤(8)中，在确定CRF模型后需要通过对样本数据的训练来对模型中的参数进行估计，即得到势函数中的参数θ＝{μ,α,ν,γ}。假设有训练图像{y⁽¹⁾,y⁽²⁾,...y⁽ⁿ⁾}和它们的手工标记{x⁽¹⁾,x⁽²⁾,...x⁽ⁿ⁾}，其中n是训练图像的数目。这里采用极大似然估计方法进行参数估计，估计选择使对数似然极大化的参数。

$\begin{array}{c}\widetilde{\mathrm{\θ}}=\arg \max \left\{\log \left(p\left(x\right|y,\mathrm{\θ})\right)\right\}\\ =\arg \max \left\{\log \left(\underset{m=1}{\overset{K}{\mathrm{\Π}}}p\left(x^m\right|y^m,\mathrm{\θ})\right)\right\}\end{array}---\left(8\right)$

通过令(8)的随机场参数θ的导数为0，可以获取参数的方程，从而将参数估计转化为方程求解的过程。对于该方程的求解，这里采用梯度上升方法。

CRF模型的推断可以归结为在给定测试样本y的前提下，寻求在一定标准下最优标记x的问题。这个标准一般通过代价函数的形式表达。

这里定义:

L(x,y,s)＝δ(x,s)×P(x|y,θ)  (9)

为评估函数，其中s为之前决定的图像场景分类，x为目标标记，δ(x,s)为加权常数，由训练集中场景与类的对应关系统计得到，也可以根据经验设定。

在训练后得到所有参数的估计，CRF分类模型可以通过推导得到超像素的标记，最优标记可以通过最大后验边缘准则(MPM)得到，为每一个节点分配一个使其边缘概率最大的标记,即

x_i ^*＝arg maxL(x_i,y,s)  (10)

通过将图像中的不同目标分别赋予不同的标记信息，利用训练样本中的全标记信息，CRF模型可以同时实现目标类的检测。

本发明的方法对于多种场景下的目标都有很好的检测效果。如空中拍摄的城市、村庄中机场、发电站等重要目标的检测，地面拍摄的空中场景中飞机等重要目标的检测，海洋场景中船、植物等重要目标的检测，针对具体的目标结合对不同场景的分类分别建立模型实现。

在具体应用实例中，采用本发明的方法，选取无人机降落图像序列中的背景着陆图，所处理的图像为256*256的彩色图像，得到的处理结果如图2所示。图2中不同图含义为：(a)原始图；(b)超像素分割图；(c)ORB特征点检测图；(d)目标类检测图，本发明能较好的检测出无人机目标，包括其背景的天空。

在具体应用实例中，采用本发明的方法，选取海洋类背景图像，所处理的图像为256*256的彩色图像，得到的处理结果如图3和图4所示。图3和图4中不同图含义为：(a)原始场景图；(b)人工标记图像；(c)目标类检测图像。二组图像中对海洋的检测正确比率分别为72.70％，85.20％；对天空的检测正确比率分别为86.50％，80.30％；对于树木的检测正确率分别为55.40％，92.20％。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于条件随机场模型的无人机图像目标类检测方法，其特征在于，步骤为：

(1)对特定区域的场景图片进行采集作为训练样本；

(2)通过空间金字塔方法进行SVM分类器训练；

(3)通过SVM分类器对特定区域内进行场景识别；

(4)对无人机得到的图像进行超像素分割；

(5)通过ORB算法提取特征，并在每个超像素块中进行融合作为该超像素块的特征；

(6)针对目标类检测特点基于部件模型原理进行条件随机场势函数和邻域设计，构建条件随机场模型，同时将步骤(3)中的场景对目标类的限制加入建模过程；

(7)进行参数学习；采用极大似然估计方法实现求解条件随机场模型的参数问题，通过学习训练出分类模型；

(8)进行模型推断，基于步骤(7)采用最大后验准则为每一个节点分配一个使其边缘概率最大的标记，最终实现目标类检测。

2.根据权利要求1所述的基于条件随机场模型的无人机图像目标类检测方法，其特征在于，所述步骤(2)中，采用规则网格将图像分块，并提取每个块的SIFT特征；通过Kmeans聚类形成块类型的码本，利用交叉直方图，选择适合的核函数对SVM分类器进行训练。

3.根据权利要求1所述的基于条件随机场模型的无人机图像目标类检测方法，其特征在于，所述步骤(4)中，对测试图像进行过分割；采用SLIC算法进行超像素分割，SLIC算法利用5维特征进行过分割，3维的CIELAB颜色空间的L、a、b和2维x、y的位置信息，任意设定分割的超像素块数。

4.根据权利要求3所述的基于条件随机场模型的无人机图像目标类检测方法，其特征在于，所述步骤(5)中，对超像素块通过ORB算法提取角点特征，同时提取RGB颜色特征、纹理特征、灰度值特征共同构成特征向量，并对目标内的超像素块特征进行整合构成特征向量。

5.根据权利要求1～4中任意一项所述的基于条件随机场模型的无人机图像目标类检测方法，其特征在于，所述步骤(6)的具体步骤为：

(6.1)定义邻域结构；计算节点周围最近邻的n个邻节点，作为该节点的邻域系统；其中最近邻的依据采用图像空间内的二维距离进行判断；由图G＝(V，E)表示概率分布，即在图G中，结点v∈V表示一个随机变量Y_v，边e∈E表示随机变量之间的概率依赖关系；若两个超像素块相邻，则在CRF模型中他们对应的结点上加入一条边，用来表示两个结点是相邻的；

(6.2)构建双层模型；

第一层模型：建立观测y和部件标记h的关联，采用观测图像的颜色特征、纹理特征和局部不变性特征作为输入y_i，融合不同特征的超像素块在图像空间中的位置对应于CRF图模型中顶点的概念；超像素块之间通过实线连接，表示存在着相互依赖的关系；多个超像素块在物理上可能对应于同一个目标部件；

第二层模型：建立部件标记h和目标标记x之间的关联；采用多类别的部件标记作为观测，衡量变量x在给定h下的后验概率；同样，h_i与h_j存在物理相关性，x与整个h相关。