CN106295556A - 一种基于小型无人机航拍图像的道路检测方法 - Google Patents

Abstract

本发明公开了一种基于小型无人机航拍图像的道路检测方法，包括：通过人机交互方式，手动提取道路和非道路像素点，进行聚类；道路和非道路像素颜色建模:用GMM对道路和非道路像素的颜色分布进行建模，分别为GMM1和GMM2,通过计算图像每个像素点属于GMM1和GMM2的概率，求得Gibbs能量函数中的区域项能量惩罚；改进光滑项惩罚函数,将局部对比度矩阵替换全局对比度β：针对无人机航拍图像存在不同局部对比度的特性，改进光滑项惩罚函数，将全局对比度β替换为局部对比度矩阵Bwta；用max‑flow算法检测出道路区域，该方法在不同类型道路下都能保持较好检测性能，与现有的道路检测方法相比，实时性好，错误率低。

Description

一种基于小型无人机航拍图像的道路检测方法

技术领域

本发明涉及道路检测技术领域，具体涉及一种基于小型无人机航拍图像的道路检测方法。

背景技术

基于视觉的道路检测在交通监管、无人驾驶等领域扮演着重要角色。由于道路形状(如直线、弯曲、环形)、材料(如水泥、沥青、泥土)、背景(如街道、山区、沙漠)的多样性以及光照、天气等外界自然因素引起的干扰，道路检测困难重重。

在无人车领域，研究人员针对不同类型的道路，提出了很多基于视觉的道路检测算法。对于高速公路、市区道路等结构性道路，研究人员根据各种车道标志来检测道路，近年来，在交通监管领域，无人机道路检测成为研究热点。由于无人机航拍有其特殊性，基于无人车的道路检测算法，不能很好地适用于无人机道路检测。

有人根据无人车前置摄像头拍摄的道路图像中道路两边有汇集相交的趋势，提出了基于vanishingpoint的道路检测算法。但由于无人机航拍道路采用的是俯视视角，道路两边在图像中几乎平行。因此，该算法不能应用于无人机道路检测。相关研究者也提出了基于无人机的道路检测算法。有研究者基于图像中最长线性区域为道路区域的假设，进行道路检测。也有研究者利用简单的灰度阈值方法，得到初始道路区域。然后在该区域用hough变换检测方法，筛选出符合条件的直线，即认为是道路区域。最后将这些直线连接起来，即形成了完整的道路。该方法对于直线型道路检测精确，但对于弯曲道路检测精度不高，且算法耗时较多。还有研究者用结构张量来改进graphcut算法，提高了道路检测精度，但计算结构张量用时仍较多，本发明旨在研究一种具有较高精度和较好实时性的道路检测算法。

发明内容

针对以上问题，本发明提供了一种基于小型无人机航拍图像的道路检测方法，该方法在不同类型道路下都能保持较好检测性能，与现有的道路检测方法相比，实时性好，错误率低，可以有效解决背景技术中的问题。

为了实现上述目的，本发明采用的技术方案如下：一种基于小型无人机航拍图像的道路检测方法，包括如下步骤：

S1,基于改进的graphcut算法，通过人机交互方式，手动提取道路和非道路像素点，通过Orchard-Bouman方法进行聚类；

S2、道路和非道路像素颜色建模:用高斯混合模型(GMM)对道路和非道路像素的颜色分布进行建模，分别为GMM1和GMM2,通过计算图像每个像素点属于GMM1和GMM2的概率，求得Gibbs能量函数中的区域项能量惩罚；

S3、改进光滑项惩罚函数,将局部对比度矩阵替换全局对比度β：针对无人机航拍图像存在不同局部对比度的特性，改进光滑项惩罚函数，将全局对比度β替换为局部对比度矩阵Bwta；

S4、用max-flow算法检测出道路区域。

根据上述技术方案，所述步骤S1改进的graphcut算法：在道路检测中构造Gibbs能量函数，将求最小割转化为最小化Gibbs能量函数，假设图像Z＝(z₁,z₂,…，z_N)，N为像素点个数,graphcut的目标就是最小化Gibbs能量函数：

E(α，β，θ，z)＝R(α，β，θ，z)+γB(α，z) (1)

其中，R为区域项惩罚函数；B为光滑项惩罚函数；γ为区域项和光滑项惩罚函数的调节因子，决定它们对能量的惩罚大小；α为类标，当α为0时为背景，当α为1时为道路；θ为道路和非道路的高斯混合模型参数；K为道路和非道路高斯混合模型的component个数；

区域项R表示为：

R(α，β，θ，z)＝∑_nD(α_n，k，θ，z_n)

其中，D(α_n，k，θ，z_n)表示像素z_N属于类别αn的能量惩罚；

光滑项B表示为：

$B(\mathrm{\α},z)={\Σ}_{(m,n)\∈c}\[{\mathrm{\α}}_n\≠{\mathrm{\α}}_m\]e^{-\mathrm{\β}\left|\right|z_m-z_n|{|}^2}$

其中，β为图像Z的全局对比度；||z_m-z_n||表示像素z_m和z_N在RGB空间的欧几里得距离。

根据上述技术方案，所述步骤S2中区域项能量惩罚函数的构建如下：

聚类完成后，根据聚类结果就可以初始化GMM1和GMM2中，各自Component的参数，包括颜色均值μ，3x3的协方差矩阵Σ和每个Component的权重w，权重即该Component像素个数占像素总个数的百分比,则高斯混合模型参数为:

θ＝{w_k，u_k，∑k，k＝1,2，…，n}

得到高斯混合模型GMM1和GMM2后，则每个像素分类为道路和非道路的区域项惩罚函数即为：

$\begin{array}{c}R(\mathrm{\α},K,\mathrm{\θ},Z)=\\ -\log {\Σ}_{k=1}^n{w}_k\frac{1}{\sqrt{\det (\Σk)}}{e}^{(-\frac{1}{2}{(z_n-z_k)}^T{\Σ}_k^{-1}(u_n-u_k\left)\right)}\end{array}.$

根据上述技术方案，所述步骤S3中改进光滑项惩罚函数的构建如下：

将全局对比度β替换为局部对比度矩阵Beta，则：

$B(\mathrm{\α},z)={\mathrm{\Σ}}_{(m,n)\∈c}\[{\mathrm{\α}}_n\≠{\mathrm{\α}}_m\]e^{-{\mathrm{Betz}}_{\left(m\right)}\left|\right|z_m-z_n|{|}^2}.$

本发明的有益效果：

本发明利用Orchard-Boumand聚类算法聚类道路和非道路像素点，通过高斯混合模型对这2类像素点建模，构造Gibbs能量惩罚函数中的区域项函数。针对航拍图像各个区域具有不同对比度的特点，设计Gibbs能量惩罚函数中的光滑项函数，将单一的图像全局对比度矩阵替换为局部对比度矩阵。通过Gibbs能量惩罚函数构造有权重的图，运用max-flow算法进行分割，检测出道路区域。实验结果表明，该方法在不同类型道路下都能保持较好检测性能，与现有的道路检测方法相比，实时性好，错误率低。

附图说明

图1为本发明的流程图；

图2为本发明Orchard-Bouman聚类算法的框架图。

图3为本发明改进光滑项惩罚算法(局部对比局部对比度矩阵生成算法)的框架图。

图4为本发明具体实施例中实验1对不同道路材质检测结果示意图。

图5为本发明具体实施例中实验2对不同道路形状检测结果示意图.

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1：

一种基于小型无人机航拍图像的道路检测方法，包括如下步骤：

S1,基于改进的graphcut算法，通过人机交互方式，手动提取道路和非道路像素点，通过Orchard-Bouman方法进行聚类；

在道路检测中构造Gibbs能量函数，将求最小割转化为最小化Gibbs能量函数，假设图像Z＝(z₁,z₂,…，z_N)，N为像素点个数,graphcut的目标就是最小化Gibbs能量函数：

E(α，β，θ，z)＝R(α，β，θ，z)+γB(α，z) (1)

其中，R为区域项惩罚函数；B为光滑项惩罚函数；γ为区域项和光滑项惩罚函数的调节因子，决定它们对能量的惩罚大小；α为类标，当α为0时为背景，当α为1时为道路；θ为道路和非道路的高斯混合模型参数；K为道路和非道路高斯混合模型的component个数；

区域项R表示为：

R(α，β，θ，z)＝∑_nD(α_n，k，θ，z_n)

其中，D(α_n，k，θ，z_n)表示像素z_N属于类别αn的能量惩罚；

光滑项B表示为：

$B(\mathrm{\α},z)={\mathrm{\Σ}}_{(m,n)\∈c}\[{\mathrm{\α}}_n\≠{\mathrm{\α}}_m\]e^{-\mathrm{\β}\left|\right|z_m-z_n|{|}^2}$

其中，β为图像Z的全局对比度；||z_m-z_n||表示像素z_m和z_N在RGB空间的欧几里得距离。

S2、道路和非道路像素颜色建模:用高斯混合模型(GMM)对道路和非道路像素的颜色分布进行建模，分别为GMM1和GMM2,通过计算图像每个像素点属于GMM1和GMM2的概率，求得Gibbs能量函数中的区域项能量惩罚；

区域项能量惩罚函数的构建如下：

聚类完成后，根据聚类结果就可以初始化GMM1和GMM2中，各自Component的参数，包括颜色均值μ，3x3的协方差矩阵Σ和每个Component的权重w，权重即该Component像素个数占像素总个数的百分比,则高斯混合模型参数为:

θ＝{w_k，u_k，∑k，k＝1,2，…，n}

得到高斯混合模型GMM1和GMM2后，则每个像素分类为道路和非道路的区域项惩罚函数即为：

$\begin{array}{c}R(\mathrm{\α},K,\mathrm{\θ},Z)=\\ -\log {\Σ}_{k=1}^n{w}_k\frac{1}{\sqrt{\det \left({\Σ}_k\right)}}{e}^{(-\frac{1}{2}{(z_n-z_k)}^T{\Σ}_k^{-1}(u{n}_{}-u_k\left)\right)}.\end{array}$

S3、改进光滑项惩罚函数,将局部对比度矩阵替换全局对比度β：针对无人机航拍图像存在不同局部对比度的特性，改进光滑项惩罚函数，将全局对比度β替换为局部对比度矩阵Bwta；

改进光滑项惩罚函数的构建如下：

将全局对比度β替换为局部对比度矩阵Beta，则：

$B(\mathrm{\α},z)={\mathrm{\Σ}}_{(m,n)\∈c}\[{\mathrm{\α}}_n\≠{\mathrm{\α}}_m\]e^{-{\mathrm{Betz}}_{\left(m\right)}\left|\right|z_m-z_n|{|}^2}.$

S4、用max-flow算法检测出道路区域。

本发明中graphcut算法的介绍如下：

graphcut算法在计算机视觉领域的应用包括前后背景分离、3D立体视觉等。它通过max-flow/min-cut算法来求解图像分割问题。

首先介绍关于graphcut的基本术语。将需要前后背景分离的图像用无向图G＝＜V，E＞表示。其中，V是顶点(vertex)的集合；E是连接顶点的无向边(edge)的集合。每条无向边都有一个非负的权值ω，也可以称为代价(cost)。graphcut图和普通图相比，多了2个称为terminal的顶点，即objectterminal和backgroundterminal。连接图像中的像素点和任意terminal之间的无向边称为t-links，连接图像中相邻像素点的无向边称为n-links。一个割(cut)生成了无向边集合E的一个子集C。如果一个割使得C中边的权值之和最小，那么这个割就称为最小割而福特－富克森定理表明，网路的最大流max-flow与最小割min-cut相等。这个最小割集将图的顶点划分为2个不相交的子集S和T，分别对应于图像的前景像素集和背景像素集.

本发明采用VS2010编程进行仿真实验。硬件环境为Intel(R)i7-47703.40GHzcpu，12GB内存。

通过2组实验来测试算法性能。实验1用来测试在不同道路材质下的算法性能。实验2用来测试在不同道路形状下的算法性能。实验1和实验2的结果如图4和图5所示，由图4和图5可知，本发明算法在不同道路材质、形状下，可以保持较高的检测性能。

本发明利用Orchard-Boumand聚类算法聚类道路和非道路像素点，通过高斯混合模型对这2类像素点建模，构造Gibbs能量惩罚函数中的区域项函数。针对航拍图像各个区域具有不同对比度的特点，设计Gibbs能量惩罚函数中的光滑项函数，将单一的图像全局对比度矩阵替换为局部对比度矩阵。通过Gibbs能量惩罚函数构造有权重的图，运用max-flow算法进行分割，检测出道路区域。实验结果表明，该方法在不同类型道路下都能保持较好检测性能，与现有的道路检测方法相比，实时性好，错误率低。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于小型无人机航拍图像的道路检测方法，其特征在于，包括如下步骤：

S1,基于改进的graphcut算法，通过人机交互方式，手动提取道路和非道路像素点，通过Orchard-Bouman方法进行聚类；

S2、道路和非道路像素颜色建模:用高斯混合模型(GMM)对道路和非道路像素的颜色分布进行建模，分别为GMM1和GMM2,通过计算图像每个像素点属于GMM1和GMM2的概率，求得Gibbs能量函数中的区域项能量惩罚；

S3、改进光滑项惩罚函数,将局部对比度矩阵替换全局对比度β：针对无人机航拍图像存在不同局部对比度的特性，改进光滑项惩罚函数，将全局对比度β替换为局部对比度矩阵Bwta；

S4、用max-flow算法检测出道路区域。

2.根据权利要求1所述的一种基于小型无人机航拍图像的道路检测方法，其特征在于，所述步骤S1改进的graphcut算法：在道路检测中构造Gibbs能量函数，将求最小割转化为最小化Gibbs能量函数，假设图像Z＝(z₁,z₂,…，z_N)，N为像素点个数,graphcut的目标就是最小化Gibbs能量函数：

E(α，β，θ，z)＝R(α，β，θ，z)+γB(α，z) (1)

其中，R为区域项惩罚函数；B为光滑项惩罚函数；γ为区域项和光滑项惩罚函数的调节因子，决定它们对能量的惩罚大小；α为类标，当α为0时为背景，当α为1时为道路；θ为道路和非道路的高斯混合模型参数；K为道路和非道路高斯混合模型的component个数；

区域项R表示为：

R(α，β，θ，z)＝∑_nD(α_n，k，θ，z_n)

其中，D(α_n，k，θ，z_n)表示像素z_N属于类别αn的能量惩罚；

光滑项B表示为：

$B(\mathrm{\α},z)={\Σ}_{(m,n)\∈c}\[{\mathrm{\α}}_n\≠{\mathrm{\α}}_m\]e^{-\mathrm{\β}\left|\right|z_m-z_n|{|}^2}$

其中，β为图像Z的全局对比度；||z_m-z_n||表示像素z_m和z_N在RGB空间的欧几里得距离。

3.根据权利要求1所述的一种基于小型无人机航拍图像的道路检测方法，其特征在于，所述步骤S2中区域项能量惩罚函数的构建如下：

聚类完成后，根据聚类结果就可以初始化GMM1和GMM2中，各自Component的参数，包括颜色均值μ，3x3的协方差矩阵Σ和每个Component的权重w，权重即该Component像素个数占像素总个数的百分比,则高斯混合模型参数为:

θ＝{w_k，u_k，∑k，k＝1,2，…，n}

得到高斯混合模型GMM1和GMM2后，则每个像素分类为道路和非道路的区域项惩罚函数即为：

$\begin{array}{c}R(\mathrm{\α},K,\mathrm{\θ},Z)=\\ -\log {\Σ}_{k=1}^n{w}_k\frac{1}{\sqrt{\det (\Σk)}}{e}^{(-\frac{1}{2}{\left(z_n-z_k\right)}^T{\Σ}_k^{-1}(u_n-u_k\left)\right)}\end{array}.$

4.根据权利要求1所述的一种汽车用钢化真空夹胶玻璃的制备工艺，其特征在于，所述步骤S3中改进光滑项惩罚函数的构建如下：

将全局对比度β替换为局部对比度矩阵Beta，则：

$B(\mathrm{\α},z)={\Σ}_{(m,n)\∈c}\[{\mathrm{\α}}_n\≠{\mathrm{\α}}_m\]e^{-{\mathrm{Betz}}_{\left(m\right)}\left|\right|z_m-z_n|{|}^2}.$