CN108022214A - 一种适用于无人机雾天飞行的地平线检测方法 - Google Patents

Abstract

本发明涉及图像中的特定直线检测方法，具体涉及一种适用于无人机雾天飞行的地平线检测方法。提供了一种通过引入先验暗原色去雾方法并利用改进的暗原色图像进行处理准确、稳定得到地平线信息的方法。本发明的步骤为：一、读入采集得到的RGB图像，经过暗原色去雾处理得到清晰的去雾图像及利用软抠图法改进的暗原色图像，供特征提取。二、对改进的暗原色图像依次进行图像分割、形态学处理、边缘检测。三、利用 Hough 变换进行直线检测，并利用直线检测结果进行最小二乘法来拟合准确得到地平线信息。本发明可以达到雾天检测地平线的目的，为提高检测结果的准确性和鲁棒性，引入暗原色图像，并有效结合其他处理方法可以准确、稳定得到地平线信息。

Description

一种适用于无人机雾天飞行的地平线检测方法

技术领域

本发明涉及图像中的特定直线检测方法，具体涉及一种适用于无人机雾天飞行的地平线检测方法。

背景技术

视觉导航以相机作为传感器，以机器视觉为技术基础，通过处理图像信息或者视频从而获取到物体或者场景的形态、运动轨迹等信息，进而确定无人机的姿态或者方位等信息，最后利用飞控计算机控制执行机构完成导航过程。视觉导航具有低功耗、体积小、非接触、易于隐蔽、对干扰不敏感等优点。无人机视觉导航的原理是通过利用图像处理方法来获取外景信息而到无人机的导航位姿参数，而地平线信息是无人机在飞行过程中进行姿态校正时重要的参考信息，尤其是在无人机平稳着陆时应有效利用地平线信息。所以准确检测得到地平线信息具有重要意义。

对于无人机在飞行过程中实时采集得到的图像受到云、烟尘、雾霾等环境现象的影响，空间图像中都会存在干扰。选用暗原色先验去雾方法对图像进行预处理，减少云、烟、雾的干扰，从而使得无人机拍摄出的图像更为清晰。暗原色去雾是一种很有效的，基于先验规律和假设的统计学类图像处理方法。这里利用暗原色图像同时对于优化后期处理算法效果具有重要意义。

得到暗原色图像后，图像中仍具有除地平线信息的其他干扰信息，所以为更好的提取到有用的目标信息，减少其他信息干扰，对图像进行分割是必不可少的一步。图像分割方法有很多，如灰度阈值法、大津算法、自适应阈值法等。因为在暗原色图像中，由于地平线基于天空和地面之间，具有最大的灰度差别为保证识别地平线的准确性和稳定性，在此选择用大津算法进行图像分割获取地平线信息。

引入形态学图像处理方法，可有效消除所得分割图像中的孤立干扰区域。通过膨胀和腐蚀运算的有效结合可有效消除图像中的噪点，进而突出图像中的有用信息。

边缘检测的原理则是将局部图像中的像素点间亮度发生间断或突变情况的特征点提取出来，通过把这些特征像素点连接起来就组成了该物质的边缘信息。它是是图像识别中提取图像特征的一个重要属性。边缘检测的算法分为两大类：基于一阶微分的查找算法和基于二阶微分的零穿越的算法。一阶查找法是指，通过寻找图像当中一阶导数的最大和最小值，以此来检测边界，通常将认为边界就是在梯度最大的方向的地方。而二阶零穿越法是指，通过寻找图像当中二阶导数中穿越零点的情况来确定边界。

Hough变换是图像处理中识别几何形状的一种方法，在图像处理中有着广泛应用，Hough变换不受图形旋转的影响，易于进行几何图形的快速变换，并且可以更好的减少噪声干扰。Hough变换常用来检测直线、圆、椭圆等几何信息。

发明内容

本发明的目的在于提出基于暗原色图像的无人机地平线检测方法，提供了一种通过对处理后的暗原色图像进行图像分割、边缘检测、直线检测一系列处理的准确检测地平线的方法。它能为无人机提供准确的地平线信息，从而为无人机提供一些姿态信息并辅助无人机进行姿态校正。

本发明的目的是通过以下技术方案实现的：对于相机采集得到的图像进行暗原色去雾处理并结合软抠图算法改进暗原色图像，对该暗原色图像利用大津算法进行图像分割，进而进行形态学处理消除噪点；对以上处理后得到的图像，利用Sobel算子边缘检测得到地平线边缘信息，进而利用Hough变换进行直线检测，并结合最小二乘法对地平线边缘点拟合准确得到地平线检测结果。

本发明的流程图如图1所示，共分为三个步骤，具体步骤如下：

步骤一：读入采集得到的RGB图像，经过暗原色去雾处理得到改进暗原色图像J _d 及清晰的去雾图像J。

1)暗原色图像的处理原理就是在图像窗口中找到一个光强很弱甚至趋于零的区域，这种区域就叫做暗原色区域。这样的暗原色区域一般来自于图像中的阴影、物体表面等。而在有雾的图像中，暗原色的来源主要是大气光照。需要对含雾图像建立模型方程：

其中，x是图像向量中像素的对应坐标；I(x)是有雾的观测图像；J(x)是无雾的图像；A(x)是整个大气中总的光成分；t(x)是指光线通过媒介透射到摄像机过程中没有被散射的部分的比率，也被称为透射率。去雾的目标就是通过计算A(x)、t(x)，然后从观测图像I(x)中复原出无雾的图像J(x)，方程中J(x) t(x)是直接衰减项，A(1-t(x))是大气光成分。

对于任意一幅图像，其暗原色的定义可以表示为：

其中，J ^c 就是图像J中的彩色通道；Ω(x)是以x为中心的固定大小的小区域；y是Ω(x)图像区域中的坐标。

2)为解决原本属于大气的A(x)值基本全落在了图像中明亮的区域，进而使对应t值变得非常小的问题，引入图像容差的概念进行修正，即利用容差来进行判断，从而修改明亮区域的透射率函数。具体方法如下：首先设置容差参数为K，再对于图像亮度∣I-A∣值小于K的区域就认为是明亮区域，此时就需要重新计算透射率。而对于图像中∣I-A∣值大于K的区域便判断为是满足暗原色先验条件的区域，此时就可以按照原来的透射率进行计算，所以可以得到：

由此得到去雾后图像J(x)。利用软抠图算法对这个过程中得到的暗原色图像进行滤波得到改进的暗原色图像J _d 。

步骤二：对改进的暗原色图像进行处理得到地平线边缘信息。

1)对于暗原色图像J _d 假设背景像素概率为：

式中，ω ₁为背景像素概率；n ₁为背景所占的像素点数；M×N为图像总的像素点数。同样的，设定图像中目标像素的概率为：

其中，ω ₂为目标像素概率；n ₂为目标所占的像素点数；并且n ₁+n ₂=M×N，ω ₁+ω ₂=1。

图像全局灰度均值为：

式中，μ ₁是背景像素的灰度均值；μ ₂是目标像素的灰度均值；μ对应为图像全局灰度均值。

定义类间方差σ为：

进而可得：

所以可通过遍历整幅图像就可以得到最大的像素方差值，据此确定灰度阈值，对暗原色图像进行图像分割得到J _s 。

2)在对图像进行分割以后，图像还是会存在局部的孤立干扰区域，为消除其他噪点干扰，引入形态学处理。图像形态学运算主要有两种：膨胀和腐蚀。综合膨胀和腐蚀这两种运算，可生成开运算和闭运算。开运算的定义是，先腐蚀后膨胀。闭运算的定义是，先膨胀后腐蚀。这里利用先开后闭的形态学处理方法得到较好的图像处理效果，并得到了消除干扰后的分割图像J _m 。

3)因为所要得到的地平线信息是线信息，所以应对处理后的分割图像J _m 提取地平线边缘。这里利用Sobel算子对J _m 图像进行边缘检测得到地平线边缘图像J _e 。

步骤三：基于Hough变换进行直线检测并结合最小二乘法拟合准确得到地平线信息。

Hough方法是一种很好的利用边缘特征的直线检测方法。一般来说常用的直线检测或者直线拟合方法易受到图像阈值大小的影响，而Hough算法具有很强的鲁棒性和抗噪能力。在极坐标系下表示直线，即：

经过一个点(x ₀ ^′, y ₀ ^′)的直线，通过极坐标表示为：

即θ和ρ平面内的一条正弦抛物线，抛物线上的每个点表示了不同的θ和ρ下的过(x ₀ ^′,y ₀ ^′)直线。

设置二维累加器初始值为0，采用根据精度将极坐标平面等间隔划分为小网格，经过同一小格的即视为相交为一点，二维累加数组加 1，即视为通过小格的点在原图像上近似为同一条直线。整个过程θ从0变为π,离散化步长∆θ选为π/180,而参数ρ的选取范围为：

其中，ρ的离散步长选为单位像素。对于在同一像素点中的和存在很小范围的误差，用平均值进行代替。

但是在实际应用中，由于往往存在的是非理想的直线，同时还受到了像素限制、复杂的环境干扰，导致图像会因为噪声、遮挡等情况出现局部边缘像素缺失的现象。所以不能一味采用理想的情况来进行计算，需要将直线附近的误差散点也纳入直线拟合的考虑范围。所以直线信息可以通过最小二乘法进行拟合获得，从而得到图像中的直线信息。

在使用最小二乘法时，将最终直线设为期望值y _q ，用 Hough 变换获得的点结果的ρ=x _i ^′cosθ+ y _i ^′sinθ作为估计值，通过求解均方差：

使得其值最小，通过设置阈值就可以得到拟合的地平线结果，这样获得的结果就可以将就近的点一起考虑进去，使得地平线检测精度更高。

本发明与现有技术相比具有如下优点：

本发明利用暗原色先验去雾方法并基于软抠图法改进的暗原色图像经图像分割、形态学处理、边缘检测、直线检测及最小二乘法拟合准确得到地平线信息。因为引入了暗原色先验方法来完成去雾处理，所以经去雾处理可对有雾天气下采集得到的图像准确检测出地平线。经过改进暗原色大气表达式，可以得到更加清晰准确而且平滑的去雾图像和平滑的暗原色图像，供特征提取。其中，暗原色先验算法处理以后的图像中可以看到明显的地平线分界信息。本方法利用天空中的物质相对单一的特点反向找到天空与地面的交界处，即地平线。这样避开了地面复杂图像特征，从而准确获得地平线信息。其中对图像层的预处理，有效降低图像中的干扰，最终得到待直线检测的地平线边缘信息。另外采用 Hough 变换来提取图像中的地平线，并结合实际图像的缺失和非完整平滑的特点，使用最小二乘法来拟合Hough 变换的结果，进一步增加了拟合直线的准确性。整个方法各环节之间互为补充，进一步增强了最终地平线检测的准确性和鲁棒性。

附图说明

图1为本发明的流程图。

图2为一幅实验所用的待处理的彩色图像。

图3为由输入图像得到的改进的暗原色图像J _d 。

图4为经大津算法分割得到的二值图像J _s 。

图5为经形态学处理得到的图像J _m 。

图6为经Sobel算子边缘检测得到的实验结果图J _e 。

图7为直线检测结果图。

图8为经最小二乘法拟合后得到的地平线并与原图的对比图。

具体实施方式

下面结合实施例和附图说明本发明的具体实施方式：基于暗原色图像并利用一系列处理方法准确检测得到地平线信息用于无人机视觉导航等方面。

首先给出输入图像数据的描述：

实验对象为无人机相机采集得到的580×773像素大小的三通道RGB彩色图像数据，将图像数据记为I ^{(580×773×3)}。

执行步骤一：输入彩色图像数据I ^{(580×773×3)}。为解决原本属于大气的光成分基本全落在了图像中明亮的区域使对应t值变得非常小的问题，引入图像容差，从而修改明亮区域的透射率函数。首先设置容差参数为K，再对于图像亮度值小于K的区域就认为是明亮区域，此时就需要重新计算透射率。而对于图像中值大于K的区域便判断为是满足暗原色先验条件的区域。从而利用公式：

得到去雾后图像J，在去雾过程中对暗原色图像J ^dark 经软抠图方法处理并输出得到改进暗原色图像J _d (如图3所示)。

执行步骤二：对步骤一中所得到的暗原色图像J _d ，经过基于大津算法的图像分割得到二值图像J _s (如图4所示)。会存在局部的孤立干扰区域，为消除其他噪点干扰，引入形态学处理并得到形态学处理后的图像J _m (如图5所示)。对于分割并去除噪声后的图像J _m 此时以地平线为界分成两个二值区域。从而更有助于利用Sobel算子进行边缘检测得到地平线边缘信息图像J _e (如图6所示)，此时得到的图像中基本只保留了地平线边缘信息。

执行步骤三：首先对步骤二中所得到的暗原色图像J _e ，进行Hough变换直线检测。因为图像中存在的是非理想的直线，同时还受到了像素限制、复杂的环境干扰，导致图像会因为噪声、遮挡等情况出现局部边缘像素缺失的现象。所以此时利用Hough变换进行边缘检测得到的直线是一些斜率相近的线段而不是理想的地平线直线，如图7所示。所以需结合Hough变换直线检测结果，利用最小二乘法拟合以准确得到地平线信息。

本实施例结论：为准确检测地平线，对采集得到的图像处理以尽量突出地平线信息，并尽量减弱其他信息。本文通过引入先验暗原色方法，并结合相应图像分割、形态学处理、边缘检测方法，完成对原始图像的预处理，突出了地平线信息并尽量削弱了除地平线信息外的其他信息。最终通过Hough变换直线检测方法及最小二乘法的配合，准确得到地平线信息。其中最终得到的地平线在输入图像中的位置如图8所示。

Claims (4)

1.本发明所述一种适用于无人机雾天飞行的地平线检测方法，其特征在于它包括以下步骤：

步骤一：读入采集得到的RGB图像，经过暗原色去雾处理得到改进暗原色图像J _d 及清晰的去雾图像J，供特征提取；

步骤二：对改进的暗原色图像进行处理得到地平线边缘信息；

步骤三：基于Hough变换进行直线检测并结合最小二乘法拟合准确得到地平线信息。

2.根据权利要求1所述的一种适用于无人机雾天飞行的地平线检测方法，其特征在于所述的步骤一为：

为得到去雾图像J，采用如下公式进行处理：

其中，x是图像向量中像素的对应坐标；I(x)是有雾的观测图像；J(x)是无雾的图像；A是整个大气中总的光成分；t(x)是指光线通过媒介透射到摄像机过程中没有被散射的部分的比率，也被称为透射率；为K容差参数；

为得到暗原色图像，需利用如下方法：

其中，J ^c 就是图像J中的彩色通道；Ω(x)是以x为中心的固定大小的小区域；y是Ω(x)图像区域中的坐标；J ^dark 为得到的分块暗原色图像；进一步利用软抠图法对J ^dark 进行处理得到改进的暗原色图像J _d 。

3.根据权利要求1所述的一种适用于无人机雾天飞行的地平线检测方法，其特征在于所述的步骤二为：

对改进的暗原色图像进行处理进而得到地平线边缘信息；定义类间方差σ为：

式中，μ ₁是背景像素的灰度均值；μ ₂是目标像素的灰度均值；μ对应为图像全局灰度均值；ω ₁为背景像素概率；ω ₂为目标像素概率；

进而可得：

通过遍历整幅图像就可以得到最大的像素方差值，据此确定灰度阈值，对暗原色图像进行图像分割得到J _s ；

利用先开后闭的形态学处理方法处理图像J _s 并得到了消除干扰后的分割图像J _m ，进而利用Sobel算子对图像J _m 进行边缘检测得到地平线边缘信息图像J _e ，此时得到的图像中基本只保留了地平线边缘信息。

4.根据权利要求1所述的一种适用于无人机雾天飞行的地平线检测方法，其特征在于所述的步骤三为：

利用Hough变换地平线边缘信息图像J _e 进行边缘检测一些斜率相近的线段，为准确得到地平线信息，进一步利用最小二乘法对Hough变换直线检测结果进行拟合得到最终的地平线信息；在使用最小二乘法时，将最终直线设为期望值y _q ，用 Hough 变换获得的点结果的ρ =x _i ^′cosθ+ y _i ^′ sinθ作为估计值，通过求解均方差：

使得其值最小，通过设置阈值就可以得到拟合结果。