CN109284663A - 一种基于正态和均匀混合分布模型的海面障碍物检测方法 - Google Patents

Abstract

本发明公开了一种基于正态和均匀混合分布模型的海面障碍物检测方法，包括以下步骤：（1）获取彩色海面图像；（2）利用SLIC算法对海面图像进行超像素分割；（3）以超像素为基本单位，建立基于正态和均匀混合分布的语义分割模型；（4）利用EM算法迭代估计出模型参数；（5）根据后验分布概率确定出每一个超像素的类别，从而将图像分割成天空、海水以及奇异值区域（潜在的障碍物区域）；（6）生成海水掩膜图像；（7）利用Canny算子检测海水掩膜图像中的边缘，然后利用Hough变换算法检测直线，检测得到的最佳直线即为水界线；（8）提取出水界线以下的奇异值区域（即海面障碍物）。本发明的方法鲁棒性较高，可以准确地检测出复杂背景下的海面障碍物。

Description

一种基于正态和均匀混合分布模型的海面障碍物检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于正态和均匀混合分布模型的海面障碍 物检测方法。

背景技术

近年来，随着海洋战略地位的日益突出，海洋装备的发展受到越来越多国家的重视。无 人水面艇(Unmanned Surface Vehicle，USV)作为集智能控制、远程通信等多种功能于一体 的海洋装备，已经成为海洋开发的重要载具之一。它可以根据任务的需求，搭载不同的功能 模块，更好地应对不同任务所带来的挑战，不仅可以将其应用于水质检测、海图测绘、环境 监测等民用领域，还可以将其应用于海上侦察、武装巡逻和反潜等军事领域。

无人水面艇在海上自主航行时，艇上搭载的障碍物检测模块在该过程中发挥着至关重要 的作用，是其实现自主避障和安全航行的先决条件。目前，无人水面艇通常采用雷达、红外 传感器和可见光摄像机来对周围障碍物进行检测。其中，基于雷达的检测技术探测距离较远、 稳定性较高，但是存在着成本高、系统复杂，不利于近距离小目标检测的缺点。而基于红外 传感器的检测系统隐蔽性较好，但对温度比较敏感，因此其得到的红外图像通常噪声较多， 目标易失去形状信息。相较于雷达和红外传感器，由于可见光摄像机所获得的光学图像包含 有更加丰富的场景细节信息，因此更有利于后续目标检测、跟踪和识别等工作展开，从而可 以较大地提高无人水面艇对周围环境的感知能力。

目前，基于可见光摄像机的海面障碍物检测方法主要有基于阈值的方法、基于模型的方 法和基于模式分析的方法。其中，基于阈值的方法主要是利用前景目标和背景区域在亮度上 的差异，通过计算相应的阈值来提取目标区域。这类方法实现简单，但是当海面环境比较复 杂时，特别是在前景和背景区域的亮度比较接近时，其检测效果较差。而基于模型的方法主 要有视觉注意模型、主动轮廓模型和分形模型等，这类方法将检测问题简化为一个实际模型 的构建，具有较强的理论推导意义，但是仍然存在对复杂场景适应性较差的问题。基于模式 分析的方法主要通过提取图像低层次特征，并通过模式分类方法进行训练，从而提高对海面 目标的检测能力。这类方法的检测性能与特征的描述方法和分类器的选择关系较大，虽然在 某些场景下具有一定的效果，但是仍然达不到实际使用要求。

发明内容

本发明针对现有技术的不足，提供一种基于正态和均匀混合分布模型的海面障碍物检测 方法。该方法不仅可以准确地提取出水界线，还可以有效地检测出复杂背景下的海面障碍物， 具有较高的准确性和鲁棒性。

为达到上述目的，本发明采用如下技术方案：

一种基于正态和均匀混合分布模型的海面障碍物检测方法，包括以下步骤：

(1)获取彩色海面图像；

(2)利用简单线性迭代聚类算法(Simple Linear Iterative Cluster，SLIC)对海面图像进 行超像素分割；

(3)以超像素为基本单位，建立基于正态和均匀混合分布的语义分割模型；

(4)利用期望最大化算法(Expectation-Maximization，EM)迭代估计出模型参数；

(5)根据后验分布概率确定出每一个超像素的类别，从而将图像分割成天空、海水以及 奇异值区域(潜在的障碍物区域)；

(6)生成海水掩膜图像；

(7)利用Canny算子检测海水掩膜图像中的边缘，然后利用Hough变换算法进行直线 检测，检测得到的最佳直线即为水界线；

(8)对水界线以下的奇异值区域进行提取，从而实现海面障碍物的检测。

进一步地，所述步骤(3)中，由于无人艇舰载相机获得的海面图像在竖直方向上始终存 在着两个较大的区域(即天空区域和海水区域)，因此基于正态和均匀混合分布的语义分割模 型利用了两个正态分布来分别对天空和海水区域的观测数据进行描述，而对于与这两个区域 有着明显区别的奇异值区域(即潜在的障碍物区域)，则使用了一个均匀分布来进行描述。此 外，为了改善局部噪声对图像分割的不利影响，假设图像中所有超像素的类别先验分布以及 后验分布是关于邻域系统的一个马尔可夫随机场(Markov RandomField，MRF)。

与现有技术相比，本发明的有益效果为：

(1)本发明利用了SLIC算法生成的超像素代替图像像素作为后续图像分割的基本单位， 这样可以在保留图像边缘信息的前提下，大幅度减小后续处理的计算单元，从而极大地降低 了图像分割的时间复杂度。

(2)本发明将障碍物检测看作图像语义分割问题，提出了一个基于正态和均匀混合分布 的语义分割模型。为了改善局部噪声对图像分割的不利影响，该模型采用了MRF来描述相邻 超像素间的空间依赖关系，使得图像分割结果更加准确。

(3)本发明提出的方法还对水界线进行了检测，该水界线检测方法不仅可以对海天线进 行检测，而且还可以对海岸线进行检测。

(4)本发明在水界线检测的基础上只对水界线以下的障碍物区域进行了提取，这样做可 以降低天空中云层以及海岛等物体的干扰，从而提高算法检测的准确率。

附图说明

图1为本发明方法的流程图。

图2为本发明方法一个实施例的示意图，其中(a)为实施例待检测图；(b)为实施例超 像素分割图；(c)为实施例语义分割图；(d)为实施例海水掩膜图；(e)为实施例边缘检测图；(f)为实施例水界线检测结果图；(g)为实施例海面障碍物掩膜图，(g)为实施例海面 障碍物检测结果图。图(h)为检测到的海面障碍物图像。

图3为长海岸背景下一个实施例的示意图，其中(a)为实施例待检测图；(b)为实施例 超像素分割图；(c)为实施例语义分割图；(d)为实施例海水掩膜图；(e)为实施例边缘检测图；(f)为实施例水界线检测结果图；(g)为实施例海面障碍物掩膜图，(g)为实施例海 面障碍物检测结果图。(h)为实施例海面障碍物检测结果图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清晰明了，下面结合附图，对本发明的具体实 施例作详细说明。

如图1所示，一种基于正态和均匀混合分布模型的海面障碍物检测方法，包括以下步骤：

(1)获取彩色海面图像；

(2)利用简单线性迭代聚类算法(Simple Linear Iterative Cluster，SLIC)对海面图像进 行超像素分割；

(3)以超像素为基本单位，建立基于正态和均匀混合分布的语义分割模型；

(4)利用期望最大化算法(Expectation-Maximization，EM)迭代估计出模型参数；

(5)根据后验分布概率确定出每一个超像素的类别，从而将图像分割成天空、海水以及 奇异值区域(潜在的障碍物区域)；

(6)生成海水掩膜图像；

(7)利用Canny算子检测海水掩膜图像中的边缘，然后利用Hough变换算法进行直线 检测，检测得到的最佳直线即为水界线；

(8)对水界线以下的奇异值区域进行提取，从而实现海面障碍物的检测。

进一步，所述步骤(3)中，由于无人艇舰载相机获得的海面图像在竖直方向上始终存在 着两个较大的区域(即天空区域和海水区域)，因此基于正态和均匀混合分布的语义分割模型 利用了两个正态分布来分别对天空和海水区域的观测数据进行描述，而对于与这两个区域有 着明显区别的奇异值区域(即潜在的障碍物区域)，则使用了一个均匀分布来进行描述。于是， 第i个超像素的特征向量的概率可以建模成两个正态分布和一个均匀分布的混合模型：

上式中，表示均值为m而协方差为C的正态分布函数，U(·)表示均匀分布函数； y_i表示图像中第i个超像素的特征向量(也称为观测数据)，主要由CIE-Lab颜色特征(L,a,b) 和超像素中心坐标(r,c)组成；θ表示模型中所有正态分布的参数(即θ＝{m_k,C_k}_k＝1,2)；π表 示图像中所有超像素类别先验分布集(即π＝{π_i}_i＝1:M，其中，M为图像中超像素的个数)， π_i表示第i个超像素的类别先验分布(即π_i＝[π_i1,π_i2,π_i3]，其中，π_ik＝p(x_i＝k)表示第i个 超像素类别x_i为k的概率)。

为了改善局部噪声对图像分割的不利影响，假设图像中所有超像素的类别先验分布π是关 于邻域系统的一个马尔可夫随机场(Markov Random Field，MRF)。根据Besag方法，π的联 合概率分布可以近似为：

上式中，N_i为超像素i的相邻超像素集合，为邻域超像素集合N_i的类别先验分布：

其中，|N_i|表示超像素i的相邻超像素的个数。

此外，MRF中的势能函数(即)可以定义为：

上式中，为KL散度项，主要用于度量π_i和之间的距离，其计算公式为由KL计算公式可知，其取值为非负数，并且当时，该项的值为0。在参数估计过程中，KL散度项提供了一种约束相邻超像素类别先验分布的方法，使得相邻超像素间具有相似的类别先验概率。为熵项，主要用于 衡量先验分布π_i的不确定性的大小。H(π_i)项的取值也为非负数，并且当π_i为均匀分布时，其 取值最大。

联立公式(1)和(2)，可以得到联合概率密度函数p(Y,π|θ)的表达式：

上式中，Y为所有超像素的特征向量集合，即Y＝{y_i}_i＝1:M。

此外，图像的分割精度也可以通过将所有超像素的后验分布P＝{p_i}_i＝1:M看作一个MRF 来进行改善，因此，可以写出所有超像素的后验分布P的联合概率密度函数：

其中，超像素i的后验分布p_i＝{p_ik}_k＝1:3的计算公式如下：

联立公式(4)、(5)和(6)，可以得到基于正态和均匀混合分布的语义分割模型的联合概率密 度函数：

上式中，由于和中存在耦合关系，因此难以直接对其进行模型参数估计。为 了解决该问题，可以引入辅助类别先验分布集s＝{s_i}_i＝1:M和辅助后验分布集q＝{q_i}_i＝1:M到 上式中，并且对等式两边同时取自然对数运算，从而得到基于正态和均匀混合分布的语义分 割模型的惩罚对数似然函数：

上式中，°表示Hadamard积运算；并且当s_i≡π_i和q_i≡p_i时，可以将其简化为公式(8)。 此外，根据最大后验准则，可以通过EM算法最大化上述公式，从而实现对模型参数的估计。

进一步，所述步骤(4)中，利用EM算法迭代估计模型参数。在E-step，假设θ和π不变， 改变s和q使得公式(9)中F达到最大。由KL散度定义可知，当和(其中，和为归一化常数)时，F达到最大。在M-step，假设s和q不变，改变θ和π使得F达到最大。根据Jensen不等式可知，以及 于是公式(9)可写成因此，如果想要最大化F，只需要最大化F的最小边界函数 就可达到目标。通过对计算相对于π_i的偏导可知，当π_i＝ 时，达到最大。此外，通过对计算相对于θ的偏导可知，当 和 时达到最大。

具体地，模型参数估计步骤为：

①初始化正态分布参数集θ＝{m_k,C_k}_k＝1,2。将海面图像由上至下按比例{0,0.3}、{0.3, 0.7}和{0.7,1}划分出三个区域，然后根据{0,0.3}和{0.7,1}两个区域中的超像素特征向量分别 计算出天空类别的均值m₁、协方差C₁以及海水类别的均值m₂、协方差C₂；

②初始化类别先验分布集π＝{π_i}_i＝1:M。对于每一个超像素的类别先验分布π_i，其初始 化公式如下：

上式中，W表示图像的宽度，H表示图像的高度。

在E-step：

③将θ和π代入公式(7)，计算所有超像素的后验分布P＝{p_i}_i＝1:M。其中，均匀分布函数 的计算公式如下：

上式中，W表示图像的宽度，H表示图像的高度。

④根据公式(3)和公式(12)，计算辅助类别先验分布集s＝{s_i}_i＝1:M；

上式中，°表示Hadamard积运算，为归一化常数。

⑤计算辅助后验分布集q＝{q_i}_i＝1:M，计算公式如下：

上式中，表示Hadamard积运算，为归一化常数，的计算类似于公式(3)。

在M-step：

⑥更新类别先验分布集π＝{π_i}_i＝1:M，计算公式如下：

上式中，的计算类似于公式(3)。

⑦更新正态分布参数集θ＝{m_k,C_k}_k＝1,2，计算公式如下：

⑧判断EM算法是否达到迭代终止条件；如果达到，则停止迭代，否则，则继续③～⑧。 其中，迭代终止条件如下：

进一步，所述步骤(5)中，根据EM算法迭代后得到的辅助后验分布集q＝{q_i}_i＝1:M来将图像中的每一个超像素分类成天空、海水以及奇异值类别(潜在的障碍物)，从而实现对海 面图像的分割。假设后验分布{q_ik}_k＝1:3中，天空类别的索引k＝1、海水类别索引k＝2而奇 异值类别索引k＝3，那么分割图像label上的每一个像素值(假设其对应的超像素索引为i) 可以定义为：

进一步，所述步骤(6)中，将分割图像label上像素值为128(即海水类别)的像素值映 射为255，除此之外的其它像素值(即天空类别或者奇异值类别)映射为0，从而获得海水掩 膜图像。

进一步，所述步骤(8)中，将分割图像label上像素值为255(即奇异值类别)的像素值 映射为255，除此之外的其它像素值(即天空类别或者海水类别)映射为0，从而获得奇异值 掩膜图像。然后，在奇异值掩膜图像上计算每个奇异值区域的中心矩，如果计算得到的中心 距位于水界线之下，则保留该奇异值区域，从而得到海面障碍物掩膜图像。

实施例1：

下面以实例来说明本发明公开的一种基于正态和均匀混合分布模型的海面障碍物检测方 法。本实施例采用C++编程语言和OpenCV、CUDA库实现，具体实施步骤如下：

(1)获取彩色海面图像；

利用无人水面艇舰载相机获取海面图像，该海面图像为24位彩色图像，分辨率为640x480， 如图2a所示。

(2)利用简单线性迭代聚类算法(Simple Linear Iterative Cluster，SLIC)对海面图像进 行超像素分割；

利用SLIC算法对海面图像进行超像素分割；其中，将超像素的个数设置为1200，如图 2b所示。

(3)以超像素为基本单位，建立基于正态和均匀混合分布的语义分割模型；

由于无人艇舰载相机获得的海面图像在竖直方向上始终存在着两个较大的区域(即天空 区域和海水区域)，因此基于正态和均匀混合分布的语义分割模型利用了两个正态分布来分别 对天空和海水区域的观测数据进行描述，而对于与这两个区域有着明显区别的奇异值区域(即 潜在的障碍物区域)，则使用了一个均匀分布来进行描述。此外，为了改善局部噪声对图像分 割的不利影响，假设图像中所有超像素的类别先验分布以及后验分布是关于邻域系统的一个 马尔可夫随机场(Markov Random Field，MRF)。因此，可以推导出基于正态和均匀混合分布 的语义分割模型的惩罚对数似然函数：

(4)利用期望最大化算法(Expectation-Maximization，EM)迭代估计出模型参数；

模型参数估计的具体步骤为：

①初始化正态分布参数集θ＝{m_k,C_k}_k＝1,2。将海面图像由上至下按比例{0,0.3}、{0.3, 0.7}和{0.7,1}划分出三个区域，然后根据{0,0.3}和{0.7,1}两个区域中的超像素特征向量分别 计算出天空类别的均值m₁、协方差C₁以及海水类别的均值m₂、协方差C₂；

②初始化类别先验分布集π＝{π_i}_i＝1:M。对于每一个超像素的类别先验分布π_i，其初始 化公式如下：

上式中，W表示图像的宽度(在本实施例中，该值为640)，H表示图像的高度(在本实施例中，该值为480)。

在E-step：

③将θ和π代入公式(7)，计算所有超像素的后验分布P＝{p_i}_i＝1:M。其中，均匀分布函数 的计算公式如下：

上式中，W表示图像的宽度(在本实施例中，该值为640)，H表示图像的高度(在本实施例中，该值为480)。

④根据公式(3)和公式(12)，计算辅助类别先验分布集s＝{s_i}_i＝1:M；

上式中，表示Hadamard积运算，为归一化常数。

⑤计算辅助后验分布集q＝{q_i}_i＝1:M，计算公式如下：

上式中，表示Hadamard积运算，为归一化常数，的计算类似于公式(3)。

在M-step：

⑥更新类别先验分布集π＝{π_i}_i＝1:M，计算公式如下：

上式中，的计算类似于公式(3)。

⑦更新正态分布参数集θ＝{m_k,C_k}_k＝1,2，计算公式如下：

⑧判断EM算法是否达到迭代终止条件；如果达到，则停止迭代，否则，则继续③～⑧。 其中，迭代终止条件如下：

(5)根据后验分布概率确定出每一个超像素的类别，从而将图像分割成天空、海水以及 奇异值区域(潜在的障碍物区域)；

根据EM算法迭代后得到的辅助后验分布集q＝{q_i}_i＝1:M来将图像中的每一个超像素分 类成天空、海水以及奇异值类别(潜在的障碍物)，从而实现对海面图像的分割，如图2c所 示。假设后验分布{q_ik}_k＝1:3中，天空类别的索引k＝1、海水类别索引k＝2而奇异值类别索 引k＝3，那么分割图像label上的每一个像素值(假设其对应的超像素索引为i)可以定义为：

(6)生成海水掩膜图像；

将分割图像label上像素值为128(即海水类别)的像素值映射为255，除此之外的其它 像素值(即天空类别或者奇异值类别)映射为0，从而获得海水掩膜图像，如图2d所示。

(7)利用Canny算子检测海水掩膜图像中的边缘，然后利用Hough变换算法进行直线 检测，检测得到的最佳直线即为水界线；

利用Canny算子检测对海水掩膜图像进行边缘检测，得到相应的边缘图像，如图2e所 示；然后利用Hough变换算法进行直线检测，并将检测到的最佳直线看作水界线，如图2f所 示。

(8)对水界线以下的奇异值区域进行提取，从而实现海面障碍物的检测。

将分割图像label上像素值为255(即奇异值类别)的像素值映射为255，除此之外的其 它像素值(即天空类别或者海水类别)映射为0，从而获得奇异值掩膜图像。然后，在奇异值 掩膜图像上计算每个奇异值区域的中心矩，如果计算得到的中心距位于水界线之下，则保留 该奇异值区域，从而得到海面障碍物掩膜图像，如图2g所示。图2h为检测到的海面障碍物。

实施例2：

图3为本发明方法在长海岸背景下海面障碍物检测的一个优选实施例。其具体实施步骤 与实施例1相同，故不再赘述。从实施例1和实施例2的检测结果可以看出，在低空有云层、 远处有海岸以及海水中有较强边缘纹理等复杂情况时，本发明依然能够准确地检测出图像中 的海面障碍物，具有较高的鲁棒性。

Claims (3)

1.一种基于正态和均匀混合分布模型的海面障碍物检测方法，其特征在于，包括以下步骤：

(1)获取彩色海面图像；

(2)利用简单线性迭代聚类算法，即SLIC对海面图像进行超像素分割；

(3)以超像素为基本单位，建立基于正态和均匀混合分布的语义分割模型；

(4)利用期望最大化算法EM迭代估计出模型参数；

(5)根据后验分布概率确定出每一个超像素的类别，从而将图像分割成天空、海水以及奇异值区域，即潜在的障碍物区域；

(6)生成海水掩膜图像；

(7)利用Canny算子检测海水掩膜图像中的边缘，然后利用Hough变换算法进行直线检测，检测得到的最佳直线即为水界线；

(8)对水界线以下的奇异值区域进行提取，从而实现海面障碍物的检测。

2.根据权利要求1所述的基于正态和均匀混合分布模型的海面障碍物检测方法，其特征在于，所述步骤(3)中，由于获取的海面图像在竖直方向上始终存在着两个较大的区域，即天空区域和海水区域，因此基于正态和均匀混合分布的语义分割模型利用了两个正态分布来分别对天空和海水区域的观测数据进行描述，而对于与这两个区域有着明显区别的奇异值区域，即潜在的障碍物区域，则使用了一个均匀分布来进行描述；于是，第i个超像素的特征向量的概率建模成两个正态分布和一个均匀分布的混合模型：

上式中，表示均值为m而协方差为C的正态分布函数，U(·)表示均匀分布函数；y_i表示图像中第i个超像素的特征向量，也称为观测数据，主要由CIE-Lab颜色特征(L,a,b)和超像素中心坐标(r,c)组成；θ表示模型中所有正态分布的参数，即θ＝{m_k,C_k}_k＝1,2；π表示图像中所有超像素类别先验分布集，即π＝{π_i}_i＝1:M，其中，M为图像中超像素的个数，π_i表示第i个超像素的类别先验分布，即π_i＝[π_i1,π_i2,π_i3]，其中，π_ik＝p(x_i＝k)表示第i个超像素类别x_i为k的概率；

为了改善局部噪声对图像分割的不利影响，假设图像中所有超像素的类别先验分布以及后验分布是关于邻域系统的一个马尔可夫随机场MRF；因此，推导出基于正态和均匀混合分布的语义分割模型的惩罚对数似然函数：

上式中，表示Hadamard积运算，s_i和q_i分别表示超像素i的辅助类别先验分布和辅助后验分布，主要用于简化模型参数估计，N_i为超像素i的相邻超像素集合，为超像素i的邻域超像素集合N_i的类别先验分布，其计算公式：其中，|N_i|表示超像素i的相邻超像素的个数，p_i表示超像素i的后验分布，表示超像素i的邻域超像素集合N_i的后验分布，其计算公式：其中，|N_i|表示超像素i的相邻超像素的个数，表示s_i和之间的KL散度，表示q_i和之间的KL散度；其中，p_i＝{p_ik}_k＝1:3的计算公式如下：

3.根据权利要求1所述的基于正态和均匀混合分布模型的海面障碍物检测方法，其特征在于，所述步骤(4)中，根据最大后验准则，通过EM算法最大化上述公式，从而实现对模型参数的估计；具体地，参数估计的步骤为：

①初始化正态分布参数集θ＝{m_k,C_k}_k＝1,2：将海面图像由上至下按比例{0,0.3}、{0.3,0.7}和{0.7,1}划分出三个区域，然后根据{0,0.3}和{0.7,1}两个区域中的超像素特征向量分别计算出天空类别的均值m₁、协方差C₁以及海水类别的均值m₂、协方差C₂；

②初始化类别先验分布集π＝{π_i}_i＝1:M：对于每一个超像素的类别先验分布π_i，其初始化公式如下：

上式中，W表示图像的宽度，H表示图像的高度：

在E-step：

③计算所有超像素的后验分布P＝{p_i}_i＝1:M：其中，均匀分布函数的计算公式如下：

上式中，W表示图像的宽度，H表示图像的高度；

④计算辅助类别先验分布集s＝{s_i}_i＝1:M，计算公式如下；

上式中，表示Hadamard积运算，为归一化常数；

⑤计算辅助后验分布集q＝{q_i}_i＝1:M，计算公式如下：

上式中，表示Hadamard积运算，为归一化常数；

在M-step：

⑥更新类别先验分布集π＝{π_i}_i＝1:M，计算公式如下：

上式中，为超像素i的邻域超像素集合N_i的辅助类别先验分布，其计算公式： 其中，|N_i|表示超像素i的相邻超像素的个数，表示超像素i的邻域超像素集合N_i的辅助后验分布，其计算公式：其中，|N_i|表示超像素i的相邻超像素的个数；

⑦更新正态分布参数集θ＝{m_k,C_k}_k＝1,2，计算公式如下：

⑧判断EM算法是否达到迭代终止条件；如果达到，则停止迭代，否则，则继续③～⑧；其中，迭代终止条件如下：