CN109299655A - 一种基于无人机的海上溢油在线快速识别方法 - Google Patents

Abstract

本发明提供一种基于无人机的海上溢油在线快速识别方法，包括：无人机搭载热红外相机巡视目标海域并实时采集观测区视频，从视频中获取海面热红外图像并进行预处理得到标准格式的图像，利用最大稳定极值区域(MSER)算法检测图像中的油膜热点，采用积分通道特征(ICF)描述符提取油膜特征；利用支持向量机(SVM)分类器对油膜特征进行训练，建立溢油识别模型；利用溢油识别模型对海上溢油进行快速识别。本发明方法步骤简单、快速高效、识别率高、鲁棒性好、应用性强。

Description

一种基于无人机的海上溢油在线快速识别方法

技术领域

本发明涉及海上监测技术领域，尤其涉及一种基于无人机的海上溢油在线快速识别方法。

背景技术

随着经济一体化的深入发展，石油及其产品海上的运输量不断增加，溢油事故发生的频次和风险也随之加大。据统计，全球每年海上溢油量达200万吨-1000万吨，对社会经济和海洋环境造成巨大损失。

目前，遥感技术是国内外海上溢油监测的有效手段。卫星遥感具有探测范围广、全天候监测等优势，在海上大型溢油事故中应用广泛，但其重访周期长、空间分辨率低，容易受气象因素的影响，无法及时、准确地提供溢油信息，对小型溢油难以有效监测。

发明内容

本发明提供一种基于无人机的海上溢油在线快速识别方法，以克服上述技术问题。

本发明基于无人机的海上溢油在线快速识别方法，包括：

无人机搭载热红外相机采集观测区域实时视频；

从所述实时视频中获取海面热红外图像，并将所述热红外图像进行预处理；

根据所述预处理后的图像中的像素值识别并标注油膜区域；

采用最大稳定极值区域算法检测所述标注区域中的油膜热点；

根据所述油膜热点采用积分通道特征描述符提取所述油膜的特征；

利用支持向量机分类器对所述油膜特征进行训练，根据所述训练的油膜特征建立溢油识别模型；

根据所述溢油识别模型对海上溢油进行快速识别。

进一步地，所述从视频中获取海面热红外图像并进行预处理，包括：

采用基于互信息模板匹配方法获取视频中的热红外图像序列；

对所述序列进行归一化处理，得到标准格式的图像；

将所述标准格式的图像转化为灰度图像；

采用灰度反射方法增加所述灰度图像中灰度值；

采用直方图均衡化算法对图像进行增强处理，提高图像中油膜与背景的对比度。

进一步地，所述采用最大稳定极值区域算法检测图像中的油膜热点，包括：

采用极值区域的公式：

w(i)＝|W_i+Δ-W_i-Δ|/|W_i| (1)

合并多个油膜，其中，W_i指阈值i时的连通区域，△指阈值的微小变化量，w(i)指阈值i时区域W_i的变化率，当w(i)在i处满足局部极小值时，对应的W_i为MSER。

进一步地，所述根据所述油膜热点采用积分通道特征描述符提取所述油膜的特征，包括如下步骤：

采用双线性插值法将图像进行归一化处理；

采用积分通道特征来计算油膜热点的描述符，通过Sobel算子计算图像的梯度大小，所述Sobel算子的两个梯度矩阵为：

其中，A表示原始图像，Rx、Ry分别表示横向、纵向的梯度；

根据所述Sobel算子的两个梯度矩阵沿着六个取向计算幅度，捕获梯度的方向分量，总梯度大小近似值为：

进一步地，所述支持向量机为线性核函数。

进一步地，所述根据所述溢油识别模型对海上溢油进行快速识别，包括：

对待检测图像通过预设窗口逐像素测试，生成待识别目标；

采用训练生成的溢油识别模型对所述待识别目标进行预测，其结果为正样本的窗口确定为油膜。

本发明方法采用无人机搭载热红外相机采集观测区实时视频，并利用模式识别技术进行海上溢油目标的识别，实现低空海上溢油快速识别，识别海上溢油步骤简单、快速高效、识别率高、鲁棒性好、应用性强，能显著减轻监控人员的劳动强度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于无人机的海上溢油在线快速识别方法流程图；

图2为本发明海上溢油热红外检测结果示意图；

图3为本发明与采用线性SVM、径向基核SVM和朴素贝叶斯分类器训练结果受试者工作特征曲线比较。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明基于无人机的海上溢油在线快速识别方法流程图，如图1所示，本实施例的方法包括：

步骤101、无人机搭载热红外相机采集观测区域实时视频；

步骤102、从所述实时视频中获取海面热红外图像，并将所述热红外图像进行预处理；

步骤103、根据所述预处理后的图像中的像素值识别并标注油膜区域；

步骤104、采用最大稳定极值区域算法检测所述标注区域中的油膜热点；

步骤105、根据所述油膜热点采用积分通道特征描述符提取所述油膜的特征；

步骤106、利用支持向量机分类器对所述油膜特征进行训练，根据所述训练的油膜特征建立溢油识别模型；

步骤107、根据所述溢油识别模型对海上溢油进行快速识别。

具体而言，本实施例基于无人机的海上溢油在线快速识别方法，利用最大稳定极值区域算法检测图像中的油膜热点，将检测到的每个油膜特征采用双线性插值法按比例缩放到16x 32像素，采用积分通道特征描述符提取油膜特征生成积分通道特征向量，生成的特征向量数据进行线性SVM训练，得到训练好的线性SVM分类器，即溢油识别模型。具有步骤简单、快速高效、识别率高、鲁棒性好、应用性强等优势，能显著减轻监控人员的劳动强度，当溢油发生时，该系统能够实时检测出溢油，准确率≥85％。

进一步地，所述从视频中获取海面热红外图像并进行预处理，包括：

采用基于互信息模板匹配方法获取视频中的热红外图像序列；

对所述序列进行归一化处理，得到标准格式的图像；

将所述标准格式的图像转化为灰度图像；

采用灰度反射方法增加所述灰度图像中灰度值；

采用直方图均衡化算法对图像进行增强处理，提高图像中油膜与背景的对比度。

具体而言，采用互信息测度结合图像的边缘信息进行模板匹配。事件的信息测量通常都定义为与该事件发生概率相关的一个值，发生概率为p_n的事件E_n的自信息可定义为H(E_n)＝-lbp_n。给定事件E＝{E₁,E₂,…,E_N}和F＝{F₁,F₂,…,F_M}，它们的发生概率分别为P＝{P₁,P₂,…,P_N}和Q＝{q₁,q₂,…,q_M}，互信息被定义为联合分布和边缘分布之间的相关熵，公式如下：

图像配准情况下，待配准图像的联合概率密度p(E_n,F_m)通过待配准图像的联合直方图函数h(E_n,F_m)归一化求得：

其中，M和N分别代表待配准图像的灰度级数，在灰度图配准中，M＝N＝256。联合直方图h(E_n,F_m)通过计算2幅图像经过变换T重叠后重叠部分对应点x的灰度对((E_n,F_m))的出现次数来计算。当2幅图像的配准程度达到最大时，它们的重叠部分的相关程度达到最大，此时它们的互信息也达到最大。

模板的提取在重叠范围内采用下式的灰度差的绝对值和的方法，灰度差的绝对值和愈大代表信息含量愈多。

其中，x∈(0,X-M+1)，y∈(0,Y-M+1)；S(x,y)为灰度差的绝对值和；T(i,j)为右图中与左图重叠区域各点的灰度值；M为要提取的模板的大小。经过遍历，得到左图对应位置点的子图与模板的互信息，互信息越大，代表它们的匹配度越大。

采用线性归一化函数得到标准格式的图像，公式为：

其中，X_norm为归一化后的数据，X为原始数据，X_max、X_min分别为原始数据集的最大值和最小值。

采用rgb2gray函数将图像由彩色转化为灰度。

直方图均衡化处理的阈值为[0.58 0.65]。具体映射方法为：

其中，n为图像中像素的总和，n_k是当前灰度级的像素个数，L是图像中可能的灰度级总数。

进一步地，所述采用最大稳定极值区域算法检测图像中的油膜热点，包括：

采用极值区域的公式：

w(i)＝|W_i+Δ-W_i-Δ|/|W_i| (6)

合并多个油膜，其中，W_i指阈值i时的连通区域，△指阈值的微小变化量，w(i)指阈值i时区域W_i的变化率，当w(i)在i处满足局部极小值时，对应的W_i为MSER。

油膜热点检测采用最大稳定极值区域算法，将灰度图像中提取的灰度值(0～255)作为阈值，按照阈值递增的方式对图像进行二值化处理得到二值图像，以每个阈值所得的二值图像为研究对象，分析其前后相邻图像的连通区域，选取在一定宽度灰度范围内形状相对稳定的区域作为MSER+，在该区域内各像素点的灰度值大于(或小于)区域边界像素点的灰度值；按照阈值递减的方式对图像进行同样处理，得到MSER-；二者合并区域即为MSER。MSER在二值图像中的连通区域变化很小，甚至没有发生变化的区域。

进一步地，所述根据所述油膜热点采用积分通道特征描述符提取所述油膜的特征，包括如下步骤：

采用双线性插值法将图像进行归一化处理；

采用积分通道特征来计算油膜热点的描述符，通过Sobel算子计算图像的梯度大小，所述Sobel算子的两个梯度矩阵为：

其中，A表示原始图像，Rx、Ry分别表示横向、纵向的梯度；

根据所述Sobel算子的两个梯度矩阵沿着六个取向计算幅度，捕获梯度的方向分量，总梯度大小近似值为：

进一步地，所述支持向量机为线性核函数。

具体而言，最大稳定极值区域阈值为0.39；双线性插值法以原始文件像素点为基础，取其邻近的四个像素点进行插值，基于四个点的相关性采用双线性算法得出结果。将目的坐标向后映射求出其原始文件相应的浮点坐标(i+u,j+u)，则像素值f(i+u,j+u)可通过原像素值周围四中点(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)的像素计算，公式为：

f(i+u,j+v)＝(1-u)×(1-v)×(i,j)+(1-u)×V× (10)

f(i,j+1)u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1) (11)

其中，其中i,j为非负整数，u、v表示[0,1]之间浮点数，f(i,j)表示原图像点(i,j)处的像素值。

假设输入图像I，它的某种输出相应作为通道特征，由图像输入像素块以一定的映射函数计算得到输出像素值。将灰度图像自身可作为通道，即C＝I；彩色(RGB)图像的通道可以用R、G、B三者的颜色通道表示；若Ω代表通道线性变换的一个函数，表达式为C＝Ω(I)；为了保证滑动窗口实时检测，通道变换应该满足不变性这一前提，即同时满足表达式C＝Ω(I)，C^'＝Ω^'(I)，Ω函数只需在图像检测窗口计算一次就能得到所需要的结果，避免重复计算。图像某个固定方块区域对应的一阶通道特征为：

Feature1＝Rectsum(r_i)

式中，r_i表示整幅图像中某个固定方块区域，Rectsum()表示方块内的所有像素数值进行求和运算。

支持向量机线性核函数公式为

k(x,x_i)＝x·x_i (12)

defaults＝struct('ThresholdDelta',0.8*100/255,'RegionAreaRange',[3014000],'MaxAreaVariation',0.85,'ROI',[1 1imgSize(2)imgSize(1)])；

进一步地，所述根据所述溢油识别模型对海上溢油进行快速识别，包括：

对待检测图像通过预设窗口逐像素测试，生成待识别目标；

采用训练生成的溢油识别模型对所述待识别目标进行预测，其结果为正样本的窗口确定为油膜。

具体而言，在溢油检测阶段，利用训练好的线性SVM分类器对溢油视频进行多尺度、多窗口融合检测，其中待检测视频为小型无人机拍摄的溢油视频，溢油识别具体步骤如下：

对待检测的每帧图像进行分层处理，按照16x 32比例进行缩放，得到多尺度下的图像；

提取当前尺度下各子窗口(大小为16x 32)内图像的积分通道特征；

将线性SVM分类器加载到海上溢油在线检测系统中进行检测，判断各子窗口中是否有溢油；

将所有尺度下的检测结果进行融合，得到每帧图像最终的溢油检测结果，显示在系统界面。如图2所示，本发明溢油检测结果中将图中最小面积的油膜都准确显示在检测结果中。

SVM将训练样本从所处空间映射到高维空间，在高维空间中计算最优超平面，为了减小计算难度，采用线性核函数避免直接在高维空间处理。给定训练样本集C＝{(x₁,y₂),(x₂,y₂),…,(x_m,y_m)},y_i∈{-1,+1}，基于训练集C在样本空间中找到一个划分超平面，将不同类别的样本分开。

设训练样本可以被超平面(α,b)正确分类，即对于(x_i,y_i)∈C，若y_i＝+1，则有α^Tx_i+b>0；若y_i＝-1，则有α^Tx_i+b<0。令

若距离超平面最近的几个训练样本点(支持向量)满足上式，则两个支持向量到超平面的距离之和(间隔)为：

最优超平面就是找能满足约束的参数α和b，使得γ最大，即

显然，为了最大化间隔，仅需最大化‖ω‖^-1，这等价于最小化‖ω‖²。于是，上式可改写为：

设分割超平面为g(x)＝α·x_i+b，则支持向量和分割超平面之间的几何间距为下式：

其中，y_i为样本的类别。寻求δ最大，等价于寻求‖α‖最小。因此，线性SVM最优化问题转化为：在满足y_i(α·x_i+b)-1≥0的前提下，使最小。

在Windows平台C++语言环境下，采用线性SVM、径向基核SVM和朴素贝叶斯分类器对提取的溢油特征进行学习，建立相应的溢油识别模型进行溢油检测，三者的受试者工作特征曲线(ROC)和三种分类器对溢油数据集测试结果如图3所示，表1为三种分类器对溢油数据集测试结果比较：

表1

从表中可以看出，通过ICF特征训练的线性支持向量机(SVM)分类器对溢油的检测率最高，因此，选择该分类器用于海上溢油检测，提高检测结果的准确率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于无人机的海上溢油在线快速识别方法，其特征在于，包括：

无人机搭载热红外相机采集观测区域实时视频；

从所述实时视频中获取海面热红外图像，并将所述热红外图像进行预处理；

根据所述预处理后的图像中的像素值识别并标注油膜区域；

采用最大稳定极值区域算法检测所述标注区域中的油膜热点；

根据所述油膜热点采用积分通道特征描述符提取所述油膜的特征；

利用支持向量机分类器对所述油膜特征进行训练，根据所述训练的油膜特征建立溢油识别模型；

根据所述溢油识别模型对海上溢油进行快速识别。

2.根据权利要求1所述的方法，其特征在于，所述从视频中获取海面热红外图像并进行预处理，包括：

采用基于互信息模板匹配方法获取视频中的热红外图像序列；

对所述序列进行归一化处理，得到标准格式的图像；

将所述标准格式的图像转化为灰度图像；

采用灰度反射方法增加所述灰度图像中灰度值；

采用直方图均衡化算法对图像进行增强处理，提高图像中油膜与背景的对比度。

3.根据权利要求1所述的方法，其特征在于，所述采用最大稳定极值区域算法检测图像中的油膜热点，包括：

采用极值区域的公式：

w(i)＝|W_i+Δ-W_i-Δ|/|W_i| (1)

合并多个油膜，其中，W_i指阈值i时的连通区域，△指阈值的微小变化量，w(i)指阈值i时区域W_i的变化率，当w(i)在i处满足局部极小值时，对应的W_i为MSER。

4.根据权利要求1所述的方法，其特征在于，所述根据所述油膜热点采用积分通道特征描述符提取所述油膜的特征，包括如下步骤：

采用双线性插值法将图像进行归一化处理；

采用积分通道特征来计算油膜热点的描述符，通过Sobel算子计算图像的梯度大小，所述Sobel算子的两个梯度矩阵为：

其中，A表示原始图像，Rx、Ry分别表示横向、纵向的梯度；

根据所述Sobel算子的两个梯度矩阵沿着六个取向计算幅度，捕获梯度的方向分量，总梯度大小近似值为：

5.根据权利要求1所述的方法，其特征在于，所述支持向量机为线性核函数。

6.根据权利要求1所述的方法，其特征在于，所述根据所述溢油识别模型对海上溢油进行快速识别，包括：

对待检测图像通过预设窗口逐像素测试，生成待识别目标；

采用训练生成的溢油识别模型对所述待识别目标进行预测，其结果为正样本的窗口确定为油膜。