CN107169412B - 基于混合模型决策的遥感图像靠港船只检测方法 - Google Patents

Abstract

本发明提出了基于混合模型决策的遥感图像靠港船只检测方法，采用层次化算法框架实现港内船舶的精确检测。候选区筛选阶段，对输入的高分辨率大尺寸的港口图像进行快速水体分离，并基于全向双维度交叉扫描方法快速筛选候选区。候选区鉴别阶段，提出一种基于混合决策模板进行候选区的可靠鉴别的方法。首先，根据船舶关键部位和整体特征，以及与周围环境的上下文关系，训练并得到三个决策子模型，并将子模型各自判决结果基于混合模型决策模板进行候选区鉴别。相对于传统方法，本方法能有效克服船舶种类繁多，停泊姿态各异以及船身被部分遮挡等因素带来的不利影响，并只需较短的时间就能得到精确度较高的检测结果。

Description

基于混合模型决策的遥感图像靠港船只检测方法

技术领域

本发明涉及基于混合模型决策的遥感图像靠港船只检测方法。

背景技术

近年来，随着高分辨率光学遥感平台的发展，基于高分辨率遥感图像的船舶检测，已经成为了卫星遥感数据海洋应用的研究热点。由于其具有探测范围广、时效性高的优势，已经被应用在许多重要的海洋遥感领域，例如：港口动态监测，海事管理、船舶救援、以及走私活动检测等。

其检测对象主要分为远洋及港口船舶两类。现在，已有的大量船舶检测方法主要是针对离港远洋的船舶进行研究，这些方法已经得到了较好的效果及应用。对于港口船舶检测而言，由于港口内锚泊船舶的检测环境与远洋船舶检测问题相似，此类研究也已经取得了显著的进展。然而，与远洋及港口内锚泊船舶(非靠港)的检测相比，港内靠港停泊船舶的检测研究较少；其主要难点在于：船舶的灰度、纹理、以及人工结构都与码头极为相似，且船舶与码头通常是紧密相连的，导致实现船舶区域的有效提取较为困难。一些已有的港口内船舶检测方法根据已知的地理信息实现港口位置的快速定位，从而获取靠港停泊船舶所在位置，但先验地理信息定位只适用于限定的应用场景，推广性差。此外，一些方法根据纹理、灰度等初级图像特征实现分割，此类方法易受到环境中阴影、码头复杂人工构建物、船体不同舾装的干扰，往往无法提取完整的边界轮廓，难以实现靠岸船舶与码头的有效分割问题，鲁棒性较差。

发明内容

针对现有技术的上述问题，本发明提出一种基于混合模型决策的遥感图像靠港船只检测方法。在候选区筛选阶段，对输入的高分辨率大尺寸的港口图像进行快速水体分离，并基于全向双维度交叉扫描方法快速筛选候选区。在候选区鉴别阶段，提出一种基于混合决策模板进行候选区的可靠鉴别的方法。该鉴别方法首先根据船舶关键部位和整体特征，以及与周围环境的上下文关系，训练并得到三个决策子模型；并将子模型各自判决结果基于混合模型决策模板进行候选区鉴别。相对于传统方法，本方法能有效克服船舶种类繁多，靠港停泊姿态各异以及船身被阴影部分遮挡等因素带来的不利影响，并只需较短时间就能得到精确度较高的检测结果。

本发明针对现有技术的上述问题，提出了一种基于混合模型决策的遥感图像靠港船只检测方法，其包括第一步快速低漏检的候选区筛选和基于混合模型决策的候选区可靠鉴别两个步骤组成，即：

B)快速低漏检的候选区筛选，包括：

水体快速分割；

靠港疑似候选区的全向双维度交叉突异扫描提取；

鉴别候选区获取；

B)基于混合模型决策的候选区可靠鉴别,包括：

建立决策要素子模型，其中包括建立船舶关键部位子模型、船体子模型和船体-周域上下文关联子模型；

基于决策模板进行混合模型决策，其中包括：混合模型决策模板训练和基于混合模型决策模板的船舶目标确认。

附图说明

图1是根据本发明的一个实施例的基于混合模型决策的遥感图像靠港船只检测方法的框图。

图2(a)至2(c)是根据本发明的一个实施例的双维度交叉扫描处理的示意图。

图3(a)至3(f)是根据本发明的一个实施例的鉴别候选区提取过程的示意图。

图4(a)和4(b)是根据本发明的一个实施例的船体-周域上下文关联子模型构建中小块的示意图。

具体实施方案

在发明针对上述现有技术的缺点，通过水体快速分割和全向双维度交叉扫描的处理，实现了从大场景港口图像中，筛选得到船舶候选区；并提出了一种基于混合决策方法的港口船舶检测方法，实现了对候选区中船舶目标的精确鉴别。

图2(a)为港内靠港停泊船舶的灰度图像；图2(b)为经过水体快速分割的靠港停泊船舶的二值图像；图2(c)为通过水平维度与竖直维度结合的双维度交叉扫描所得的疑似突异块。

图3(a)是港内靠港停泊船舶的灰度图像；图3(b)是经过全向双维度交叉扫描得到的疑似突异块所在位置的疑似候选区；图3(c)展示了对疑似候选区进行拓展的过程；图3(d)为拓展后得到的候选区二值图像；图3(e)是旋转了α的原分辨率灰度图像，图3(f)展示了取得的候选区图像。

图4(a)和图4(b)是船体-周域上下文关联子模型构建中小块示意图。其中，图4(a)是候选区筛选得到的原图下的候选区；图4(b)是船体-周域上下文关联子模型构建事例。

根据本发明的基于混合模型决策的遥感图像靠港船只检测方法包括：

第一步：快速低漏检的候选区筛选

在候选区筛选阶段，首先进行水体分割，对输入的大尺寸遥感图像进行下采样，从而提高水体分割的效率。对分割后的二值图像，进行全向双维度交叉突异扫描，从而获得靠港疑似突异块候选区。之后，对这些靠港疑似突异块候选区进行标准化处理，最终得到便于后续检测的新疑似候选区。

第二步：基于混合模型决策的候选区可靠鉴别；

基于上述步骤筛选得到的新疑似候选区，进行混合模型决策的靠港船舶候选区可靠确认处理。首先，使用适应形变能力较强的DPM处理，构建船舶关键部位特征和船舶整体特征子模型；其次，根据船头与船尾位置的上下文特性，构建船体-周域关联的上下文子模型；最后，采用决策模板处理对船舶关键部位子模型、船体子模型和船体-周域上下文关联子模型三个子模型的判决得分进行融合，从而实现靠港船舶候选区的可靠确认。

以下结合附图具体说明本发明的方法。图1是根据本发明的一个实施例的基于混合模型决策的遥感图像靠港船只检测方法的框图，该方法包括：

第一步：快速低漏检的候选区筛选

第(1.1)步水体快速分割：对输入的大尺寸遥感图像进行采样，以提高水体分割效率。分别取得采样港口图像中的灰度分布特征以及邻域方差的分布特征，根据这两个特征分布的尖峰特性，自适应获取其中水体区域的分割阈值，进而初步提取港内水体区域。之后通过引入标记链接分量概念，根据形态，面积等特征判断，对初步提取的水域进行精细修正，从而实现水体与陆地的快速分离。得到分割后的二值图像，所有像素位置I(x,y)的特征为F(x,y)，陆地区域像素位置的特征F(x,y)＝1，水体部分像素位置的特征F(x,y)＝0。

第(1.2)步靠港疑似候选区的全向双维度交叉突异扫描提取

由于靠港停泊船舶与码头等区域保持着姿态各异且紧密相连的状态，针对这个特点，使用横向维度与纵向维度相结合的双维度交叉扫描方法对其进行筛选，如图2所示。取得港内靠港停泊船舶的灰度图像，如图2(a),对水体快速分离后的二值图像进行逐行逐列的横-纵扫描,如图2(b)，通过水平维度与竖直维度结合的双维度交叉扫描得到图2(c) 中疑似突异块，取得二值图像中沿岸区域的像素位置，即沿岸区域像素位置前后两像素位置的特征不同。首先,使用双维度交叉突异扫描来判断，两个邻近的沿海位置像素之间的区域是否为陆地，然后把船舶疑似突异块和陆地间距中像素位置的特征都标记为F(x,y)＝2。由于船头朝向的不同，所以本发明设计了在基于双维度交叉扫描基础上的全向旋转迭代的方法，针对船头朝向的不同，进行基于双维度交叉扫描的全向旋转迭代的处理,将图像以指定角度{k₁,k₂,…,k_i}顺时针旋转。并对旋转了角度k_i的图像，进行双维度交叉扫描，将检测得到的疑似船舶逆时针旋转角度k_i，返回到疑似显著区域图像上，从而尽可能多地获取所有靠港疑似突异块；并对此类扫描结果进行累加，从而寻找到与平滑沿岸和水域相连接的疑似突异块，同时，计算疑似突异块的最小外接矩形，构建疑似突异块所在位置的疑似候选区，

第(1.3)步鉴别候选区获取：首先找到港内靠港停泊船舶的灰度图像，如图3(a)所示，获取其中的疑似候选区，如图3(b)，计算其中突异块的几何中心点位置O，同时寻找到疑似突异块上与中心位置距离最远点的位置A。将OA两点链接，其长度为l，计算OA方向与水平方向小于90°的夹角α。之后，将疑似候选区沿长轴方向分别向外延长

长度，形成新的矩形框,如图3(c)所示。获取拓展且转正后得到的候选区二值图像，如图3(d)所示，对输入的大场景遥感原图像根据夹角α进行旋转，取得旋转后原分辨率灰度图中新外接矩形框所在区域，如图3(e)所示，将此区域作为疑似船舶所在候选区，如图3(f)所示。在后续目标候选区鉴别阶段，将对此候选区内的疑似船舶进行精细判别。

第二步：基于混合模型决策的候选区可靠鉴别

第(2.1)步创建决策要素子模型

该部分包含船舶关键部位与船体子模型的创建和船体-周域上下文关联子模型的创建。

第(2.1.1)步：构建和训练船舶关键部位与船体子模型

每个DPM模型被分为三个部分:一个根模型、一系列部件模型和一些列的空间位置模板；根模型主要定位候选区中疑似目标的大致位置；部件模型旨在确定候选区中疑似目标的精确信息；空间位置模板表示每个部件相对于其根位置的可能位置的变形花费。这三个部分让这个模型能够适应目标的形变。

无论在训练阶段和还是检测阶段，Felzenszwalb等人均使用方向梯度直方图方法来构建特征图。根据该特征图，用DPM处理构建一种特征金字塔，根据分辨率的不同分别放置根模型和部件模型。

本发明采用Felzenszwalb等人提出的DPM模型处理，分别构建和训练船头关键部位特征模型以及船体特征模型。

第(2.1.2)步：构建船体-周域上下文关联子模型

首先得到的原图下的候选区，如图4(a)所示，通过对候选区图像使用2.1中的自适应分割方法得到二值图像，再根据竖直和水平对称轴将分割后的二值图均匀的划分为若干个方形小格标记为I₁,I₂,…,I_N，本实施例选用N＝4，如图4(b)所示。将小块中的水体区域标记为I'_k。获取I'_k的灰度值，并计算该水域的灰度均值、标准差以及灰度共生矩阵。令F₁(I'_k),F₂(I'_k),…,F_M(I'_k)表示从第k个水体区域I'_k中提取的特征，M为特征的数目。灰度均值与标准差特征表示为F₁(I'_k),F₂(I'_k)。灰度共生矩阵中可提取2个派生参数，分别是：对比特征F₃(I'_k)，相关特性F₄(I'_k)。由此，每块水域都可以得到2维灰度类特征以及2维纹理类特征，共4维灰度和纹理的邻域描述特征。

为除了水体区域I'_k外的其它水体区域所提取第i类特征F_i的平均值。DF(i,k)是标志在考虑特征类型F_i的情况下I'_k与其他水体区域的差异。

通过考虑候选区图像中每个方形小块中水体部分之间的灰度与纹理的特征类型，计算每个小块中水体的相似性，定义如下：

第(2.2)步：基于决策模板的混合模型决策

基于步骤2.1中得到的三种决策要素子模型，分别为船舶关键部位子模型、船体子模型和船体-周域上下文关联子模型，通过对其各自的决策输出形式进行归一化，并结合决策模板进行子模型的融合与判决。实现对候选区中疑似船舶目标的可靠鉴别。

第(2.2.1)步：混合模型决策模板训练

对得到的候选区，采用2.1中所述的船舶关键部位子模型、船体子模型和船体-周域上下文关联子模型进行独立判决。由于本方法使用的船舶关键部位子模型、船体子模型和船体-周域上下文关联子模型的结构不同，决策输出的形式也不尽相同。为了便于后续融合决策，本实施例将三种基本要素子模型的判决输出进行归一化到动态范围内。

上述3种决策要素子模型为本方法模板中的决策要素，表示为 {D₁,D₂,D₃}，并将候选区中的疑似船舶目标划分为2类：船舶目标以及干扰虚警，分别用w₁，w₂表示。令训练某类w_j的样本集表示为 Z_j＝{z_j,1,z_j,2,...,z_j,m,...,z_j,p}，对应其中的某个样本z_j,m，其分类模型判决习惯用决策轮廓矩阵DP(z_m)来表征：

d_i,j表示决策要素D_i对模式w_j作出的判决结果，(i＝1,2,3,j＝1,2)。若判决标识与模式w_j越相似，则d_i,j就越接近1，反之d_i,j越接近0。

计算各模式类的决策模板DT，表示第j类模式的决策模板DT_j，是由该类模式所有的训练样本Z计算DP(z_j,m)后的平均得到，如下:

其中第j类模式的训练样本数表示为N_j。则由上式计算后可分别得到表示船舶模板DT₁以及虚警模板DT₂。

第(2.2.2)步：基于混合模型决策模板的船舶目标确认

利用决策模板确认候选区中的船舶目标。对输入的候选区z_ROI计算其决策轮廓矩阵DP(z_ROI)。μ_j(z_ROI)定义为DP(z_ROI)与训练阶段得到的DT_j (j＝1,2)间的相似程度，以欧氏距离来计算：

其中，dt_j(i2,i1)是DT_j矩阵中的元素(i₂,i₁)。如果μ_k(z_ROI)是{μ₁(z_ROI),μ₂(z_ROI)} 中的最小值，那么就判别z_ROI为模式w_k，进而确定z_ROI是否为包含真实船只目标的候选区。对真实含有船舶目标的候选区，取得其中目标的最小外切矩形，在原分辨率图像中对船舶目标进行标记。

本发明与现有检测方法相比具有以下优点:

(1)本发明的光学遥感靠港船只检测方法，采用非等粒度级联的处理模型架构。首先对全图高分辨大视场区域，进行降采样快速水体分离和全向双维度交叉扫描的筛选候选区，保证了低漏检、快速的候选区提取。之后在所获得少量低分辨率候选区的引导下，提取原分辨率船只候选区域，采用基于混合决策模板进行候选区的可靠鉴别，保证了准确性，有效降低了港口的易混虚警干扰。这样一个非等粒度级联的处理架构，在不同分辨率下完成不同的算法步骤，处理数据量快速减少且逐步聚焦于船只区域，处理手段从图像的宏观结构特征逐步转换为复杂精细的船只特有辨识特征，实现了计算资源在算法层面的合理分配。相比于传统全图等计算粒度遍历进行靠岸船只检测的方法，极大提升了计算效率，同时保证了检测的高检测率及低虚警率。

(2)本发明在候选区筛选阶段采用全向交叉扫描的方法，该方法以快速易实现的纵-横交叉扫描方法获取单次扫描的结果。考虑到单次扫描难以适应船只泊港方式多变的实际应用特点，在单次扫描基础上，采用低间隔步长旋转图像进行一系列单次交叉扫描的策略(全向交叉扫描) 获取完备的候选取，该方法有效保证了候选区筛选阶段的低漏检。同时该方法无需先验GIS信息引导，就可实现不同复杂港口遥感场景中靠港船只候选区的有效筛选。

(3)本发明在候选区鉴别阶段，提出了一种基于混合模型决策的候选区鉴别方法。对每个候选区的鉴别，该方法首先基于DPM模型方法构建针对船舶整体、关键部位、以及局部上下文特征的三个子模型；并用决策模板的融合方法进行子模型判决结果的融合决策。该方法有效克服了传统分割类方法对码头或船体区域灰度及纹理差异性难以统一描述缺点、克服了传统模型类方法对目标部分遮挡、及上下文信息利用不充分的缺点。通过针对性子模型建模后融合决策的方法，实现了靠港船只候选区的准确鉴别。

Claims (3)

1.一种基于混合模型决策的遥感图像靠港船只检测方法，用于检测遥感图像靠港船只，包括以下步骤：

A)快速低漏检的候选区筛选，包括：

水体快速分割；

靠港疑似候选区的全向双维度交叉突异扫描提取；所述靠港疑似候选区的全向双维度交叉突异扫描提取，包括：

使用横向维度与纵向维度相结合的双维度交叉扫描方法对其进行筛选，

对水体快速分离后的二值图像，进行逐行逐列的横-纵扫描，取得二值图像中沿岸区域的像素位置，即沿岸区域像素位置前后两像素位置的特征不同；首先,使用双维度交叉突异扫描来判断，两个邻近的沿海位置像素之间的区域是否为陆地，然后把船舶疑似突异块和陆地间距中像素位置的特征都标记为F(x,y)＝2；

针对船头朝向的不同，进行基于双维度交叉扫描的全向旋转迭代的处理,将图像以指定角度{k₁,k₂,…,k_i}顺时针旋转，并对旋转了角度k_i的图像，进行双维度交叉扫描，将检测得到的疑似船舶逆时针旋转角度k_i，返回到疑似显著区域图像上，从而尽可能多地获取靠港疑似突异块；并对此类扫描结果进行累加，从而寻找到与平滑沿岸和水域相连接的疑似突异块，同时，计算疑似突异块的最小外接矩形，构建疑似突异块所在位置的疑似候选区，

鉴别候选区获取；

B)基于混合模型决策的候选区可靠鉴别,包括：

建立决策要素子模型，其中包括建立船舶关键部位子模型、船体子模型和船体-周域上下文关联子模型；所述建立创建决策要素子模型的步骤包括：

B1.1)构建和训练船舶关键部位与船体子模型

采用DPM模型，把每个DPM模型分为三个部分:一个根模型、一系列部件模型和一系列的空间位置模板；根模型定位候选区中疑似目标的大致位置；部件模型旨在确定候选区中疑似目标的精确信息；空间位置模板表示每个部件相对于其根位置的可能位置的变形花费，

B1.2)构建船体-周域上下文关联子模型

通过对候选区图像使用自适应分割方法得到二值图像，再根据竖直和水平对称轴将分割后的二值图均匀的划分为若干个方形小格标记为I₁,I₂,…,I_N；将小块中的水体区域标记为I'_k；获取I'_k的灰度值，并计算水域的灰度均值、标准差以及灰度共生矩阵；令F₁(I'_k),F₂(I'_k),…,F_M(I'_k)表示从第k个水体区域I'_k中提取的特征，M为特征的数目；把灰度均值与标准差特征表示为F₁(I'_k),F₂(I'_k)；从灰度共生矩阵中可提取2个派生参数，分别是：对比特征F₃(I'_k)，相关特性F₄(I'_k)，从而由每块水域都得到2维灰度类特征以及2维纹理类特征共4维灰度和纹理的邻域描述特征，

以

为除了水体区域I'_k外的其它水体区域所提取第i类特征F_i的平均值，DF(i,k)为标志在考虑特征类型F_i的情况下I'_k与其他水体区域的差异，则

其中，N表示所述方形小格的数量；

通过考虑候选区图像中每个方形小块中水体部分之间的灰度与纹理的特征类型，计算每个小块中水体的相似性，其定义为：

基于决策模板进行混合模型确定，其中包括：混合模型决策模板训练和基于混合模型决策模板的船舶目标确认。

2.根据权利要求1的检测方法，其特征在于：所述快速低漏检的候选区筛选包括：

A1)水体快速分割，包括：

对输入的大尺寸遥感图像进行采样，以提高水体分割效率，其中：分别取得采样港口图像中的灰度分布特征以及邻域方差的分布特征，根据这两个特征分布的尖峰特性，自适应获取其中水体区域的分割阈值，进而初步提取港内水体区域；

之后通过引入标记链接分量概念，根据包括形态、面积的特征判断，对初步提取的水域进行精细修正，从而实现水体与陆地的快速分离；

得到分割后的二值图像，所有像素位置I(x,y)的特征为F(x,y)，陆地区域像素位置的特征F(x,y)＝1，水体部分像素位置的特征F(x,y)＝0，

A3)获取鉴别候选区

取得疑似候选区，计算其中突异块的几何中心点位置O，同时寻找到疑似突异块上与中心位置距离最远点的位置A，

将几何中心点位置O和与中心位置距离最远点的位置A连接，其长度为l，计算OA方向与水平方向小于90°的夹角α；之后，将疑似候选区沿长轴方向分别向外延长

长度，形成新的矩形框；对输入的大场景遥感原图像根据夹角α进行旋转，取得旋转后原分辨率灰度图中新外接矩形框所在区域，将此区域作为疑似船舶所在候选区；在后续目标候选区鉴别阶段，将对此候选区内的疑似船舶进行精细判别。

3.根据权利要求1的检测方法，其特征在于：基于决策模板进行混合模型确定的步骤包括：

B2.2.1)混合模型决策模板训练，包括：

对得到的候选区，采用所述的船舶关键部位子模型、船体子模型和船体-周域上下文关联子模型进行独立判决，

将三种基本要素子模型的判决输出进行归一化到动态范围内，包括：

把上述船舶关键部位子模型、船体子模型和船体-周域上下文关联子模型表示为{D₁,D₂,D₃}，并将候选区中的疑似船舶目标划分为船舶目标和干扰虚警两类，并分别用w₁，w₂表示；

令训练某类w_j的样本集表示为Z_j＝{z_j,1,z_j,2,...,z_j,m,...,z_j,p}，对应其中的某个样本z_j,m，把其分类模型判决习惯用决策轮廓矩阵DP(z_m)来表征：

其中，d_i,j表示决策要素D_i对模式w_j作出的判决结果，(i＝1,2,3,j＝1,2)， 若判决标识与模式w_j越相似，则d_i,j就越接近1，反之d_i,j越接近0，

计算各模式类的决策模板DT，表示第j类模式的决策模板DT_j，是由该类模式所有的训练样本Z计算DP(z_j,m)后的平均得到，如下：

其中第j类模式的训练样本数表示为N_j，则由上式计算后可分别得到表示船舶模板DT₁以及虚警模板DT₂，

B2.2.2)基于混合模型决策模板的船舶目标确定

利用决策模板确定候选区中的船舶目标，包括：

对输入的候选区z_ROI计算其决策轮廓矩阵DP(z_ROI)其中，μj(z_ROI)定义为DP(z_ROI)与训练阶段得到的DT_j(j＝1,2)间的相似程度，以欧氏距离来计算：

其中，dt_j(i2,i1)是DT_j矩阵中的元素(i₂,i₁)，

当μ_k(z_ROI)是{μ₁(z_ROI),μ₂(z_ROI)}中的最小值时，就判别z_ROI为模式w_k，进而确定z_ROI是否为包含真实船只目标的候选区，

对包含真实船只目标的候选区，取得其中目标的最小外切矩形，在原分辨率图像中对船舶目标进行标记。

Images