CN105469390A - 一种基于改进Seam Carving的全景海天线提取方法 - Google Patents

Abstract

本发明属于全景可见光图像处理领域，具体涉及一种基于改进Seam？Carving的全景海天线提取方法。本发明包括：(1)获取全景海域图像的视觉显著图；(2)动态阈值法提取显著区域；(4)搜索最高能量线；(5)筛选海天线上的拟合点；(6)最小二乘法拟合全景海天线。本发明通过构造新的能量函数和设定海天线上点的筛选条件使其成功应用于全景海天线检测，能够在不同海况和天气条件下实现复杂海天背景下全景可见光图像中圆形海天线的准确提取。

Description

一种基于改进Seam Carving的全景海天线提取方法

技术领域

本发明属于全景可见光图像处理领域，具体涉及一种基于改进SeamCarving的全景海天线提取方法。

背景技术

我国具有绵长的海岸线和广阔的海洋领土，海洋维权执法及海上搜救任务繁重，大力开发先进的海域监控设备，研究海上目标检测方法具有重要的意义。与常规视觉系统视场较小不同，折反射全景视觉系统能够一次性获取水平方向360°、垂直方向大于180°范围内场景的图像，无需配备随动系统，无需安装多个视频监控摄像头就可以将监控地点周围的信息尽收眼底，满足了海洋环境下大范围远距离监控的需求，在海域监控领域具有广阔的应用前景。

在海洋监控领域，为了保证有足够的反应时间，一般要求在较远的距离下就能检测到舰船等目标。而海上远景目标一般最先出现在海天线上，提取海天线可以划定远景目标最初现身的潜在区域，在海天线区域检测海上远景小目标，可以抑制不必要的噪声干扰，同时大大缩减目标检测时间，提高检测效率，因此海天线提取是海上远景小目标检测的基础。

常规视觉系统采集的海天线呈一条直线，目前文献中的海天线提取算法均是针对直线海天线提出的。但折反射全景视觉系统基于双曲面折反射逆投影光学原理成像，双曲面反射镜的空间光域压缩效应导致海天线在全景可见光图像中呈近似圆形，而文献中可见的提取全景圆形海天线的方法很少。此外，全景视觉系统成像原理的特殊性，导致全景图像中除了包含场景环境信息外，还包括全景视觉系统(如保护罩、反射镜边框、摄像头及支架等设备)的成像，此外全景视觉系统通常安装在舰船或浮标上，故全景图像中还会包含船体或浮标成像。上述全景设备区成像增加了背景的复杂度，严重影响海天线提取的准确性，使其成为目标检测领域中具有挑战性的课题。

本发明首先采用频谱残差法得到全景海域图像的视觉显著图，进而使用动态阈值分割法消除全景设备区成像的不良影响，然后对原本用于图像缩放裁剪的SeamCarving方法进行改进，构造了新的能量函数来计算图像中各像素点的能量值，并采用动态规划技术搜索图像上最高能量线，最后在对最高能量线上的点进行筛选后利用最小二乘法拟合出全景海天线。该方法实现了复杂海天背景下全景可见光图像中圆形海天线的有效检测，检测效果可靠。

发明内容

本发明的目的在于提供一种基于改进SeamCarving的全景海天线提取方法。

本发明的目的是这样实现的：

包括如下步骤：

(1)获取全景海域图像的视觉显著图：

采集全景海域图像中全景设备区：采用频谱残差法来获得源图像的视觉显著图，利用视觉显著图得到全景设备区在图像中的位置：

(1.1)对全景图像I(x,y)进行傅里叶变换F[I(x,y)]，其中(x,y)表示图像中像素点的位置，将其转换到频率域；取变换后的振幅R(F[I(x,y)])和相位I(F[I(x,y)])，得到振幅谱A(f)和相位谱P(f)为：

A(f)＝R(F[I(x,y)])

P(f)＝I(F[I(x,y)])

(1.2)对振幅谱A(f)取对数，得到其对数谱L(f)，即

L(f)＝log(A(f))

由于对数曲线和自然图像的统计特性都符合1/f法则，故使用对数谱L(f)表示图像；

(1.3)用局部平均滤波器h_n(f)对对数谱进行平滑，得到对数谱的大致形状，其为图像的冗余信息，用V(f)表示，即

V(f)＝L(f)*h_n(f)

其中h_n(f)为滤波算子为：

(1.4)令R(f)为谱残差，则R(f)＝L(f)-V(f)，对谱残差R(f)和相位谱P(f)进行傅里叶反变换得到图像的视觉显著图S(x,y)，即

S(x,y)＝|F^-1{exp[R(f)+iP(f)]}|²；

(2)动态阈值法提取显著区域：

用阈值法分割步骤(1)得到的显著图S(x,y)，首先确定阈值；采用动态阈值的设置方法，设s(x,y)为显著图中像素点在(x,y)处的灰度值，则动态阈值T通过以下公式获取：

$T=\frac{\mathrm{\α}}{W\×H}\underset{x=0}{\overset{H-1}{\Σ}}\underset{y=0}{\overset{W-1}{\Σ}}s(x,y)$

其中：实数α为加权系数；W，H分别为显著图S(x,y)的宽度和高度；

利用动态阈值T对显著图进行分割的方法为：

Q(x,y)表示分割后的二值化图像，像素值为1的点是分割出来的全景设备区成像；

(3)构造能量函数：

设图像中全景相机固定设备中心为O，任一像素点为M，该像素点的梯度方向向量记为

$\stackrel{\→}{MN}={\left(\frac{\∂I}{\∂x},\frac{\∂I}{\∂y}\right)}^T$

当全景采集装置确定之后，全景相机固定设备的中心点O在图像中的位置不会改变，是一个确定的数据；因此构造新的能量函数为：

$e\left(I\right)=K|cos<\stackrel{\&RightArrow;}{MO},\stackrel{\&RightArrow;}{MN}>|\&CenterDot;\left(\left|\frac{\&part;I}{\&part;x}\right|+\left|\frac{\&part;I}{\&part;y}\right|\right)=K\left|\frac{\stackrel{\&RightArrow;}{MO}\&CenterDot;\stackrel{\&RightArrow;}{MN}}{\left|\stackrel{\&RightArrow;}{MO}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{MN}\right|}\right|\&CenterDot;\left(\left|\frac{\&part;I}{\&part;x}\right|+\left|\frac{\&part;I}{\&part;y}\right|\right)$

其中：实数K为加权系数且K＞1；

(4)搜索最高能量线：

(4.1)确定能量矩阵：

能量矩阵是与图像同等大小的矩阵，矩阵中的元素是图像中每一个像素点的能量值，获得能量矩阵的具体步骤为：

(4.1.1)遍历图像上的所有点，用能量函数e(I)计算每一个像素点的能量值，并把能量值存储于能量矩阵e(i,j)的相应位置，其中(i,j)表示矩阵中第i第j列的元素；

(4.1.2)根据步骤(2)分割出的全景设备干扰区，将能量矩阵中相应位置处的能量值设置为零；

(4.2)搜索竖直方向上最高能量线：

在竖直方向上搜索最高能量线的具体步骤为：

(4.2.1)计算累积能量矩阵：根据图像大小生成与之等大小的矩阵E(i,j)，称之为累积能量矩阵；其中矩阵E(i,j)的第一行为能量矩阵e(i,j)的第一行，从第二行开始，矩阵E(i,j)由以下递推公式获得，设全景图像大小为n×m，n和m分别表示图像的行数和列数，则有

E(i,j)＝e(i,j)+max{E(i-1,j-1),E(i-1,j),E(i-1,j+1)}，1≤i＜n，1≤j＜m；

(4.2.2)动态规划法搜索最高能量线：从累积能量矩阵E(i,j)最后一行的最大值位置出发，取该位置的前一行的相邻的三个像素点中累积能量值最大的那个像素点作为最高能量线在该行的位置点，重复进行递推到第一行，从而找到最高能量线在图像中的所有位置点，位置点的连线即为竖直方向上的最高能量线；

(4.3)搜索水平方向上的最高能量线：

采用与竖直方向类似的方法搜索水平方向上的最高能量线；

(5)筛选海天线上的拟合点：

从步骤(4)确定的两条最高能量线中筛选出海天线上的点，位于海天线上的拟合点满足以下两个条件：

(5.1)能量值条件：海天线上点的能量值应大于能量阈值，竖直和水平方向上的能量阈值确定方法是：

$T_k=\frac{{\mathrm{\&beta;}}_k}{N_k}\underset{(i,j)\&Element;A_k}{\&Sigma;}e(i,j),k=1,2$

其中：k＝1表示竖直方向，k＝2表示水平方向；T_k为能量阈值；A_k表示最高能量线，N_k为最高能量线上点的个数；实数β_i为加权系数且0＜β_i＜1；

(5.2)梯度方向条件：海天线上点的梯度方向与该点到全景设备中心O的夹角在±15°之间；

(6)最小二乘法拟合全景海天线：

采用最小二乘法对筛选出的拟合点进行椭圆拟合，提取出全景海天线。

本发明的有益效果在于：

在海域监控领域采用全景视觉系统，可以满足海洋环境下大视场、全范围、远距离监控的需求，有效减少监控设备数量、降低硬件成本，但该系统目前缺乏成熟的海天线及目标检测技术支持。本发明针对全景视觉系统采集到的近似圆形的海天线设计了一种基于改进SeamCarving的全景海天线提取方法，其中频谱残差法确定视觉显著图以及动态阈值法分割出全景设备干扰区等处理手段有效消除了全景设备区成像对海天线检测准确性的不良影响；在此基础上对原本用于图像缩放裁剪的SeamCarving方法进行改进，通过构造新的能量函数和设定海天线上点的筛选条件使其成功应用于全景海天线检测，能够在不同海况和天气条件下实现复杂海天背景下全景可见光图像中圆形海天线的准确提取。

附图说明

图1是全景海域图像示意图。

图2是构造的能量函数示意图。

图3是基于改进SeamCarving的全景海天线提取流程图。

具体实施方式

下面结合附图对本发明做进一步描述：

本发明提供的是一种基于全景视觉的海天线提取方法。全景海天线提取是全景海上远景小目标检测的重要基础，但一直缺乏有效的技术手段。针对这一现状，本发明提出了一种基于改进SeamCarving的全景圆形海天线提取方法。该方法首先采用频谱残差法得到全景海域图像的视觉显著图，进而使用动态阈值分割法提取出全景设备区成像，消除其对全景海天线检测准确性的不良影响；然后对原本用于图像缩放裁剪的SeamCarving方法进行改进，构造了新的能量函数来计算图像中各像素点的能量值，采用动态规划技术搜索图像上最高能量线，并设定了能量值条件和梯度方向条件对最高能量线上的点进行筛选；最后对筛选出的海天线上的离散点进行最小二乘拟合，成功提取出全景圆形海天线。该方法能够在不同海况和天气条件下实现复杂海天背景下全景可见光图像中的圆形海天线的准确提取，可应用于安装有全景视觉采集装置的海域目标监控系统，满足海监部门对我国海域实施巡航监视及海上搜救等方面的需求。

图1是全景海域图像示意图。其中1为全景采集设备反射镜边缘，2为天空区域，3为相机固定设备边缘，4为海面区域，5为船体及设备的成像，6为海天线，7为全景装置支架。图2是构造的能量函数示意图。其中O为相机固定设备中心，M为全景图像中的任一像素点，为像素点M的梯度方向向量。

基于改进SeamCarving的全景海天线提取方法，包括如下步骤：

(1)获取全景海域图像的视觉显著图

采集到的全景海域图像(如图1所示)中全景设备区成像比较明显，更能引起视觉注意，故本发明采用频谱残差法来获得源图像的视觉显著图进而利用视觉显著图得到全景设备区在图像中的位置。视觉显著图的获取步骤为：

1)对全景图像I(x,y)进行傅里叶变换F[I(x,y)]，其中(x,y)表示图像中像素点的位置，将其转换到频率域_。取变换后的振幅R(F[I(x,y)])和相位I(F[I(x,y)])，得到振幅谱A(f)和相位谱P(f)为：

A(f)＝R(F[I(x,y)])

P(f)＝I(F[I(x,y)])

2)对振幅谱A(f)取对数，得到其对数谱L(f)，即

L(f)＝log(A(f))

由于对数曲线和自然图像的统计特性都符合1/f法则，故使用对数谱L(f)表示图像。

3)用局部平均滤波器h_n(f)对对数谱进行平滑，得到对数谱的大致形状，其为图像的冗余信息，用V(f)表示，即

V(f)＝L(f)*h_n(f)

其中h_n(f)为滤波算子，可表示为：

4)令R(f)为谱残差，则R(f)＝L(f)-V(f)，对谱残差R(f)和相位谱P(f)进行傅里叶反变换就可得到图像的视觉显著图S(x,y)，即

S(x,y)＝|F^-1{exp[R(f)+iP(f)]}|²

(2)动态阈值法提取显著区域

用阈值法分割步骤(1)得到的显著图S(x,y)时，需要首先确定阈值。本发明采用动态阈值的设置方法，设s(x,y)为显著图中像素点在(x,y)处的灰度值，则动态阈值T可通过以下公式获取：

$T=\frac{\mathrm{\&alpha;}}{W\&times;H}\underset{x=0}{\overset{H-1}{\&Sigma;}}\underset{y=0}{\overset{W-1}{\&Sigma;}}s(x,y)$

其中：实数α为加权系数；W，H分别为显著图S(x,y)的宽度和高度。

利用动态阈值T对显著图进行分割的方法为：

Q(x,y)表示分割后的二值化图像，像素值为1的点是分割出来的全景设备区成像。

(3)构造能量函数

如图2所示，设图像中全景相机固定设备中心为O，任一像素点为M，该像素点的梯度方向向量记为

$\stackrel{\&RightArrow;}{MN}={\left(\frac{\&part;I}{\&part;x},\frac{\&part;I}{\&part;y}\right)}^T$

当全景采集装置确定之后，全景相机固定设备的中心点O在图像中的位置将不会改变，是一个确定的数据。因此构造新的能量函数为：

$e\left(I\right)=K|cos<\stackrel{\&RightArrow;}{MO},\stackrel{\&RightArrow;}{MN}>|\&CenterDot;\left(\left|\frac{\&part;I}{\&part;x}\right|+\left|\frac{\&part;I}{\&part;y}\right|\right)=K\left|\frac{\stackrel{\&RightArrow;}{MO}\&CenterDot;\stackrel{\&RightArrow;}{MN}}{\left|\stackrel{\&RightArrow;}{MO}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{MN}\right|}\right|\&CenterDot;\left(\left|\frac{\&part;I}{\&part;x}\right|+\left|\frac{\&part;I}{\&part;y}\right|\right)$

其中：实数K为加权系数且K＞1。

(4)搜索最高能量线

1)确定能量矩阵

能量矩阵是与图像同等大小的矩阵，矩阵中的元素是图像中每一个像素点的能量值。获得能量矩阵的具体步骤为：

a.遍历图像上的所有点，用能量函数e(I)计算每一个像素点的能量值，并把能量值存储于能量矩阵e(i,j)的相应位置，其中(i,j)表示矩阵中第i第j列的元素。

b.根据步骤(2)分割出的全景设备干扰区，将能量矩阵中相应位置处的能量值设置为零。

2)搜索竖直方向上最高能量线

在竖直方向上搜索最高能量线的具体步骤为：

a.计算累积能量矩阵。根据图像大小生成与之等大小的矩阵E(i,j)，称之为累积能量矩阵。其中矩阵E(i,j)的第一行为能量矩阵e(i,j)的第一行，从第二行开始，矩阵E(i,j)由以下递推公式获得，设全景图像大小为n×m，n和m分别表示图像的行数和列数，则有

E(i,j)＝e(i,j)+max{E(i-1,j-1),E(i-1,j),E(i-1,j+1)}，1≤i＜n，1≤j＜m

b.动态规划法搜索最高能量线。从累积能量矩阵E(i,j)最后一行的最大值位置出发，取该位置的前一行的相邻的三个像素点中累积能量值最大的那个像素点作为最高能量线在该行的位置点，这样重复下去，一直递推到第一行，从而就找到最高能量线在图像中的所有位置点，这些位置点的连线即为竖直方向上的最高能量线。

3)搜索水平方向上的最高能量线

采用与竖直方向类似的方法搜索水平方向上的最高能量线。

(5)筛选海天线上的拟合点

从步骤(4)确定的两条最高能量线中筛选出海天线上的点，位于海天线上的拟合点应满足以下两个条件：

1)能量值条件。海天线上点的能量值应大于能量阈值，竖直和水平方向上的能量阈值确定方法是：

$T_k=\frac{{\mathrm{\&beta;}}_k}{N_k}\underset{(i,j)\&Element;A_k}{\&Sigma;}e(i,j),k=1,2$

其中：k＝1表示竖直方向，k＝2表示水平方向；T_k为能量阈值；A_k表示最高能量线，N_k为最高能量线上点的个数；实数β_i为加权系数且0＜β_i＜1。

2)梯度方向条件。海天线上点的梯度方向与该点到全景设备中心O的夹角在±15°之间。

(6)最小二乘法拟合全景海天线

采用最小二乘法对筛选出的拟合点进行椭圆拟合，提取出全景海天线。

随着国民经济的发展，运输船舶的数量、种类急剧增加，船舶交通流量随之增大，交通事故屡发，导致海上搜救工作任务艰巨；此外，我国具有绵长的海岸线和广阔的海洋国土，面对种类繁多的海上侵权行为，海上维权执法工作艰巨而繁重。因此，大力开发先进的海域监控设备，继而研究相应的海域目标检测算法具有理论意义和现实意义。将折反射全景视觉系统应用于海域监控领域，可以充分利用其“水平视场无死角，成像一体化、360度大视场、旋转不变性”等优点，实现海洋环境下的大视场、远距离视频监控，对提高监控效果、减少设备数量、缩减花费成本、降低劳动强度有着重要的实际应用价值；而研究基于全景视觉的海天线提取算法以及海天线区域的远景目标检测方法，从而为全景视觉系统在海域监控领域的应用提供技术支持，对提高区域监控和防御能力具有重要的价值。现有海天线提取方法基本都是针对常规视觉系统采集的直线型海天线提出的，其中又以检测红外图像中的直线型海天线居多，而本发明针对全景视觉系统采集的全景可见光图像中的近似圆形的海天线提出了一种基于改进SeamCarving的全景海天线提取方法，实现不同海况和天气条件下圆形海天线的精确检测。

本发明的步骤如下：

步骤1、获取全景海域图像的视觉显著图。由于全景海域图像中的全景视觉采集装置以及船体设备成像比较明显，更易引起视觉注意，故采用计算效率比较高的频谱残差法来获取源图像的视觉显著图，目的是利用视觉显著图确定全景设备区成像在图像中的位置。

步骤2、动态阈值法提取显著区域。用阈值法分割视觉显著图，提取全景设备干扰区。由于固定阈值对不同图像的适用性不好，故确定阈值时采用动态阈值设置方法。

步骤3、构造能量函数。构造梯度算子结合梯度方向因子的能量函数，目的是提高海天线上像素点的能量值，使得基于SeamCarving原理搜索图像中的最高能量线时，更容易收敛到海天线上。

步骤4、搜索最高能量线。计算全景图像中每一个像素点的能量值，然后去除干扰点的影响，生成与图像同等大小的能量矩阵；在此基础上计算累积能量矩阵，并采用动态规划方法在竖直方向和水平方向上分别搜索图像的最高能量线。

步骤5、筛选海天线上的拟合点。为了从最高能量线中筛选出真正位于海天线上的点，根据全景海天线的特点，设置能量值条件和梯度方向条件，同时满足这两个条件的像素点才会被选中，作为海天线上的拟合点。

步骤6、最小二乘法拟合全景海天线。全景海天线是一条近似圆形的闭合二次曲线，利用步骤5得到的海天线上的离散拟合点，采用最小二乘法进行椭圆拟合，实现对全景海天线的有效提取。

实施例：

1.频谱残差法获取全景海域图像的视觉显著图

SeamCarving算法是一种用于图像缩放裁剪的方法，其通过搜索最低能量线，并不断删除图像中的最低能量线来实现图像的缩放。而在本发明中，相对于天空和海面区域，全景海天线上边缘点的梯度幅值相对较大，即能量值相对较大，因此受到SeamCarving算法原理的启发，本发明需要搜索的是图像中的最高能量线，在不考虑干扰的情况下，最高能量线就是全景海天线。但在全景海域图像中，除了海面和天空区域外，还存在许多干扰信息，主要包括全景视觉采集装置和船体等设备区成像等。而这些设备干扰区域包含大量的边缘信息，相对于这些干扰区域的能量值，海天线的能量值又相对较小，这就需要在设法提高海天线上边缘点的能量值的同时，尽量消除全景设备区干扰的影响。

由于全景图像中船体等设备区成像比较明显，更易引起视觉注意，故本发明采用计算效率比较高的频谱残差法来获得源图像的视觉显著图，进而利用视觉显著图得到全景设备区在图像中的位置。视觉显著图的获取步骤为：

1)对全景图像I(x,y)进行傅里叶变换F[I(x,y)]，其中(x,y)表示图像中像素点的位置，将其转换到频率域。取变换后的振幅R(F[I(x,y)])和相位I(F[I(x,y)])，得到振幅谱A(f)和相位谱P(f)为：

A(f)＝R(F[I(x,y)])(1)

P(f)＝I(F[I(x,y)])(2)

2)对振幅谱A(f)取对数，得到其对数谱L(f)，即

L(f)＝log(A(f))(3)

由于对数曲线和自然图像的统计特性都符合1/f法则，故使用对数谱L(f)表示图像。

3)用局部平均滤波器h_n(f)对对数谱L(f)进行平滑，得到对数谱的大致形状。由信息论可知，其为图像的冗余信息，用V(f)表示，即

V(f)＝L(f)*h_n(f)(4)

其中h_n(f)为滤波算子，可表示为：

在本发明中，取n＝3。

4)令R(f)为谱残差，则R(f)＝L(f)-V(f)，对谱残差R(f)和相位谱P(f)进行傅里叶反变换就可得到图像的显著信息S(x,y)，即

S(x,y)＝|F^-1{exp[R(f)+iP(f)]}|²(6)

2.采用动态阈值法提取显著区域，确定全景设备区位置

在用阈值法分割步骤1得到的视觉显著图时，需要首先确定阈值。由于固定阈值对不同的图像适用性不好，故本发明采用动态阈值设置方法。设s(x,y)为显著图中像素点在(x,y)处的灰度值，则阈值T通过以下公式获取：

$T=\frac{\mathrm{\&alpha;}}{W\&times;H}\underset{x=0}{\overset{H-1}{\&Sigma;}}\underset{y=0}{\overset{W-1}{\&Sigma;}}s(x,y)---\left(7\right)$

其中：实数α为加权系数，本发明取α＝1.2；W，H分别为显著图的宽度和高度。

利用式(7)得到动态阈值T之后，对视觉显著图进行分割，灰度值大于阈值T的像素点被认为是全景设备区成像，其像素值置为1，其它点置为0，从而得到分割后的二值化图像Q(x,y)为：

3.构造能量函数

步骤2中，绝大部分全景设备区已经在二值化后的视觉显著图Q(x,y)中被明显地标记了出来，其对海天线检测准确性的不良影响在很大程度上得以消除。但仍存在少量漏检区域，但由于全景图像中海天线的能量值相对较小，容易受到少量漏检的干扰信息的影响，因此为了能更准确地提取海天线，需要构造新的能量函数表示形式，从而设法提高海天线上像素点的能量值。

在全景海域图像中，海天线上点的梯度方向是有规律可循的，在理想情况下，全景海天线呈圆形，其圆心与全景相机固定设备的中心O重合，海天线边缘点的梯度方向应指向圆心(即指向全景相机固定设备的中心O)；而船体设备等干扰边缘点的梯度方向一般是杂乱无章的，其梯度方向一般不指向全景设备的中心O。但实际上风浪会引起船体晃动，导致采集到的全景图像中海天线呈近似圆形，其圆心会略微偏离全景相机固定设备的中心，海天线上点的梯度方向只能近似指向全景设备的中心O。但是相比于干扰边缘点的梯度方向，海天线上点的梯度方向与该点到全景设备中心O所形成向量之间的夹角，仍然会小于干扰边缘点的梯度方向与该干扰点到全景设备中心O所形成向量之间的夹角。

基于这一特点，本发明构造了一种梯度算子结合梯度方向因子的能量函数。如图2所示，设图像中全景相机固定设备中心点O，任一像素点为M，该像素点的梯度方向向量记为则

$\stackrel{\&RightArrow;}{MN}={\left(\frac{\&part;I}{\&part;x},\frac{\&part;I}{\&part;y}\right)}^T---\left(9\right)$

当全景采集装置确定之后，全景设备中心O在图像中的位置将不会改变。因此构造新的能量函数为：

$e\left(I\right)=K|cos<\stackrel{\&RightArrow;}{MO},\stackrel{\&RightArrow;}{MN}>|\&CenterDot;\left(\left|\frac{\&part;I}{\&part;x}\right|+\left|\frac{\&part;I}{\&part;y}\right|\right)=K\left|\frac{\stackrel{\&RightArrow;}{MO}\&CenterDot;\stackrel{\&RightArrow;}{MN}}{\left|\stackrel{\&RightArrow;}{MO}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{MN}\right|}\right|\&CenterDot;\left(\left|\frac{\&part;I}{\&part;x}\right|+\left|\frac{\&part;I}{\&part;y}\right|\right)---\left(10\right)$

其中：实数K为加权系数且K＞1，这里取K＝2。通过加权系数K的选取，使得海天线上边缘点的能量值和船体等干扰设备边缘点的能量值之间的差值变大，从而使得利用SeamCarving原理搜索图像中的最高能量线时，更容易收敛到海天线上。

4.动态规划法搜索最高能量线

利用新的能量函数计算能量矩阵，继而利用动态规划方法搜索最高能量线。

(1)确定能量矩阵

寻找最高能量线，即寻找所有缝合线(即Seam线)上具有能量和最高值的Seam线，因此必须首先得到全景图像中每一个像素点的能量值，即生成与图像同等大小的能量矩阵。获得能量矩阵的具体步骤为：

1)遍历图像上的所有点，按式(10)计算每一个像素点的能量值，并把能量值存储于能量矩阵e(i,j)的相应位置，其中(i,j)表示矩阵中第i第j列的元素。

2)去除全景设备区干扰点的影响，即根据步骤2分割出的全景设备干扰区位置，将能量矩阵中相应位置处的能量值设置为零。

(2)搜索竖直方向上的最高能量线

计算出全景图像的能量矩阵后，利用SeamCarving原理通过搜索最高能量线来检测全景海天线。由于全景海天线近似圆形，故在竖直方向和水平方向上分别搜索图像的最高能量线，使其尽可能多地收敛到海天线上。

在竖直方向上搜索最高能量线的具体步骤为：

1)计算累积能量矩阵。在获得到图像的能量矩阵之后，需要对能量进行全局累积。其方法是根据图像大小生成与之等大小的累积能量矩阵E(i,j)，矩阵E(i,j)的第一行为能量矩阵e(i,j)的第一行，从第二行开始，矩阵E(i,j)由以下递推公式获得，设全景图像的大小为n×m，n和m分别表示图像的行数和列数，则有

E(i,j)＝e(i,j)+max{E(i-1,j-1),E(i-1,j),E(i-1,j+1)}，1≤i＜n，1≤j＜m(11)

2)动态规划法搜索最高能量线。从累积能量矩阵E(i,j)最后一行的最大值位置出发，取该位置的前一行的相邻的三个像素点中累积能量值最大的那个像素点作为最高能量线在该行的位置点，这样重复下去，一直递推到第一行，从而就找到最高能量线在图像中的所有位置点，这些位置点的连线形成了一条贯穿图像顶端和底端的Seam线，即为竖直方向上的最高能量线。

(3)搜索水平方向上的最高能量线

采用与竖直方向类似的方法搜索水平方向上的最高能量线。

5.利用能量值条件和梯度方向条件筛选海天线上的拟合点

利用上述改进SeamCarving方法搜索出的最高能量线，已经很好地收敛到了海天线上，但由于最高能量线是贯穿整幅图像的像素点集，而海天线并没有贯穿整幅图像(如图1所示)，故最高能量线上必然有一部分点并不是海天线上的点，因此不能直接用最高能量线上的所有离散点直接拟合海天线。为了更准确地拟合全景海天线，需要把真正的海天线上的点筛选出来，海天线上的边缘点应该同时满足以下两个条件：

(1)能量值条件。在最高能量线上，由于海天线是海面和天空的交界线，因此海天线上的边缘点的能量值比其它非海天线上的点的能量值要大得多，可设置合适的能量阈值来筛选海天线上的点，海天线上点的能量值应大于能量阈值。竖直和水平方向上的能量阈值T_k的确定方法是：

$T_k=\frac{{\mathrm{\&beta;}}_k}{N_k}\underset{(i,j)\&Element;A_k}{\&Sigma;}e(i,j),k=1,2---\left(12\right)$

其中：k＝1表示竖直方向，k＝2表示水平方向；A_k表示最高能量线，N_k为最高能量线上点的个数；实数β_i为加权系数且0＜β_i＜1，这里取β_i＝0.8。

(2)梯度方向条件。由于海天线上点的梯度方向是近似指向全景设备中心O的，故海天线上点的梯度方向与该点到全景设备中心O所形成的向量之间的夹角相对较小。海天线上的点应满足梯度方向条件，即海天线上点的梯度方向与该点到全景设备中心O所形成的向量之间的夹角在±15°之间。

6.最小二乘法拟合全景海天线

利用步骤5筛选出真正位于海天线上的点后，采用最小二乘法对筛选出的离散点进行椭圆拟合，有效提取出全景海天线。

Claims (1)

1.一种基于改进SeamCarving的全景海天线提取方法，其特征在于，包括如下步骤：

(1)获取全景海域图像的视觉显著图：

采集全景海域图像中全景设备区：采用频谱残差法来获得源图像的视觉显著图，利用视觉显著图得到全景设备区在图像中的位置：

(1.1)对全景图像I(x,y)进行傅里叶变换F[I(x,y)]，其中(x,y)表示图像中像素点的位置，将其转换到频率域；取变换后的振幅R(F[I(x,y)])和相位I(F[I(x,y)])，得到振幅谱A(f)和相位谱P(f)为：

A(f)＝R(F[I(x,y)])

P(f)＝I(F[I(x,y)])

(1.2)对振幅谱A(f)取对数，得到其对数谱L(f)，即

L(f)＝log(A(f))

由于对数曲线和自然图像的统计特性都符合1/f法则，故使用对数谱L(f)表示图像；

(1.3)用局部平均滤波器h_n(f)对对数谱进行平滑，得到对数谱的大致形状，其为图像的冗余信息，用V(f)表示，即

V(f)＝L(f)*h_n(f)

其中h_n(f)为滤波算子为：

(1.4)令R(f)为谱残差，则R(f)＝L(f)-V(f)，对谱残差R(f)和相位谱P(f)进行傅里叶反变换得到图像的视觉显著图S(x,y)，即

S(x,y)＝|F^-1{exp[R(f)+iP(f)]}|²；

(2)动态阈值法提取显著区域：

用阈值法分割步骤(1)得到的显著图S(x,y)，首先确定阈值；采用动态阈值的设置方法，设s(x,y)为显著图中像素点在(x,y)处的灰度值，则动态阈值T通过以下公式获取：

$T=\frac{\mathrm{\&alpha;}}{W\&times;H}\underset{x=0}{\overset{H-1}{\&Sigma;}}\underset{y=0}{\overset{W-1}{\&Sigma;}}s(x,y)$

其中：实数α为加权系数；W，H分别为显著图S(x,y)的宽度和高度；

利用动态阈值T对显著图进行分割的方法为：

Q(x,y)表示分割后的二值化图像，像素值为1的点是分割出来的全景设备区成像；

(3)构造能量函数：

设图像中全景相机固定设备中心为O，任一像素点为M，该像素点的梯度方向向量记为

$\stackrel{\&RightArrow;}{MN}={(\frac{\&part;I}{\&part;x},\frac{\&part;I}{\&part;y})}^T$

当全景采集装置确定之后，全景相机固定设备的中心点O在图像中的位置不会改变，是一个确定的数据；因此构造新的能量函数为：

$e\left(I\right)=K|cos<\stackrel{\&RightArrow;}{MO},\stackrel{\&RightArrow;}{MN}>|\&CenterDot;\left(\left|\frac{\&part;I}{\&part;x}\right|+\left|\frac{\&part;I}{\&part;y}\right|\right)=K\left|\frac{\stackrel{\&RightArrow;}{MO}\&CenterDot;\stackrel{\&RightArrow;}{MN}}{\left|\stackrel{\&RightArrow;}{MO}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{MN}\right|}\right|\&CenterDot;\left(\left|\frac{\&part;I}{\&part;x}\right|+\left|\frac{\&part;I}{\&part;y}\right|\right)$

其中：实数K为加权系数且K＞1；

(4)搜索最高能量线：

(4.1)确定能量矩阵：

能量矩阵是与图像同等大小的矩阵，矩阵中的元素是图像中每一个像素点的能量值，获得能量矩阵的具体步骤为：

(4.1.1)遍历图像上的所有点，用能量函数e(I)计算每一个像素点的能量值，并把能量值存储于能量矩阵e(i,j)的相应位置，其中(i,j)表示矩阵中第i第j列的元素；

(4.1.2)根据步骤(2)分割出的全景设备干扰区，将能量矩阵中相应位置处的能量值设置为零；

(4.2)搜索竖直方向上最高能量线：

在竖直方向上搜索最高能量线的具体步骤为：

(4.2.1)计算累积能量矩阵：根据图像大小生成与之等大小的矩阵E(i,j)，称之为累积能量矩阵；其中矩阵E(i,j)的第一行为能量矩阵e(i,j)的第一行，从第二行开始，矩阵E(i,j)由以下递推公式获得，设全景图像大小为n×m，n和m分别表示图像的行数和列数，则有

E(i,j)＝e(i,j)+max{E(i-1,j-1),E(i-1,j),E(i-1,j+1)}，1≤i＜n，1≤j＜m；

(4.2.2)动态规划法搜索最高能量线：从累积能量矩阵E(i,j)最后一行的最大值位置出发，取该位置的前一行的相邻的三个像素点中累积能量值最大的那个像素点作为最高能量线在该行的位置点，重复进行递推到第一行，从而找到最高能量线在图像中的所有位置点，位置点的连线即为竖直方向上的最高能量线；

(4.3)搜索水平方向上的最高能量线：

采用与竖直方向类似的方法搜索水平方向上的最高能量线；

(5)筛选海天线上的拟合点：

从步骤(4)确定的两条最高能量线中筛选出海天线上的点，位于海天线上的拟合点满足以下两个条件：

(5.1)能量值条件：海天线上点的能量值应大于能量阈值，竖直和水平方向上的能量阈值确定方法是：

$T_k=\frac{{\mathrm{\&beta;}}_k}{N_k}\underset{\left(i,j\right)\&Element;A_k}{\&Sigma;}e(i,j),k=1,2$

其中：k＝1表示竖直方向，k＝2表示水平方向；T_k为能量阈值；A_k表示最高能量线，N_k为最高能量线上点的个数；实数β_i为加权系数且0＜β_i＜1；

(5.2)梯度方向条件：海天线上点的梯度方向与该点到全景设备中心O的夹角在±15°之间；

(6)最小二乘法拟合全景海天线：

采用最小二乘法对筛选出的拟合点进行椭圆拟合，提取出全景海天线。