CN106815553A - 一种基于边缘匹配的红外前视图像舰船检测方法 - Google Patents

Abstract

本发明公开了一种基于边缘匹配的红外前视图像舰船检测方法，根据光学遥感图像建立港口先验模板图；根据飞行器返回的高度，俯仰角，滚转角，偏航角对模板图进行透视变换；对透视变换后的模板图和红外前视图分别提取边缘；模板边缘图和前视边缘图匹配，获得初始匹配位置；考虑到飞行器高度和姿态参数存在误差，提出局部精匹配方法进行精确定位和旋转角补偿；根据位置、旋转角度及模板信息确定前视图中的陆地区域和海域，对红外前视图的海域进行分割；对分割后的前视图进行斜矩形标记，获得初始疑似舰船目标；对初始疑似舰船目标进行并靠船分离、多特征检测排除虚警，获取舰船目标，可以适用于复杂港口背景下中低分辨率红外前视图中的舰船检测。

Description

一种基于边缘匹配的红外前视图像舰船检测方法

技术领域

本发明属于异源图像匹配、目标检测、红外图像处理技术领域，更具体地，涉及一种基于边缘匹配的红外前视图像舰船检测方法。

背景技术

舰船作为主要的海上运输载体，在民用和军用上发挥着至关重要的作用，舰船目标检测具有重要的战略意义。目前，舰船检测的研究主要集中在海面背景下高分辨率光学遥感图像中的舰船检测，现有的舰船检测算法在复杂港口背景下中低分辨率红外前视图中的舰船检测中存在一定的局限性。

在复杂港口背景下红外前视图中的舰船检测存在以下难点：(1)港口停泊的舰船与其相邻陆地有相似的灰度信息，直接分割不能达到将舰船与背景分离的目的。(2)舰船与陆地粘连，无法通过对船的特征进行学习来检测靠岸船只。(3)陆地背景复杂，直接对图像提取角点进行舰船检测，难以排除陆地部分的干扰。(4)红外图像相对于可见光图像，分辨率较低，舰船特征不明显。(5)常用的Hausdorff距离匹配算法进行港口检测定位精度不高，应用于高空低分辨率的红外前视图像中，定位误差严重影响到靠岸舰船检测。

因此，提供一种能够适用于复杂港口背景下中低分辨率红外前视图中的舰船检测方法是业界亟需解决的难题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于边缘匹配的红外前视图像舰船检测方法，将先验地理信息模板与红外前视图进行边缘匹配，获取红外前视图在模板中的位置，即获取红外前视图中陆地和海域的分布信息，然后进行图像分割，只对海域部分进行分割，排除陆地部分干扰，避免分割后出现陆地与舰船粘连的情况，最后对分割图像进行斜矩形标记、便于舰船去虚警操作，获取舰船目标。由此解决现有技术中舰船检测算法应用到复杂港口背景下中低分辨率红外前视图中存在一定局限性的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于边缘匹配的红外前视图像舰船检测方法，包括：

(1)：将光学遥感图像进行二值化处理，沿港口勾勒，绘制成陆地区域为黑色，海域为白色的港口先验地理信息模板图；

(2)：根据飞行器返回的高度、俯仰角、滚转角以及偏航角对港口先验地理信息模板图进行透视变换，得到与飞行器拍摄的红外前视图同一尺度和视角下的模板图像；

(3)：对透视变换后的模板图像进行边缘提取得到模板边缘图，对红外前视图进行边缘提取得到前视边缘图；

(4)：将模板边缘图与前视边缘图进行匹配，获取前视边缘图在模板边缘图中的位置R和旋转角度N；

(5)：将透视变换后的模板图像旋转N度，以位置R为中心在透视变换后的模板图像中截取与红外前视图相同大小的图像，将截取后的图像中黑色部分对应的红外前视图中的区域作为红外前视图的陆地部分，将截取后的图像中白色部分对应的红外前视图中的区域作为红外前视图的海域部分，并对红外前视图中的海域部分进行分割；

(6)：对分割后的红外前视图进行斜矩形标记，获得初始疑似舰船目标；

(7)：对初始疑似舰船目标进行并靠船分离；

(8)：对斜矩形标记区域进行多特征检测，排除虚警，获取最终舰船目标。

优选地，步骤(4)具体包括以下子步骤：

(4.1)：将前视边缘图按照第一预设的匹配步长以及第一预设的邻域搜索范围在模板边缘图中进行粗匹配，得到初始匹配位置；

(4.2)：将前视边缘图按照第二预设的匹配步长以及第二预设的邻域搜索范围在模板边缘图中以初始匹配位置为中心半径为n的邻域内进行精匹配，在精匹配的同时对模板边缘图进行旋转，修正角度误差，获取最佳匹配位置和最佳旋转角度作为前视边缘图在模板边缘图中的位置R和旋转角度N，其中，n为预设值，第一预设的匹配步长大于第二预设的匹配步长，第一预设的邻域搜索范围大于第二预设的邻域搜索范围，第二预设的匹配步长为1，第二预设的邻域搜索范围为0或1。

优选地，步骤(4.2)具体包括以下子步骤：

(4.2.1)：将前视边缘图按照第二预设的匹配步长以及第二预设的邻域搜索范围在模板边缘图中以初始匹配位置为中心半径为n的邻域内进行一次匹配计算，得到初始旋转角度为0的相似性测度值P₀以及匹配位置R₀；

(4.2.2)：分别按正方向1°和负方向1°旋转模板边缘图，重复步骤(4.2.1)得到旋转角度为+1°的相似性测度值P₊₁、匹配位置R₊₁以及旋转角度为-1°的相似性测度值P_-1、匹配位置R_-1，比较P₀、P₊₁、P_-1的大小，若P₀为最大值，则旋转角度为0的模板边缘图为最佳匹配，匹配位置为R₀，精匹配结束，若P₊₁为最大值，则将旋转方向记为正，继续执行步骤(4.2.3)，若P_-1为最大值，则将旋转方向记为负，继续执行步骤(4.2.3)；

(4.2.3)：按照标记的旋转方向继续对模板边缘图进行旋转，每次旋转1°，在P_n+1<P_n时，则旋转角度为n°时为最佳匹配，匹配位置为R_n，精匹配结束，其中P_n+1表示旋转角度为(n+1)°时的相似性测度值，P_n表示旋转角度为n°时的相似性测度值。

优选地，步骤(6)具体包括以下子步骤：

(6.1)对分割后的红外前视图进行连通域标记，获取正矩形标记框；

(6.2)对每个正矩形标记框内的图像进行边缘提取；

(6.3)对每个正矩形标记框内经过边缘提取的边缘图进行Hough变换，提取最长的一条直线的斜率，即为舰船长轴的斜率；

(6.4)取与舰船长轴的斜率对应的一条直线和该直线的法线，在正矩形标记框内平移，求直线分别与连通域边界的交线，构成斜矩形，即为斜矩形标记框；

(6.5)将所有斜矩形标记框确定的区域作为初始疑似舰船目标。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要有以下的技术优点：

(1)采用基于梯度强度和梯度方向的匹配相似性测度，能减少匹配时陆地部分边缘信息的干扰，匹配精度高。

(2)针对舰船检测中模板边缘图与前视边缘图的特点，对匹配算法的搜索策略进行改进，提高了匹配速度。

(3)考虑到飞行器高度和姿态参数存在误差，提出局部精匹配方法进行精确定位和旋转角补偿，使匹配更精确。

(4)舰船检测流程简易，其中所用到的各种算法计算复杂度不高，易于硬件移植。

(5)提出了一种斜矩形标记方法，能在舰船目标有多余部分粘连时仍能标记出平行于舰船长宽轴的斜矩形，便于舰船去虚警和特征参数计算。

附图说明

图1为本发明实施例公开的一种基于边缘匹配的红外前视图像舰船检测方法的流程示意图；

图2(a)为光学遥感图像；

图2(b)为与光学遥感图像对应的港口先验地理信息模板图；

图3为本发明实施例公开的一种透视变换示意图；

图4为本发明实施例公开的一种斜矩形标记示意图；

图5为本发明实施例公开的一种排除虚警的方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1为本发明实施例公开的一种基于边缘匹配的红外前视图像舰船检测方法的流程示意图，在图1所示的方法中包括以下步骤：

S1：模板制备：将光学遥感图像进行二值化处理，沿港口勾勒，绘制成陆地区域为黑色，海域为白色的港口先验地理信息模板图；

其中，光学遥感图像来源于Google Earth或者其他途径，一般取2000m～5000m高度下正视港口图像。模板制备用Photoshop或其他绘图软件，将光学遥感图像沿港口勾勒，绘制成陆地区域为黑色，海域为白色的二值图。光学遥感图像如图2(a)所示，与光学遥感图像对应的港口先验地理信息模板图如图2(b)所示。

S2：透视变换：根据飞行器返回的高度、俯仰角、滚转角以及偏航角对港口先验地理信息模板图进行透视变换，得到与飞行器拍摄的红外前视图同一尺度和视角下的模板图像；

其中，飞行器上的红外成像传感器的光轴指向与大地水平面之间的夹角为成像俯仰角，与计划航线偏离的角度为偏航角，红外成像传感器沿纵轴转过的角度为滚转角。透视变换示意图如图3所示，P表示飞行器上红外成像传感器，其在地面上的投影点为P’，高度为h；α，θ，γ分别表示飞行的偏航角，俯仰角和滚转角；已知红外成像传感器的参数，COL为实时成像列数，ROW为实时成像行数，Ф和分别表示红外成像传感器纵向(即X轴方向)视场角和横向(即Y轴方向)视场角。

假设O点为飞行器光轴瞄准点，其在地面坐标系对应的位置为(x₀，y₀)，光轴瞄准点在实时成像图的中心位置，像素点坐标为(COL/2，ROW/2)。地面上成像区域内任意一点T在地面坐标系位置为(x_T，y_T)，在红外成像传感器的实时图像中对应位置为(C_T，R_T)，则其对应的纵向视场角和横向视场角分别为：

其中，C为实时成像列数，R为实时成像行数。

图3中T’是T在OP’上的投影点，O与T之间的纵向垂直距离OT’为：

横向垂直距离TT'：

其中，

则可以计算点T在地面坐标系中的位置(x_T，y_T)为：

x_T＝x₀+OT'sinα-TT'cosα

y_T＝y₀+OT'cosα+TT'sinα

根据以上等式就可以求出港口先验地理信息模板图上任意一点(x_T，y_T)与红外前视图中对应点(C_T，R_T)的关系，将港口先验地理信息模板图变换到与红外前视图同一尺度和视场角下。

S3：边缘提取：对透视变换后的模板图像进行边缘提取得到模板边缘图，对红外前视图进行边缘提取得到前视边缘图；

对红外前视图进行边缘提取，先经过中值滤波去除噪声，再用Sobel梯度算子对滤波后的图像进行运算生成梯度图，得到每个像素点的梯度信息(包括幅值和方向)，最后对梯度图进行Otus图像分割，即得到红外前视图的二值边缘图。

S4：将模板边缘图与前视边缘图进行匹配，获取前视边缘图在模板边缘图中的位置R和旋转角度N；

其中，匹配算法主要包括以下三个方面：

a)匹配算法流程

前视边缘图在模板边缘图上按设定的步长滑动遍历。每移动一个步长，计算前视边缘图上与当前覆盖区域下的模板边缘图的相似性测度，取相似性测度最大的位置为最佳匹配点。

b)匹配相似性测度

前视边缘图每移动一个步长都要进行匹配相似性测度计算。逐行逐列遍历当前覆盖区域下的模板边缘图上是否存在边缘点，如果存在边缘点P_i，在前视边缘图对应位置的设定的邻域范围内寻找最近边缘点，计算两边缘点的投影值，记为当前模板边缘点P_i对应的投影值Projection_i。投影值计算公式如下：

其中表示前视边缘图边缘点Q_i的梯度幅值，表示边缘点Q_i的梯度方向，和均由Sobel算子计算得到。表示模板边缘点的梯度方向，可以通过在P_i点的邻域内拟合直线，计算直线的法方向得到计算覆盖的模板区域内每个边缘点P_i的投影值Projection_i，获得当前位置的累计投影值ΣProjection_i，则ΣProjection_i即为匹配相似性测度。

c)匹配算法优化加速

匹配过程中需要前视边缘图在模板边缘图上按设定步长遍历，并计算每个位置的相似性测度，耗时巨大。因此在匹配策略上进行了算法优化加速。前视边缘图每移动一个步长，就要对覆盖的模板边缘图上的区域重新遍历寻找边缘点，然后在前视边缘图上搜索对应边缘点，存在大量的重复计算。

假设前视边缘图在行、列上的平移步长均为step，前视边缘图行、列数分别为row，col，前视边缘图中的第一个像素点在模板边缘图上的对应位置为(X，Y)，则模板边缘图上覆盖区域内任意一个边缘点的坐标为(X+x，Y+y)(其中x大于等于0小于col，y大于等于0小于row)，在前视边缘图中对应点位置为(x，y)。在列(x)方向上平移一个step，覆盖区域初始点变为(X+step，Y)。对于覆盖区域的范围而言，只是减少了前0到step列，并在最后面增加了0到step列；对于模板边缘图上同一边缘点(X+x，Y+y)而言，在前视图像中对应点位置更新为(x-step，y)。因此，每次移动并不需要重新遍历模板边缘图的覆盖区域来寻找边缘点，只需要记录上个位置模板上所有边缘点对应到前视边缘图上坐标点的位置(x,y)，每次平移时去掉0到step列的边缘点，剩余边缘点更新为(x-step,y)，重新在邻域上搜索计算投影值，最后遍历模板边缘图上新增加的step列寻找新边缘点并计算投影。优化算法减少了每次平移时需要对整个覆盖区域遍历寻找边缘点的时间，大大减少了匹配时间。

其中，步骤S4具体包括以下子步骤：

(S4.1)：将前视边缘图按照第一预设的匹配步长以及第一预设的邻域搜索范围在模板边缘图中进行粗匹配，得到初始匹配位置；

其中，粗匹配在整个模板边缘图上遍历，第一预设的匹配步长可以由经验或者试验确定，第一预设的邻域搜索范围以能容忍返回的角度参数误差导致模板边缘图与前视边缘图存在旋转的现象为准。粗匹配完成返回一个初始匹配位置。

(S4.2)：将前视边缘图按照第二预设的匹配步长以及第二预设的邻域搜索范围在模板边缘图中以初始匹配位置为中心半径为n的邻域内进行精匹配，在精匹配的同时对模板边缘图进行旋转，修正角度误差，获取最佳匹配位置和最佳旋转角度作为前视边缘图在模板边缘图中的位置R和旋转角度N，其中，n为预设值，第一预设的匹配步长大于第二预设的匹配步长，第一预设的邻域搜索范围大于第二预设的邻域搜索范围，第二预设的匹配步长为1，第二预设的邻域搜索范围为0或1。步骤4.1，模板边缘图和前视边缘图粗匹配。

其中，考虑到飞行器返回的角度信息存在误差，精匹配过程中还进行了角度矫正。因此，步骤(S4.2)具体包括以下子步骤：

(S4.2.1)：将前视边缘图按照第二预设的匹配步长以及第二预设的邻域搜索范围在模板边缘图中以初始匹配位置为中心半径为n的邻域内进行一次匹配计算，得到初始旋转角度为0的相似性测度值P₀以及匹配位置R₀；

(S4.2.2)：分别按正方向1°和负方向1°旋转模板边缘图，重复步骤(4.2.1)得到旋转角度为+1°的相似性测度值P₊₁、匹配位置R₊₁以及旋转角度为-1°的相似性测度值P_-1、匹配位置R_-1，比较P₀、P₊₁、P_-1的大小，若P₀为最大值，则旋转角度为0的模板边缘图为最佳匹配，匹配位置为R₀，精匹配结束，若P₊₁为最大值，则将旋转方向记为正，继续执行步骤(S4.2.3)，若P_-1为最大值，则将旋转方向记为负，继续执行步骤(S4.2.3)；

(S4.2.3)：按照标记的旋转方向继续对模板边缘图进行旋转，每次旋转1°，在P_n+1<P_n时，则旋转角度为n°时为最佳匹配，匹配位置为R_n，精匹配结束，其中P_n+1表示旋转角度为(n+1)°时的相似性测度值，P_n表示旋转角度为n°时的相似性测度值。

完成整个匹配过程，获得匹配位置R和旋转角度N。

S5：将透视变换后的模板图像旋转N度，以位置R为中心在透视变换后的模板图像中截取与红外前视图相同大小的图像，将截取后的图像中黑色部分对应的红外前视图中的区域作为红外前视图的陆地部分，将截取后的图像中白色部分对应的红外前视图中的区域作为红外前视图的海域部分，并对红外前视图中的海域部分进行分割；

其中，N为正表示顺时针旋转，N为负表示逆时针旋转。

其中，可以通过采用区域生长的方法对红外前视图中的海域部分进行分割，并且只对红外前视图的海域部分进行分割，排除陆地干扰。

S6：对分割后的红外前视图进行斜矩形标记，获得初始疑似舰船目标；

如图4所示为一种斜矩形标记示意图，图4(a)表示连通域正矩形标记，图4(b)表示边缘提取检测最长直线，图4(c)表示直线平移，图4(d)表示斜矩形标记框，其中步骤(S6)具体包括以下子步骤：

(S6.1)对分割后的红外前视图进行连通域标记，获取正矩形标记框；

(S6.2)对每个正矩形标记框内的图像进行边缘提取；

(S6.3)对每个正矩形标记框内经过边缘提取的边缘图进行Hough变换，提取最长的一条直线的斜率，即为舰船长轴的斜率；

(S6.4)取与舰船长轴的斜率对应的一条直线和该直线的法线，在正矩形标记框内平移，求直线分别与连通域边界的交线，构成斜矩形，即为斜矩形标记框；

(S6.5)将所有斜矩形标记框确定的区域作为初始疑似舰船目标。

其中，采用Hough变换提取边缘图中最长直线的斜率，能始终保证该斜率为舰船长轴的斜率，所标记的斜矩形框平行于舰船的长宽轴，有利于去虚警和测量船的形状特征。

S7：对初始疑似舰船目标进行并靠船分离；

对步骤S6获取的斜矩形标记框进行并靠船分离。并靠船的一个特征是，在短轴方向上船尖的投影值大于船并靠衔接处的投影值，会形成峰谷峰的投影曲线。所以将每个标记框内的连通域向斜矩形短轴方向做投影，搜索投影曲线峰谷峰的谷点，即为并靠船分离点。

S8：对斜矩形标记区域进行多特征检测，排除虚警，获取最终舰船目标。

由于标记算法是在连通区域上进行的外接矩形标记，因此，海陆分割后可能会存在以下2种虚警：a)非船连通域，b)船跟岸边连在一起的连通域。

为去除这些虚警，需要对标记后的斜矩形进行处理。首先，要修正跟岸边有粘连的连通域标记。由于岸边总是与船的长轴或宽轴平行，但岸在轴方向的投影值要远小于船在轴方向的投影值。所以可以通过以下方法去岸边，将斜矩形内的连通域分别投影到该矩形的长宽轴上，当投影值小于一定的值且达到某一阈值长度时，去除该连通域，这一步可去掉岸边的同时保证船的连通域完整，如图5所示，图5(a)表示原连通域和标记框，图5(b)表示短轴上投影曲线，图5(c)表示长轴上投影曲线，图5(d)表示修正后的连通域和标记框。然后，求取每个标记连通域的占空比、长宽比、长、宽，根据舰船先验形状特征能去除非船连通域。最终，标记出舰船目标。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于边缘匹配的红外前视图像舰船检测方法，其特征在于，包括：

(1)：将光学遥感图像进行二值化处理，沿港口勾勒，绘制成陆地区域为黑色，海域为白色的港口先验地理信息模板图；

(2)：根据飞行器返回的高度、俯仰角、滚转角以及偏航角对港口先验地理信息模板图进行透视变换，得到与飞行器拍摄的红外前视图同一尺度和视角下的模板图像；

(3)：对透视变换后的模板图像进行边缘提取得到模板边缘图，对红外前视图进行边缘提取得到前视边缘图；

(4)：将模板边缘图与前视边缘图进行匹配，获取前视边缘图在模板边缘图中的位置R和旋转角度N；

(5)：将透视变换后的模板图像旋转N度，以位置R为中心在透视变换后的模板图像中截取与红外前视图相同大小的图像，将截取后的图像中黑色部分对应的红外前视图中的区域作为红外前视图的陆地部分，将截取后的图像中白色部分对应的红外前视图中的区域作为红外前视图的海域部分，并对红外前视图中的海域部分进行分割；

(6)：对分割后的红外前视图进行斜矩形标记，获得初始疑似舰船目标；

(7)：对初始疑似舰船目标进行并靠船分离；

(8)：对斜矩形标记区域进行多特征检测，排除虚警，获取最终舰船目标。

2.根据权利要求1所述的方法，其特征在于，步骤(4)具体包括以下子步骤：

(4.1)：将前视边缘图按照第一预设的匹配步长以及第一预设的邻域搜索范围在模板边缘图中进行粗匹配，得到初始匹配位置；

(4.2)：将前视边缘图按照第二预设的匹配步长以及第二预设的邻域搜索范围在模板边缘图中以初始匹配位置为中心半径为n的邻域内进行精匹配，在精匹配的同时对模板边缘图进行旋转，修正角度误差，获取最佳匹配位置和最佳旋转角度作为前视边缘图在模板边缘图中的位置R和旋转角度N，其中，n为预设值，第一预设的匹配步长大于第二预设的匹配步长，第一预设的邻域搜索范围大于第二预设的邻域搜索范围，第二预设的匹配步长为1，第二预设的邻域搜索范围为0或1。

3.根据权利要求2所述的方法，其特征在于，步骤(4.2)具体包括以下子步骤：

(4.2.1)：将前视边缘图按照第二预设的匹配步长以及第二预设的邻域搜索范围在模板边缘图中以初始匹配位置为中心半径为n的邻域内进行一次匹配计算，得到初始旋转角度为0的相似性测度值P₀以及匹配位置R₀；

(4.2.2)：分别按正方向1°和负方向1°旋转模板边缘图，重复步骤(4.2.1)得到旋转角度为+1°的相似性测度值P₊₁、匹配位置R₊₁以及旋转角度为-1°的相似性测度值P_-1、匹配位置R_-1，比较P₀、P₊₁、P_-1的大小，若P₀为最大值，则旋转角度为0的模板边缘图为最佳匹配，匹配位置为R₀，精匹配结束，若P₊₁为最大值，则将旋转方向记为正，继续执行步骤(4.2.3)，若P_-1为最大值，则将旋转方向记为负，继续执行步骤(4.2.3)；

(4.2.3)：按照标记的旋转方向继续对模板边缘图进行旋转，每次旋转1°，在P_n+1<P_n时，则旋转角度为n°时为最佳匹配，匹配位置为R_n，精匹配结束，其中P_n+1表示旋转角度为(n+1)°时的相似性测度值，P_n表示旋转角度为n°时的相似性测度值。

4.根据权利要求3所述的方法，其特征在于，步骤(6)具体包括以下子步骤：

(6.1)对分割后的红外前视图进行连通域标记，获取正矩形标记框；

(6.2)对每个正矩形标记框内的图像进行边缘提取；

(6.3)对每个正矩形标记框内经过边缘提取的边缘图进行Hough变换，提取最长的一条直线的斜率，即为舰船长轴的斜率；

(6.4)取与舰船长轴的斜率对应的一条直线和该直线的法线，在正矩形标记框内平移，求直线分别与连通域边界的交线，构成斜矩形，即为斜矩形标记框；

(6.5)将所有斜矩形标记框确定的区域作为初始疑似舰船目标。