CN114067147B - 一种基于局部形状匹配的舰船目标确认方法 - Google Patents

Abstract

本发明公开了一种基于局部形状匹配的舰船目标确认方法，包括：获取神经网络检测模型预测的原始图像中目标检测框的区域图像，进行预处理，提取预处理后图像中目标二值化图像的最大外轮廓图；获取模板图像的二值化图像，并提取模板图像的二值化图像的最大外轮廓图；分别对两个最大外轮廓图进行点采样，得到模板图像船头/尾的点集和目标二值化图像左/右区域的点集；构造模板图像船头船尾的特征描述子和目标图像左右区域的特征描述子，进行局部形状匹配，最后确定原始图像中目标检测框的区域图像是否为舰船目标。该方法可以有效的解决因深度神经网络检测模型结果的不确定性而导致检测结果中存在大量虚警的问题；速度快、开销小、精度高。

Description

一种基于局部形状匹配的舰船目标确认方法

技术领域

本发明属于数字图像处理技术领域，涉及一种在神经网络目标检测模型检测结果的基础上进行虚警排除的方法，特别涉及一种基于局部形状匹配的舰船目标确认方法。

背景技术

遥感技术如今已经深入我们生活的方方面面，给地物观测、感兴趣区域监控、遥感目标检测识别等方面提供了有效的手段，尤其是遥感图像中的目标检测识别方面，在军事，农业，公安等很多方面都起着重要作用。而近几年，得益于大量数据的支撑，神经网络模型飞速的发展，各种神经网络模型在很多方面都超越了传统手工设计的算法，这为遥感目标检测识别提供了重要的技术支持。但不同于自然图像中的目标检测识别，遥感图像中的目标识别往往更加困难。由于遥感图像的目标是由从上往下的角度拍摄，或者具有一定的俯视角度，其成像中的目标是多方向的、多尺度的、多姿态的。此外，由于距离、天气、光照、温度等因素的影响，待检测的环境往往存在各种各样的干扰，从而产生大量虚景。

另外，由于神经网络模型具有不可解释性，其特征或决策逻辑在语义层面难以理解，目前也缺少数学工具去诊断与评测网络的特征表达能力(例如，解释神经网络模型所建模的知识量、其泛化能力和收敛速度等)。而在很多安全性要求较高的领域中需要确定模型究竟从数据中学到了哪些知识从而做出最终的决策。而目前神将网络目标检测模型在遥感图像的应用中，都是通过检测模型的置信度来判断是否为目标，而这就大大增加了输出结果的不确定性。同时在复杂场景下的检测模型识别能力弱，抗干扰能力不强。虽然可通过增加带有干扰的训练数据提高目标检测模型的抗干扰能力，但是有些自然干扰(例如：云，岛礁)是动态变化的，单纯依靠增加训练数据也无法覆盖所有的干扰场景。因此无法依靠网络模型的置信度来减少检测模型带来的虚警。

发明内容

本发明的目的在于，为了解决因神经网络检测模型导致的大量虚景问题，并且满足较低硬件环境快速运行，提出了一种基于局部形状匹配的舰船目标确认方法，该方法具有较小的计算量、较高的精度，可以很好地部署在各种低性能的硬件平台。

为实现上述目的，本发明采取的技术方案为：

本发明实施例提供一种基于局部形状匹配的舰船目标确认方法，包括：

S1、获取神经网络检测模型预测的原始图像中目标检测框的区域图像，对所述区域图像进行预处理，提取预处理后图像中目标二值化图像的最大外轮廓图；

S2、获取模板图像的二值化图像，并提取模板图像的二值化图像的最大外轮廓图；分别对模板图像和目标的二值化图像的最大外轮廓图进行点采样，得到模板图像船头/尾的点集和目标二值化图像左/右区域的点集；

S3、根据所述模板图像船头/尾的点集和目标二值化图像左/右区域的点集，构造模板图像船头船尾的特征描述子和目标图像左右区域的特征描述子；

S4、将所述模板图像船头船尾的特征描述子和目标图像左右区域的特征描述子进行局部形状匹配，确定所述原始图像中目标检测框的区域图像是否为舰船目标。

进一步地，所述S1步骤，包括：

S11、根据神经网络检测模型预测的原始图像中倾斜目标框的4个点坐标，计算目标框的中心点、目标框的高和宽、以及目标框的角度；

S12、根据所述目标框的4个点坐标，计算出所述倾斜目标框的最小水平外接矩形；将目标从原图像中裁剪出来，并根据所述目标框的角度将目标旋转至水平方向得到目标切片；

S13、对所述目标切片进行自适应二值化分割，得到目标切片的二值化图像，分离目标与背景，并提取目标切片的二值化图像的最大外轮廓图。

进一步地，所述S11步骤，包括：

S111、根据神经网络检测模型预测的倾斜目标框的4个点坐标(dx₁,dy₁,dx₂,dy₂,dx₃,dy₃,dx₄,dy₄)，计算目标框的中心点(dx_center,dy_center)，公式如下：

S112、计算目标框的高h和宽w以及目标框的角度θ，公式如下：

h和w较大的作为目标框的高，较小的作为目标框的宽。

进一步地，所述S12步骤，包括：

S121、计算所述倾斜目标框的最小水平外接矩形，将最小水平外接矩形从原始图像中剪切出来；

S122、遍历所述最小水平外接矩形图像中的像素点，判断像素点是否在倾斜目标框内部，如果在内部则利用坐标旋转公式，最终将目标旋转θ-90角度至水平方向，得到目标切片。

进一步地，所述S13步骤，包括：

S131、对所述目标切片进行Canny边缘检测；

S132、对边缘提取后的图像进行自适应形态学膨胀；

S133、对图像进行最大外轮廓提取，获得目标切片的二值化图像的最大外轮廓图。

进一步地，所述S2步骤，包括：

S21、根据目标切片的长宽，将模板图像的二值化图像采用最近邻算法缩放至相同大小，并提取模板图像的最大外轮廓图；

S22、遍历模板图像和目标图像的最大外轮廓图的点集，每隔k个像素采点一次，得到模板图像和目标图像完整的外轮廓点集；

S23、根据预先确定的模板图像船头船尾的位置，获取模板图像中船头区域和船尾区域的点集；选取目标图像左边预设区域和右边预设区域包含的点集作为目标图像左半边和右半边区域的点集。

进一步地，所述S3步骤，包括：

S31、设点集S＝{(x₁,y₁),(x₂,y₂)...(x_n,y_n)}，计算点集中所有点的重心点G＝(x_G,y_G)；

S32、对于每一个点P_i＝(x_i,y_i)(i＝1,2,...N),都与其他所有点P_j＝(x_j,y_j)(j＝1,2,...N,i≠j)和G构成三角形，并计算三角形中心点

与P_i点的距离dist(P_i,g_ij)并标准化；

对于每一个P_i点都存在N-1个距离值构成P_i点的特征描述子FP(P_i)＝(dist(P_i,g_i1),...,dist(P_i,g_ij),...,dist(P_i,g_iN)),则每一个点集的特征描述子为：FP(S)＝(FP(P₁),...,FP(P_N))；

S33、对点集的特征描述子进行傅里叶变换缩小特征的维度，将傅里叶变换结果的绝对值作为点集的特征描述子：

FP(S)＝abs(FD(FP))

其中，FD(*)标识傅里叶变换函数；由此得到模板图像船头和船尾点集的特征描述子FP(M_head)和FP(M_tail)；并得到目标切片图像左半区域和右半区域点集的特征描述子FP(O_left)和FP(O_right)。

进一步地，所述S4步骤，包括：

S41、计算FP(M_head)和FP(O_left)，FP(M_tail)和FP(O_right)，FP(M_tail)和FP(O_left)以及FP(M_head)和FP(O_right)的相似度度量值；计算后得到2组共计4个相似度度量值；

S42、将4个相似度度量值与选择的阈值进行比较，最终确定是否为舰船目标；并根据模板图像的方向确定目标切片图像船头船尾的位置和方向；

进一步地，所述S4步骤，还包括：

S43、根据旋转角度θ，将目标切片中舰船头尾的位置和方向映射回原始图像中，确定原始图像中舰船目标头尾的精确位置和方向。

与现有技术相比，本发明具有如下有益效果：

本发明实施例提供的一种基于局部形状匹配的舰船目标确认方法，利用舰船目标具有船头船尾的物理先验知识，在检测框内利用自适应目标提取的方法将目标与背景分割，再采用局部形状匹配的方式来确认是否为舰船目标。本方法能够利用舰船目标本身的物理特征，高效准确的排除虚警，并能精确的给出舰船目标的头尾的方向和位置。

附图说明

图1为本发明实施例提供的基于局部形状匹配的舰船目标确认方法流程图。

图2为本发明实施例提供的基于局部形状匹配的舰船目标确认方法原理图。

图3为本发明实施例提供的计算目标宽和高以及目标角度的坐标图。

图4为本发明实施例提供的自适应目标外轮廓提取示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明实施例提供一种基于局部形状匹配的舰船目标确认方法，包括：

S1、获取神经网络检测模型预测的原始图像中目标检测框的区域图像，对所述区域图像进行预处理，提取预处理后图像中目标二值化图像的最大外轮廓图；

S2、获取模板图像的二值化图像，并提取模板图像的二值化图像的最大外轮廓图；分别对模板图像和目标的二值化图像的最大外轮廓图进行点采样，得到模板图像船头/尾的点集和目标二值化图像左/右区域的点集；

S3、根据所述模板图像船头/尾的点集和目标二值化图像左/右区域的点集，构造模板图像船头船尾的特征描述子和目标图像左右区域的特征描述子；

S4、将所述模板图像船头船尾的特征描述子和目标图像左右区域的特征描述子进行局部形状匹配，确定所述原始图像中目标检测框的区域图像是否为舰船目标。

其中，步骤S1中神经网络检测模型，是指基于遥感图像的训练数据，学习、训练、迭代优化获得一定检测识别舰船准确率的网络模型，本公开实施例对神经网络检测模型的训练过程、网络结构不做限定。

本实施例中，利用舰船目标具有船头船尾的物理先验知识，在检测框内利用自适应目标提取的方法将目标与背景分割，再采用局部形状匹配的方式来确认是否为舰船目标。本方法能够利用舰船目标本身的物理特征，高效准确的排除虚警，并能精确的给出舰船目标的头尾的方向和位置。

参照图2所示，为本发明提供的基于局部形状匹配的舰船目标确认方法的原理图，该方法基于深度神经网络预测的检测框，对检测框中的目标进行确认，包括：输入检测框4个点坐标模板、二值图及头尾位置，计算目标角度和宽度，将目标旋转至水平方向，进行自适应目标外轮廓提取，并对目标和模板图像踩点，实现判断目标确认及头尾位置确认是否为舰船，当否则输出虚警，当是则输出舰船目标和头尾位置与方向。

下面对上述各个步骤进行详细的说明。

其中，上述S1步骤，包括：

S11、根据神经网络检测模型预测的原始图像中倾斜目标框的4个点坐标，计算目标框的中心点、目标框的高和宽、以及目标框的角度；

S12、根据所述目标框的4个点坐标，计算出所述倾斜目标框的最小水平外接矩形；将目标从原图像中裁剪出来，并根据所述目标框的角度将目标旋转至水平方向得到目标切片；

S13、对所述目标切片进行自适应二值化分割，得到目标切片的二值化图像，分离目标与背景，并提取目标切片的二值化图像的最大外轮廓图。

具体地，S11步骤，包括：

S111、如图3所示，根据神经网络检测模型预测的倾斜目标框的4个点坐标(dx₁,dy₁,dx₂,dy₂,dx₃,dy₃,dx₄,dy₄)，计算目标框的中心点(dx_center,dy_center)，公式如下：

S112、计算目标框的高h和宽w以及目标框的角度θ，公式如下：

h和w较大的作为目标框的高，较小的作为目标框的宽。

上述S12步骤，包括：

S121、计算所述倾斜目标框的最小水平外接矩形，将最小水平外接矩形从原始图像中剪切出来；

S122、遍历最小水平外接矩形图像中的像素点，判断像素点是否在新的倾斜目标框内部，如果在内部则利用坐标旋转公式，最终将目标旋转θ-90角度至水平方向，得到目标切片。

进一步地，将目标切片二值化处理，得到目标图像切片的二值图像。上述S13步骤，参照图4所示，包括：

S131、对目标图像切片的二值图像进行Canny边缘检测；

(1)使用高斯滤波器，以平滑图像，滤除噪声；

(2)计算图像中每个像素点的梯度强度和方向；

(3)应用非极大值(Non-Maximum Suppression)抑制，以消除边缘检测带来的杂散响应；

(4)应用双阈值检测来确定真实的和潜在的边缘；

(5)通过抑制孤立的弱边缘最终完成边缘检测。

S132、对边缘提取后的图像进行自适应形态学膨胀；首先是对每个白色像素点进行比如3*3膨胀，然后再次遍历图像，将所有左右或者上下距离在一定范围内(比如5个像素)的白色像素点连起来。

S133、对图像进行最大外轮廓提取，获得目标切片的二值化图像的最大外轮廓图。遍历图像，每当遇到一个突变点(即与相邻点颜色不同的点)，就从该点开始，依次连续地将在它的3*3邻域内的突变点加入轮廓，直到回到起始点为止。最后，从提取到的所有轮廓中选择最长的轮廓，作为舰船的外轮廓。

进一步地，上述S2步骤，包括：

S21、根据目标切片的长宽，将模板图像的二值化图像采用最近邻算法缩放至相同大小，并提取模板图像的最大外轮廓图；其中提取的过程与上述步骤S134相同，实现提取模板图像的最大外轮廓。

S22、遍历模板图像和目标图像的最大外轮廓图的点集，每隔k个像素采点一次，得到模板图像和目标图像完整的外轮廓点集。

S23、根据预先确定的模板图像船头船尾的位置，获取模板图像中船头区域和船尾区域的点集；选取目标图像左边预设区域和右边预设区域包含的点集作为目标图像左半边和右半边区域的点集。预设区域比如在20％～50％区域之间，在实际实施时，可优选30％即可。

进一步地，上述S3步骤，包括：

S31、为方便计算，设点集S＝{(x₁,y₁),(x₂,y₂)...(x_n,y_n)}，计算点集中所有点的重心点G＝(x_G,y_G)；

S32、对于每一个点P_i＝(x_i,y_i)(i＝1,2,...N),都与其他所有点P_j＝(x_j,y_j)(j＝1,2,...N,i≠j)和G构成三角形，并计算三角形中心点

与P_i点的距离dist(P_i,g_ij)并标准化；

对于每一个P_i点都存在N-1个距离值构成P_i点的特征描述子FP(P_i)＝(dist(P_i,g_i1),...,dist(P_i,g_ij),...,dist(P_i,g_iN)),则每一个点集的特征描述子为：FP(S)＝(FP(P₁),...,FP(P_N))；

S33、最后对点集的特征描述子进行傅里叶变换缩小特征的维度来减少计算量，将傅里叶变换结果的绝对值作为点集的特征描述子：

FP(S)＝abs(FD(FP))

其中，FD(*)标识傅里叶变换函数；由此得到模板图像船头和船尾点集的特征描述子FP(M_head)和FP(M_tail)；同样的方式并得到目标切片图像左半区域和右半区域点集的特征描述子FP(O_left)和FP(O_right)。

进一步地，上述S4步骤，包括：

S41、计算FP(M_head)和FP(O_left)，FP(M_tail)和FP(O_right)，FP(M_tail)和FP(O_left)以及FP(M_head)和FP(O_right)的相似度度量值；计算后得到2组共计4个相似度度量值；

S42、将4个相似度度量值与选择的阈值进行比较，最终确定是否为舰船目标；并根据模板图像的方向确定目标切片图像船头船尾的位置和方向。

进一步地，上述S4步骤，还包括：

S43、根据旋转角度θ，将目标切片中舰船头尾的位置和方向映射回原始图像中，确定原始图像中舰船目标头尾的精确位置和方向。

本发明实施例提供的一种基于局部形状匹配的舰船目标确认方法，主要包括以下步骤：首先设计了局部自适应目标外轮廓提取方法，它基于Canny算子提取检测框内目标的边缘，并根据目标与背景的差异自适应的膨胀获得目标的二值图像，在对膨胀后的二值图像进行最外轮廓提取，选择最大外轮廓，剔除小轮廓，避免背景产生的一些干扰。然后设计了基于局部形状匹配的舰船目标头尾识别方法，它基于局部形状匹配方法构造模板图像和目标图像的船头船尾的特征描述子，并将两者船头船尾的特征描述子进行两两相似度度量，确定是否为舰船目标，并在确认舰船目标后给出精确的船头船尾的位置。通过以上两个主要步骤的结合，完成了一种基于局部形状匹配的舰船目标确认的方法，该方法可以有效的解决因深度神经网络检测模型结果的不确定性而导致检测结果中存在大量虚警的问题，并能在确认舰船目标后给出舰船目标头部尾部的精确位置和方向，对估计舰船目标的航向有重要作用；具有速度快、开销小、精度高的优点。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于局部形状匹配的舰船目标确认方法，其特征在于，包括：

S1、获取神经网络检测模型预测的原始图像中目标检测框的区域图像，对所述区域图像进行预处理，提取预处理后图像中目标二值化图像的最大外轮廓图；

S2、获取模板图像的二值化图像，并提取模板图像的二值化图像的最大外轮廓图；分别对模板图像和目标的二值化图像的最大外轮廓图进行点采样，得到模板图像船头/尾的点集和目标二值化图像左/右区域的点集；

S3、根据所述模板图像船头/尾的点集和目标二值化图像左/右区域的点集，构造模板图像船头船尾的特征描述子和目标图像左右区域的特征描述子；

S4、将所述模板图像船头船尾的特征描述子和目标图像左右区域的特征描述子进行局部形状匹配，确定所述原始图像中目标检测框的区域图像是否为舰船目标；

所述S3步骤，包括：

S31、设点集S＝{(x₁,y₁),(x₂,y₂)...(x_n,y_n)}，计算点集中所有点的重心点G＝(x_G,y_G)；

S32、对于每一个点P_i＝(x_i,y_i)(i＝1,2,...N),都与其他所有点P_j＝(x_j,y_j)(j＝1,2,...N,i≠j)和G构成三角形，并计算三角形中心点

与P_i点的距离dist(P_i,g_ij)并标准化；

对于每一个P_i点都存在N-1个距离值构成P_i点的特征描述子FP(P_i)＝(dist(P_i,g_i1),...,dist(P_i,g_ij),...,dist(P_i,g_iN)),则每一个点集的特征描述子为：FP(S)＝(FP(P₁),...,FP(P_N))；

S33、对点集的特征描述子进行傅里叶变换缩小特征的维度，将傅里叶变换结果的绝对值作为点集的特征描述子：

FP(S)＝abs(FD(FP))

其中，FD(*)标识傅里叶变换函数；由此得到模板图像船头和船尾点集的特征描述子FP(M_head)和FP(M_tail)；并得到目标切片图像左半区域和右半区域点集的特征描述子FP(O_left)和FP(O_right)。

2.根据权利要求1所述的一种基于局部形状匹配的舰船目标确认方法，其特征在于，所述S1步骤，包括：

S11、根据神经网络检测模型预测的原始图像中倾斜目标框的4个点坐标，计算目标框的中心点、目标框的高和宽、以及目标框的角度；

S12、根据所述目标框的4个点坐标，计算出所述倾斜目标框的最小水平外接矩形；将目标从原图像中裁剪出来，并根据所述目标框的角度将目标旋转至水平方向得到目标切片；

S13、对所述目标切片进行自适应二值化分割，得到目标切片的二值化图像，分离目标与背景，并提取目标切片的二值化图像的最大外轮廓图。

3.根据权利要求2所述的一种基于局部形状匹配的舰船目标确认方法，其特征在于，所述S11步骤，包括：

S111、根据神经网络检测模型预测的倾斜目标框的4个点坐标(dx₁,dy₁,dx₂,dy₂,dx₃,dy₃,dx₄,dy₄)，计算目标框的中心点(dx_center,dy_center)，公式如下：

S112、计算目标框的高h和宽w以及目标框的角度θ，公式如下：

h和w较大的作为目标框的高，较小的作为目标框的宽。

4.根据权利要求3所述的一种基于局部形状匹配的舰船目标确认方法，其特征在于，所述S12步骤，包括：

S121、计算所述倾斜目标框的最小水平外接矩形，将最小水平外接矩形从原始图像中剪切出来；

S122、遍历所述最小水平外接矩形图像中的像素点，判断像素点是否在倾斜目标框内部，如果在内部则利用坐标旋转公式，最终将目标旋转θ-90角度至水平方向，得到目标切片。

5.根据权利要求4所述的一种基于局部形状匹配的舰船目标确认方法，其特征在于，所述S13步骤，包括：

S131、对所述目标切片进行Canny边缘检测；

S132、对边缘提取后的图像进行自适应形态学膨胀；

S133、对图像进行最大外轮廓提取，获得目标切片的二值化图像的最大外轮廓图。

6.根据权利要求3所述的一种基于局部形状匹配的舰船目标确认方法，其特征在于，所述S2步骤，包括：

S21、根据目标切片的长宽，将模板图像的二值化图像采用最近邻算法缩放至相同大小，并提取模板图像的最大外轮廓图；

S22、遍历模板图像和目标图像的最大外轮廓图的点集，每隔k个像素采点一次，得到模板图像和目标图像完整的外轮廓点集；

S23、根据预先确定的模板图像船头船尾的位置，获取模板图像中船头区域和船尾区域的点集；选取目标图像左边预设区域和右边预设区域包含的点集作为目标图像左半边和右半边区域的点集。

7.根据权利要求6所述的一种基于局部形状匹配的舰船目标确认方法，其特征在于，所述S4步骤，包括：

S41、计算FP(M_head)和FP(O_left)，FP(M_tail)和FP(O_right)，FP(M_tail)和FP(O_left)以及FP(M_head)和FP(O_right)的相似度度量值；计算后得到2组共计4个相似度度量值；

S42、将4个相似度度量值与选择的阈值进行比较，最终确定是否为舰船目标；并根据模板图像的方向确定目标切片图像船头船尾的位置和方向。

8.根据权利要求7所述的一种基于局部形状匹配的舰船目标确认方法，其特征在于，所述S4步骤，还包括：

S43、根据旋转角度θ，将目标切片中舰船头尾的位置和方向映射回原始图像中，确定原始图像中舰船目标头尾的精确位置和方向。

Images