CN111444777B - 一种同时标记阴影的前视声呐目标检测标记方法 - Google Patents

Abstract

本发明提供一种同时标记阴影的前视声呐目标检测标记方法，属于前视声呐图像目标检测领域，该方法对目标进行标记的同时也标记出目标的阴影；现有前视声呐目标检测标记方法只将目标进行标记，而对于前视声呐图像，目标的阴影包含了目标的形状特征，标记过程同时标记出目标的阴影，能够为检测器提供更丰富的信息。针对这种新提出的标记框，需要分目标和阴影两部分进行评价，目标检测框使用已有的交并比IOU评价；对于阴影检测框，阴影和目标之间可能出现多种位置关系，本发明提出了一种改进的阴影关键点相似度OKS_S来评价阴影检测框的回归精度。

Description

一种同时标记阴影的前视声呐目标检测标记方法

技术领域

本发明涉及一种标记前视声呐图像目标的方法，尤其涉及一种同时标记阴影的前视声呐目标检测标记方法，能够标记目标的同时标记目标的阴影，属于前视声呐目标检测领域。

背景技术

近年来，基于深度学习的目标检测方法，在光学图像中获得了巨大的成功，在前视声呐图像领域，由于声呐图像的珍贵等特性，对前视声呐图像目标检测的进展不如光学图像，大部分方法是直接将光学图像中常用的深度学习检测模型直接应用到声呐图像上，而没有结合前视声呐的特性。该问题的主要原因是前视声呐目标的标记方法直接沿用了光学图像的标记方法，即使用一个矩形框标记目标的边界。

现有目标检测评价方法中，使用交并比(Intersection over Union，IOU)来评价一个检测器输出的目标边界框与真值标签边界框之间的重叠程度，该值越大，说明重叠程度越高，该值的计算方法是，真值与检测输出检测框之间的交集面积除以它们之间的并集面积。

交并比用于评价检测框的准确度，“关键点相似度(Object KeypointSimilarity,OKS)”则用于评价关键点检测的准确度，关键点是一个目标中的显著特征点，如人脸目标中的眼睛、鼻子和嘴等。关键点相似度衡量检测器输出关键点与真值标签关键点坐标之间的差异，该值的计算方法如下：

其中m为关键点数目，s为目标的尺度，k为每个关键点的固定常数，s和k用来保证不同大小目标、不同关键点的评价尺度相同。通过实验的方法确定k。在验证集中人工对图片进行多次标记，然后统计人工的标记的d_i/s_i的标准差σ_i，取k＝2σ_i，由于人工标记服从正态分布，根据3σ原则，另d_i/s_i分别等于1σ,2σ,3σ，带入OKS计算公式中，得到0.88，0.61，0.32，当计算得到一个检测器的OKS时，可以直观的了解检测器精度与人工标记的区别，如一个检测框的OKS为0.80，那么可以看出较接近人工1σ下的0.88，说明检测器精度较接近人类水平。

针对前视声呐图像，人类有时不能简单地通过目标表面反射的亮边缘判断目标的类别，而如果该目标的成像结果如果包含阴影，阴影区域往往包含了目标形状等信息，可以通过阴影的特点分辨目标，所以目标的阴影也可以作为目标的特征加入到前视声呐目标标签中。

由于目标的遮挡，前视声呐目标后方区域内没有测得返回声波或者返回波较弱，则在图像上呈现阴影，目标和阴影关系主要有以下几种：

1.目标可能悬浮于水中，目标周围的返回波较弱，目标阴影不明显，只能看到目标的轮廓，无法区分阴影轮廓，另外可能由于目标在水底，高度较小等原因，也可能无法呈现阴影；

2.目标可能在与水底接触，处于水底地面上，能区分目标和目标的阴影，可以区分阴影的轮廓，阴影的出现的位置可能在目标边缘结束之前；

3.目标可能悬浮于水中，距离水底有一定距离，能区分目标和目标的阴影，阴影出现的位置可能在目标亮边缘之后，即目标和阴影分离。

发明内容

本发明的目的是为了实现前视声呐目标检测的标签能够在标记目标的同时，标记其阴影而提供一种同时标记阴影的前视声呐目标检测标记方法。

本发明的目的是这样实现的：步骤如下：

步骤一：在极坐标系声呐图像上，使用平行于图像坐标系坐标轴的边界框对目标进行标记；

步骤二：使用普通目标检测标记框标记目标的位置，然后使用两个高度值定位阴影边界框的位置。

本发明还包括这样一些结构特征：

1.步骤一在极坐标系下进行标记，目标与阴影的宽度相同，可使用相同的横坐标来标记目标和阴影的位置；同一目标在不同位置，以相同角度和距离面向声呐，声呐标记框大小没有变化，同一目标在不同位置用同一面面对声呐中心时，在极坐标系下进行标记，标记框的大小是确定的。

2.步骤二中标记一个目标的参数包括x,y,w,h,h1,h2，其中x,y,w,h用来确定目标边界框，h1,h2用于确定阴影边界框，目标位置左上角像素点的像素坐标为(x,y)，目标边界框宽度w，高度h，h1和h2分别对应目标阴影起始与终止点的高度；

如果阴影是可见的，则用h1和h2清晰标注出阴影边界，如果阴影不明显，人眼无法区分，则将h1和h2均标记在目标边界框远离声呐的一端，即设置h1＝h2＝y；

则对目标边界框和阴影边界框分开进行评估：

(1)目标边界框回归精度采用已有的“交并比IOU”指标进行评价；

(2)使用“关键点相似度OKS”直接计算两个阴影边界之间的距离而阴影边界框的回归精度，采用“阴影关键点相似度OKS_S”指标评价，且有评价阴影回归精度的阴影关键点相似度OKS_S为：

式中：IOU为目标检测的指标交并比；

和

为标签中的阴影位置，h1和h2为检测器输出的阴影高度；对函数1{·}，当括号内表达式为真时，其值为1，否则为0，即阴影回归精度计算为0；该表达式的意义是当检测器输出的目标边界框与真值标签之间的交并比为0，或检测器输出的阴影与真值标签之间的阴影没有交集时，阴影检测精度为0，否则阴影检测精度使用关键点相似度OKS计算，若标签中两个阴影高度重合

也使用OKS计算。

与现有技术相比，本发明的有益效果是：本发明对前视声呐标签的改进则基于普通的目标标记方法，标记目标的同时，标记出目标的阴影，并且设计了相应的阴影检测评价指标。本发明直接将从声呐中获取的极坐标系声呐图像输入到神经网络中，不会像使用笛卡尔坐标系图像那样造成信息的浪费，在极坐标系下进行标记，目标与阴影的宽度相同，可以使用相同的横坐标来标记目标和阴影的位置；同一目标在不同位置，以相同角度和距离面向声呐，声呐标记框大小没有变化，同一目标在不同位置用同一面面对声呐中心时，如果在笛卡尔坐标系下进行标记，在不同位置的标记框大小不一；而在极坐标系下进行标记，标记框的大小是确定的。

本发明的方法对目标进行标记的同时也标记出目标的阴影；现有前视声呐目标检测标记方法只将目标进行标记，而对于前视声呐图像，目标的阴影包含了目标的形状特征，标记过程同时标记出目标的阴影，能够为检测器提供更丰富的信息。针对这种新提出的标记框，需要分目标和阴影两部分进行评价，目标检测框使用已有的交并比IOU评价；对于阴影检测框，阴影和目标之间可能出现多种位置关系，本发明提出了一种改进的阴影关键点相似度OKS_S来评价阴影检测框的回归精度。

附图说明

图1为本发明的标记方法示意图；

图2a-c均为使用本发明方法对目标进行标记的结果；

图3为人工标记与理想情况下阴影关键点评价指标的分布情况；

图4为几组不同检测框的检测指标。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

结合图1至图4，本发明属于前视声呐图像目标检测领域，具体涉及一种标记阴影的前视声呐目标标记方法，本发明包括以下步骤：

步骤1、在极坐标系声呐图像上，使用平行于图像坐标系坐标轴的边界框对目标进行标记；

步骤2、使用普通目标检测标记框标记目标的位置，然后使用两个高度值定位阴影边界框的位置。

步骤1中在极坐标系前视声呐图像上进行标记，主要原因是：1.可直接将从声呐中获取的极坐标系声呐图像输入到神经网络中，不会像使用笛卡尔坐标系图像那样造成信息的浪费；2.在极坐标系下进行标记，目标与阴影的宽度相同，可以使用相同的横坐标来标记目标和阴影的位置；3.同一目标在不同位置，以相同角度和距离面向声呐，声呐标记框大小没有变化，同一目标在不同位置用同一面面对声呐中心时，如果在笛卡尔坐标系下进行标记，在不同位置的标记框大小不一；而在极坐标系下进行标记，标记框的大小是确定的。

步骤2中标记一个目标所需要的参数可以有多种组合，为了减少目标检测和阴影检测之间的耦合，本发明使用x,y,w,h,h1,h2六个参数表示，其中x,y,w,h用来确定目标边界框，h1,h2用于确定阴影边界框，目标位置左上角像素点的像素坐标为(x,y)，目标边界框宽度w，高度h，h1和h2分别对应目标阴影起始与终止点的高度。这种参数组合将目标检测和阴影检测分离，并且可以与普通只标记目标的方法改动更小，即，将阴影参数h1,h2直接去掉，就变成了只标记目标位置的边界框。

步骤2中如果阴影是可见的，使用h1和h2清晰标注出阴影边界即可，如果阴影不明显，人眼无法区分，则将h1和h2均标记在目标边界框远离声呐的一端，即设置h1＝h2＝y。

评价检测器输出的检测框的准确度：

本发明对目标边界框和阴影边界框分开进行评估，目标的边界框使用交并比IOU来评估，即检测框与标签框的交集面积与并集面积之比。对阴影检测框的评估时，不能直接使用交并比计算，因为目标可能出现没有阴影的情况，即h1＝h2＝y，阴影的面积是零，则任意的检测结果，与标签之间的交并比的分子都是零，无法评价两个检测结果之间的好坏，所以需要使用其他的方法来评价阴影检测的精度。

若把两个阴影边界坐标值h1,h2作为关键点，则可以使用“关键点相似度OKS”直接计算两个阴影边界之间的距离。然而关键点评价指标不能直接应用于阴影检测，关键点相似度计算的是检测器输出与真值标签之间的距离，如果检测器输出的阴影检测框与真值之间没有交集，关键点相似度仍然能够得到一个正的距离值，而实际上应该设置该检测框的重叠度为0；另外，只有当目标检测结果有效时(IOU>0)，阴影检测才有意义，使用OKS计算，若目标检测无效(IOU≤0)，则该阴影检测框也是无效的；最后，如果目标阴影不可见，标记时两个阴影高度相等h1＝h2，都等于目标轮廓的上边界高度y，这时应该直接使用OKS计算检测输出的两个边界与该高度的差异。于是评价阴影回归精度的阴影关键点相似度OKS_S为：

其中，本发明的每个目标包括阴影位置为h₁,h₂共两个检测点；s₁,s₂为尺度大小，由于阴影的尺度大小往往与目标的尺度大小不相关，所以本文没有使用目标的面积，而是使用图像的高度作为尺度大小，即s₁＝s₂＝H；

为标签中的检测高度；函数1{·}表示若括号内表达式为真，则函数值为1，否则函数值为0，含义是若IOU为0，则OKS_S为0，若标签阴影与预测阴影高度闭区间线段之间有交集，或两个阴影标签相等

即阴影标记为不可见时，使用OKS进行计算，否则指标输出结果为0。

步骤2标记目标阴影时，由于步骤1采用了极坐标系声呐图像，目标的阴影宽度和目标宽度相同，使用普通的目标检测标记框(x,y,w,h)定位目标位置后，只需再使用两个坐标h1和h2定位阴影的起始高度和截止高度,这种标记方法不仅标记简单，而且标记效果更好。

评价目标检测器的精度时，目标边界框回归精度采用已有的“交并比(IOU)”指标进行评价，而阴影边界框的回归精度采用一种新的“阴影关键点相似度OKS_S”指标评价，该指标基于关键点相似度OKS改进，使其能够应对目标与阴影的多种位置关系。该指标的计算公式如下：

公式中OKS表示的关键点检测数据集中常用的关键点相似度；IOU为目标检测的指标交并比；

和

为标签中的阴影位置，h1和h2为检测器输出的阴影高度；对函数1{·}，当括号内表达式为真时，其值为1，否则为0，即阴影回归精度计算为0；该表达式的意义是当检测器输出的目标边界框与真值标签之间的交并比为0，或检测器输出的阴影与真值标签之间的阴影没有交集时，阴影检测精度为0，否则阴影检测精度使用关键点相似度OKS计算，若标签中两个阴影高度重合

也使用OKS计算。

本发明实施过程分为目标标记过程和检测器评价过程：

1.目标标记过程：

图1展示的是目标标记方法示意图，图右侧为极坐标系下的声呐图像，横坐标是前视声呐的方位角，纵坐标是探测的距离，由于在极坐标系图像下标记，目标和阴影的宽度相同，目标的边界框参数为(x,y,w,h)，表示目标边界框左上角点的像素坐标(x,y)和边界框的宽度w，高度h，阴影的边界框参数为h1,h2，表示阴影边界的像素高度，所以表示一个目标共有x,y,w,h,h1,h2六个参数。

图2a-c展示了本发明对三类阴影与目标关系的前视声呐图像的标记效果。三行图像分别表示的是阴影与目标轮廓之间的三种关系，实线框表示目标，虚线框表示阴影，图左侧展示的是在极坐标系图像下进行标记的效果，右侧展示的是标签转换到笛卡尔坐标系下的效果。图2a所示的目标后方与周围环境的回波亮度基本一致，所以区分不出阴影，这时标记结果类似传统标记方法，对目标使用边界框标记，两个阴影边界与目标的上边界重合；图2b，显示目标阴影出现在目标回波边缘之前，所以阴影起始点所在行在目标上下边缘之间；图2c，显示目标阴影出现在目标回波阴影之后，目标悬浮在声呐垂直视域之内，产生了目标与阴影分离的效果。示意图说明本发明对几种目标与阴影的关系均能很好的标记。

2.检测器评价过程：

首先通过实验的方法确定k，人工对同一张图像上的目标进行多次标记，统计人工标记结果的d_i/s_i的标准差σ_i,实验测得两个阴影边界的标准差分别为σ₁＝0.005,σ₂＝0.003，阴影的上边界相对较模糊，人共记得到的标准差较大。OKS_S计算时，取k＝2σ_i。图3绘制了人工标记与理想情况下OKS_S指标的分布情况，横坐标为指标OKS_S，纵坐标为出现的概率，实线曲线为理想情况，将两个正态分布关键点值带入OKS_S计算公式得到的理想OKS_S分布，虚线曲线为人工标记的OKS_S分布，与理想情况比较接近。

对检测器输出的带有目标阴影的检测框进行评价，首先计算该检测框与真值标签之间的交并比IOU，然后使用OKS_S的计算公式计算该检测框阴影与真值阴影之间的重叠。图4直观的展示了带有阴影标签的检测框与真值标签之间的交并比IOU和阴影关键点相似度OKS_S结果，图像高度1219，宽度768，图中虚线为阴影框，实线为目标框。左上角的两个检测框的目标框部分没有重叠，所以IOU为0，OKS_S也为0，左下角的目标阴影检测框没有交集，所以OKS_S为0，右上角的OKS_S直接使用OKS进行计算，右下角的目标没有显示阴影，而检测框中有阴影，同样使用OKS进行计算。

Claims (2)

1.一种同时标记阴影的前视声呐目标检测标记方法，其特征在于：步骤如下：

步骤一：在极坐标系声呐图像上，使用平行于图像坐标系坐标轴的边界框对目标进行标记；

步骤二：使用普通目标检测标记框标记目标的位置，然后使用两个高度值定位阴影边界框的位置；

步骤二中标记一个目标的参数包括x，y，w，h，h1，h2，其中x，y，w，h用来确定目标边界框，h1，h2用于确定阴影边界框，目标位置左上角像素点的像素坐标为(x，y)，目标边界框宽度w，高度h，h1和h2分别对应目标阴影起始与终止点的高度；

如果阴影是可见的，则用h1和h2清晰标注出阴影边界，如果阴影不明显，人眼无法区分，则将h1和h2均标记在目标边界框远离声呐的一端，即设置h1＝h2＝y；

则对目标边界框和阴影边界框分开进行评估：

(1)目标边界框回归精度采用已有的“交并比IOU”指标进行评价；

(2)使用“关键点相似度OKS”直接计算两个阴影边界之间的距离而阴影边界框的回归精度，采用“阴影关键点相似度OKS_S”指标评价，且有评价阴影回归精度的阴影关键点相似度OKS_S为：

式中：IOU为目标检测的指标交并比；

和

为标签中的阴影位置，h1和h2为检测器输出的阴影高度；对函数1{·}，当括号内表达式为真时，其值为1，否则为0，即阴影回归精度计算为0；该表达式的意义是当检测器输出的目标边界框与真值标签之间的交并比为0，或检测器输出的阴影与真值标签之间的阴影没有交集时，阴影检测精度为0，否则阴影检测精度使用关键点相似度OKS计算，若标签中两个阴影高度重合

也使用OKS计算。

2.根据权利要求1所述的一种同时标记阴影的前视声呐目标检测标记方法，其特征在于：步骤一在极坐标系下进行标记，目标与阴影的宽度相同，可使用相同的横坐标来标记目标和阴影的位置；同一目标在不同位置，以相同角度和距离面向声呐，声呐标记框大小没有变化，同一目标在不同位置用同一面面对声呐中心时，在极坐标系下进行标记，标记框的大小是确定的。

Images