CN110458019A - 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 - Google Patents

Abstract

本发明属于水面图像的目标检测领域，具体涉及稀缺认知样本条件下的排除倒影干扰的水面目标检测方法。本发明首先利用稀缺水面数据集制作时的标注信息锁定目标模板，进行指定区域匹配实现倒影去除，再通过雾化、雨化等多种形式实现样本增强，之后搭建目标网络架构，并根据图中目标信息建立密集卷积结构，制定锚点尺度提取特征，进行深度目标检测。在验证网络中添加倒影判别模块，提高真实目标的识别精度，最后通过验证结果最优检测程序，优化网络的检测性能。与现有方法相比，本发明检测精度高，对重叠及遮挡的目标处理效果更佳，在水面、海洋图像的检测中尤为适用；能在样本得到补充的同时消除倒影对检测精度带来的影响，提高水面目标的识别能力。

Description

稀缺认知样本条件下的排除倒影干扰的水面目标检测方法

技术领域

本发明属于水面图像的目标检测领域，具体涉及稀缺认知样本条件下的排除倒影干扰的水面目标检测方法。

背景技术

随着海洋开发利用力度的不断加大，利用光视觉感知技术对水上目标进行精确检测已经成为了一项越来越重要的工作，通过深度学习网络可以给水上检测工作带来非常高的效益，因此水面目标数据集的建立至关重要。为满足水面样本的多样性以及提高检测网络的泛化性，认知样本的采集应尽量能够在多种水面环境下进行，这带来了相当大的采集难度。在样本采集数量难满足实际应用的情况下，可对稀缺的采集样本进行数据集增强，扩充样本容量，但在数据集增强的同时水中倒影对检测目标的影响会更加明显，造成最终检测精度的下降。在此种工作条件下，面对稀缺样本带来的问题，利用排除倒影干扰的水面目标检测方法比传统的检测方法更加精确，对重叠及遮挡的目标处理效果更佳。

目前使用深度学习网络进行识别目标是检测算法的主流，这些网络根据目标检测的原理分成两大类：第一种，两步检测算法，即将目标检测分为两个步骤，先产生候选区域，然后对候选区域进行分类，该类算法的典型代表是R-CNN，Fast R-CNN等；第二种，一步检测算法，直接计算得到目标的位置坐标和分类概率值，该类算法的典型代表是SSD和YOLO。目标检测的速度和准确率是评价目标检测模型的两个主要性能指标，一般情况下，两步算法得到的计算准确率更高，但一步算法速度更快。

本发明方法是一种对水面目标进行精确检测和识别的方法，充分考虑了多种水面环境的场景信息，消除了水面倒影对目标检测带来的干扰，为避障和目标抓取及场景理解提供了技术支持。

发明内容

本发明的目的在于提供一种稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，用于当多种水面场景的目标图像采集不足且相关倒影存在时，能在样本得到补充的同时消除倒影带来的影响，提高水面目标的检测精度。

本发明的目的是这样实现的：

稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，包括以下步骤:

步骤一、水面数据集的采集，使用高清相机在不同水面场景、不同远近高低视角的水面环境下进行采集，当中的目标如船只、浮标等需满足种类的多样性，并用客观指标PSNR、主观人眼评价目标细节，舍弃目标细节模糊的图片；

步骤二、利用图片标注工具Labelimg对拍摄到的图片进行标注得到xml文件和代表标签的txt文件，读取xml文件中目标标注框的位置信息，将此处图像与周围指定区域进行相似度的匹配，在匹配成功处将模板此时所在位置的外围的像素值相加取平均值，代替框内所有像素值，进行倒影消除；

步骤三、对已有图片采用镜像、翻转、仿射变换、分段仿射、雾化、雨化的形式进行数据集增强，使样本图片的数量扩充到原本的6-12倍，对扩充后的图片进行标注，按照5:1的比例形成训练集和测试集，由于模板信息发生变更，重复上一步提高倒影消除精度；

步骤四、根据目标信息搭建水面目标检测网络，对训练数据集进行训练，为加大对细节特征的提取力度，将每次池化前的卷积层层层相连，使每一层的输入来自前面所有层的输出，形成密集模块，使卷积层结构变为4次密集卷积4次激活4次池化，同时考虑到各水面目标在图像上的像素比例以及密集连接层的使用，锚点框的大小和数目应更加丰富，设置锚点框的长宽比为[1:1,1；2,1；3,3:1,2:1,1:1]；

步骤五、在训练网络中消除倒影带来的干扰，在验证网络中对倒影进行识别，在验证网络中加入倒影判别模块，在已经识别出的标签中筛选出真正的水面目标，并将倒影标签舍去，不计入平均准确率的计算；

步骤六、在验证结果中添加最优检测程序，设定该网络每500步就对测试集进行一次验证，该程序计算每一次测试结果中所有目标的平均准确率，若后一次准确率高于前一次，则将前一次的测试结果覆盖，即该程序只保留最高准确率的结果，若loss的数值曲线逐渐降低，且长时间未发生测试结果的更新，而平均准确率一直维持在一个低的数值上，程序会判定该网络发生过拟合，此时应改变数据集的扩充方式，提高镜像、旋转、翻转的数据集的数量，适当减少雾化、雨化的数据，重新训练，直至出现最优的验证结果。

步骤二所述的倒影消除具体包括：

步骤2.1、利用图片标注工具对拍摄到的图片进行数据集制作，标注得到xml文件，通过图像处理工具读取xml文件中目标标注框的位置信息，在原图中提取该位置图像生成目标图形模板；

步骤2.2、设定倒影出现的有效范围为标注框以外的正下方及正下方左右的一个标注框区域内，计算该区域的平均色彩亮度和饱和度，调整目标图形模板的色彩亮度和饱和度使其与倒影区域相同；

步骤2.3、考虑到单模板的匹配精度不足以及倒影的边缘逐渐模糊的问题，将该模板沿底线向上分别按0.3、0.5、0.7、0.9、1的比例多次水平切分，逐次取最下方的一块旋转后，在上述指定范围内滑动与切分块同大小的倒影区域进行图像相似度的匹配，匹配标准定为结构相似度和峰值信噪比，其中结构相似度的阈值为0.4,峰值信噪比的阈值为17dB，两者有一个达到阈值则判定此处存在水面倒影；

步骤2.4、在匹配成功处的框外的一个像素范围形成的像素框上，将该像素框上所有像素值相加取平均值，代替框内所有像素值，进行倒影消除。

步骤五所述的倒影判别模块具体包括:

步骤5.1、首先在验证网络的输出识别框中判别同一类标签出现的次数，若该次数大于1，则表明该类的倒影可能被误判为目标；

步骤5.2、对已经识别出的标为同一类的复数目标标签之间进行方位和大小的判定，若某两个相同标签中心的欧氏距离小于标签框最长边的长度，且下方标签的最上边在上方标签的中心之下，标签框大小小于等于上方标签，此时下方标签有可能是倒影，提取上方标签，并进行裁剪，使上方标签框同下方标签框大小相同；

步骤5.3、将修剪后的上方标签框旋转后与下方标签框匹配，匹配标准定为结构相似度和峰值信噪比，结构相似度的阈值为0.6,峰值信噪比的阈值为22dB，两者有一个达到阈值则判定较下方的标签发生了倒影，识别为目标的误判，舍弃对此处的识别，并不计入网络平均准确率的计算。

本发明的有益效果在于：本发明方法用于当多种水面场景的目标图像采集不足且相关倒影存在时，能在样本得到补充的同时消除倒影带来的影响，提高水面目标的检测精度；本发明方法是一种对水面目标进行精确检测和识别的方法，充分考虑了多种水面环境的场景信息，消除了水面倒影对目标检测带来的干扰，为避障和目标抓取及场景理解提供了技术支持。

附图说明

图1是本发明的系统流程图。

具体实施方式

下面结合附图对本发明做更详细地说明。

本发明提供的是一种稀缺认知样本条件下排除倒影干扰的水面目标深度检测方法，用于当多种水面场景的目标图像采集不足且相关倒影存在时，能在样本得到补充的同时消除倒影带来的影响，提高水面目标的检测精度。

稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，主要包括以下步骤：

步骤一、水面数据集的采集，利用高清相机尽量在多种不同的水面环境下进行采集，数量满足1000张，图片大小为320*320，用客观指标PSNR、主观人眼评价目标细节，为防止数据集增强带来的噪声造成过拟合，目标细节模糊的图片应该舍弃。

步骤二、利用图片标注工具对拍摄到的图片进行数据集制作，标注得到xml文件，通过图像处理工具读取xml文件中目标标注框的位置信息，在原图中提取该位置图像生成目标图形模板，并调低色彩亮度和饱和度，将该模板分别按0.3、0.5、0.7、0.9、1的比例多次水平切分，每次取最下方的一块在标注框以外的正下方及正下方左右的一个标注框区域内旋转后进行相似度的匹配，按照1、0.9、0.7、0.5、0.3的顺序，将匹配成功处的框外的一个像素范围形成的像素框上的所有像素值相加取平均值，与其他标注框的重叠部分不计，代替框内所有像素值，进行倒影消除。

步骤三、对已有图片采用镜像、旋转、翻转、雾化、雨化、仿射变换的形式进行数据集增强，使样本图片的数量扩充到原本的6-12倍，对扩充后的图片进行标注，按照5:1的比例形成训练集和测试集，由于模板信息发生变更，重复上一步可提高倒影消除精度。

步骤四、搭建水面目标检测网络，对训练数据集进行训练。将每次池化前的卷积层层层相连，使每一层的输入来自前面所有层的输出，形成密集模块，使卷积层结构变为4次密集卷积4次激活4次池化。根据1000张图片的目标信息，设置区域生成网络中锚点的数目和大小，长宽比为[1:1,1；2,1；3,3:1,2:1,1:1]，使其和检测目标匹配。

步骤五、在网络验证时的框架结构中，在输出识别框的程序里添加倒影判别模块，对图中已经识别出的同一种类的复数目标标签之间进行距离判定，若两个相同标签中心即矩形框的中心的欧氏距离小于标签框最长边的长度，且下方标签的最上边在上方标签的中心之下，标签框大小小于等于上方标签。此时提取上方标签，并进行裁剪，按照从上至下，保留底边的方式裁剪，使上方标签框同下方标签框大小相同。将这两个标签框旋转匹配，若匹配成功，则将位于较下方的目标判定为倒影，舍弃对该处目标的识别，并不计入平均准确率的计算。

步骤六、在验证结果中加入结果最优检测程序，设定该网络每500步就对测试集进行一次验证，该程序求得每一次测试结果中所有目标的平均准确率，若后一次准确率高于前一次，则将前一次的测试结果覆盖，即该程序只保留最高准确率的结果，若loss的数值曲线逐渐降低，长时间未发生测试结果的更新，而平均准确率一直维持在一较低数值上，程序会判定该网络发生过拟合。若发生过拟合，改变数据集的扩充方式，提高镜像、旋转、翻转的数据集的数量，并多次训练直至模型准确率最高为止。

稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，具体包括以下步骤：

步骤一、水面图像训练集的采集方法应满足在不同水面场景、不同远近高低视角下使用高清相机进行，当中的目标如船只、浮标等应满足种类的多样性，数量1000张左右，需用客观指标PSNR、主观人眼评价目标细节，为防止之后的数据集增强带来的噪声造成过拟合，目标细节模糊的图片应该舍弃。

步骤二、利用图片标注工具Labelimg对拍摄到的图片进行标注得到xml文件和代表标签的txt文件，读取xml文件中目标标注框的位置信息，将该处图像与周围指定区域进行相似度的匹配，在匹配成功处将模板此时所在位置的外围的像素值相加取平均值，其中标注框、各框的重叠部分排除，代替框内所有像素值，进行倒影消除，步骤二具体为：

步骤2.1、利用图片标注工具对拍摄到的图片进行数据集制作，标注得到xml文件，通过图像处理工具读取xml文件中目标标注框的位置信息，在原图中提取该位置图像生成需要的目标图形模板；

步骤2.2、设定倒影出现的有效范围为标注框以外的正下方及正下方左右的一个标注框区域内，计算该区域的平均色彩亮度和饱和度，调整目标图形模板的色彩亮度和饱和度使其与倒影区域相同，忽略掉与其他标注框重叠的部分；

步骤2.3、将该模板沿底线向上分别按0.3、0.5、0.7、0.9、1的比例多次水平切分，逐次取最下方的一块旋转后，在上述指定范围滑动与同切分块大小的倒影区域进行图像相似度的匹配，按照1、0.9、0.7、0.5、0.3的顺序，匹配标准定为结构相似度和峰值信噪比，其中结构相似度的阈值为0.4,峰值信噪比的阈值为17dB，两者有一个达到阈值则判定该处存在水面倒影；

步骤2.4、在匹配成功处的框外的一个像素范围形成的像素框上，将该像素框上所有像素值相加取平均值，与其他标注框的重叠部分不计，代替框内所有像素值，进行倒影消除。

步骤三、对已有图片采用镜像、翻转、仿射变换、分段仿射、雾化、雨化的形式进行数据集增强，使样本图片的数量扩充到原本的6-12倍。对扩充后的图片进行标注，按照5:1的比例形成训练集和验证集，由于模板信息发生变更，重复上一步可提高倒影消除精度。

步骤四、根据目标信息搭建水面目标检测网络，对训练数据集进行训练。主要分为以下几个部分：

1.将每次池化前的卷积层层层相连，使每一层的输入来自前面所有层的输出，形成密集模块，用密集卷积层对输入图进行特提取，所产生的特征图传递给后续的区域生成网络和全连接层。

2.区域生成网络用于生成建议区域，该层通过归一化指数函数判断锚点属于目标还是属于背景，考虑到各水面目标在图像上的像素比例以及密集连接层的使用，设置锚点框的长宽比为[1:1,1:2,1:3,3:1,2:1,1:1]，再利用矩形框修正工具修正锚点以获得精确的建议区域。

3.感兴趣区域池化层接收输入的特征图和建议区域，综合这些信息提取建议区域特征图，送入后续的全连接层判定目标类别。

4.分类检测层，利用建议区域特征图计算所有目标的区域建议类别，同时再次利用矩形标准框修正获得检验框的最终精确位置。

步骤五、在训练网络中应消除倒影带来的干扰，在验证网络中应能对倒影进行识别。在验证网络中加入倒影判别模块，在已经识别出的标签中筛选出真正的水面目标，并将倒影标签舍去，不计入平均准确率的计算，步骤五具体为：

步骤5.1、首先在验证网络的输出识别框中判别同一类标签出现的次数，若该次数大于1，则表明该类目标的倒影可能被误判为目标。

步骤5.2、对已经识别出的标为同一类的复数目标标签之间进行方位和大小的判定，若两个相同标签中心即矩形框的中心的欧氏距离小于标签框最长边的长度，且下方标签的最上边在上方标签的中心之下，标签框大小小于等于上方标签。此时提取上方标签，并进行裁剪，按照从上至下，保留底边的方式裁剪，使上方标签框同下方标签框大小相同。

步骤5.3、将修剪后的上方标签框旋转后与下方标签框匹配，匹配标准定为结构相似度和峰值信噪比，结构相似度的阈值为0.6,峰值信噪比的阈值为22dB，两者有一个达到阈值则判定较下方的标签发生了倒影识别为目标的误判，舍弃对该处的识别，并不计入网络平均准确率的计算。

步骤六、在验证结果中添加验证结果最优检测程序，设定该网络每500步就对测试集进行一次验证，该程序计算每一次测试结果中所有目标的平均准确率。若后一次准确率高于前一次，则将前一次的测试结果覆盖，即该程序只保留最高准确率的结果，若loss的数值曲线逐渐降低，长时间未发生测试结果的更新，而平均准确率一直维持在一较低数值上，程序会判定该网络发生过拟合。此时应改变数据集的扩充方式，提高镜像、旋转、翻转的数据集的数量，适当减少使用加噪方式产生的数据集，重新训练直至模型对验证集的测试准确率达到最高为止。

本发明提供的是一种稀缺认知样本条件下排除倒影干扰的水面目标检测方法，用于当多种水面场景的目标图像采集不足且相关倒影存在时，能在样本得到补充的同时消除倒影对检测精度带来的影响，提高水面目标的识别能力。该方法首先利用稀缺水面数据集制作时的标注信息锁定目标模板，进行指定区域匹配实现倒影去除，再通过雾化、雨化等多种形式实现样本增强，之后搭建目标网络架构，并根据图中目标信息建立密集卷积结构，制定锚点尺度提取特征，进行深度目标检测。在验证网络中添加倒影判别模块，提高真实目标的识别精度，最后通过验证结果最优检测程序，优化网络的检测性能。与现有方法相比，本发明检测精度高，对重叠及遮挡的目标处理效果更佳，在水面、海洋图像的检测中尤为适用。

Claims (3)

1.稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，其特征在于，包括以下步骤:

步骤一、水面数据集的采集，使用高清相机在不同水面场景、不同远近高低视角的水面环境下进行采集，当中的目标如船只、浮标等需满足种类的多样性，并用客观指标PSNR、主观人眼评价目标细节，舍弃目标细节模糊的图片；

步骤二、利用图片标注工具Labelimg对拍摄到的图片进行标注得到xml文件和代表标签的txt文件，读取xml文件中目标标注框的位置信息，将此处图像与周围指定区域进行相似度的匹配，在匹配成功处将模板此时所在位置的外围的像素值相加取平均值，代替框内所有像素值，进行倒影消除；

步骤三、对已有图片采用镜像、翻转、仿射变换、分段仿射、雾化、雨化的形式进行数据集增强，使样本图片的数量扩充到原本的6-12倍，对扩充后的图片进行标注，按照5:1的比例形成训练集和测试集，由于模板信息发生变更，重复上一步提高倒影消除精度；

步骤四、根据目标信息搭建水面目标检测网络，对训练数据集进行训练，为加大对细节特征的提取力度，将每次池化前的卷积层层层相连，使每一层的输入来自前面所有层的输出，形成密集模块，使卷积层结构变为4次密集卷积4次激活4次池化，同时考虑到各水面目标在图像上的像素比例以及密集连接层的使用，锚点框的大小和数目应更加丰富，设置锚点框的长宽比为[1:1,1；2,1；3,3:1,2:1,1:1]；

步骤五、在训练网络中消除倒影带来的干扰，在验证网络中对倒影进行识别，在验证网络中加入倒影判别模块，在已经识别出的标签中筛选出真正的水面目标，并将倒影标签舍去，不计入平均准确率的计算；

步骤六、在验证结果中添加最优检测程序，设定该网络每500步就对测试集进行一次验证，该程序计算每一次测试结果中所有目标的平均准确率，若后一次准确率高于前一次，则将前一次的测试结果覆盖，即该程序只保留最高准确率的结果，若loss的数值曲线逐渐降低，且长时间未发生测试结果的更新，而平均准确率一直维持在一个低的数值上，程序会判定该网络发生过拟合，此时应改变数据集的扩充方式，提高镜像、旋转、翻转的数据集的数量，适当减少雾化、雨化的数据，重新训练，直至出现最优的验证结果。

2.根据权利要求1所述的稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，其特征在于，步骤二所述的倒影消除具体包括：

步骤2.1、利用图片标注工具对拍摄到的图片进行数据集制作，标注得到xml文件，通过图像处理工具读取xml文件中目标标注框的位置信息，在原图中提取该位置图像生成目标图形模板；

步骤2.2、设定倒影出现的有效范围为标注框以外的正下方及正下方左右的一个标注框区域内，计算该区域的平均色彩亮度和饱和度，调整目标图形模板的色彩亮度和饱和度使其与倒影区域相同；

步骤2.3、考虑到单模板的匹配精度不足以及倒影的边缘逐渐模糊的问题，将该模板沿底线向上分别按0.3、0.5、0.7、0.9、1的比例多次水平切分，逐次取最下方的一块旋转后，在上述指定范围内滑动与切分块同大小的倒影区域进行图像相似度的匹配，匹配标准定为结构相似度和峰值信噪比，其中结构相似度的阈值为0.4,峰值信噪比的阈值为17dB，两者有一个达到阈值则判定此处存在水面倒影；

步骤2.4、在匹配成功处的框外的一个像素范围形成的像素框上，将该像素框上所有像素值相加取平均值，代替框内所有像素值，进行倒影消除。

3.根据权利要求1所述的稀缺认知样本条件下的排除倒影干扰的水面目标检测方法，其特征在于，步骤五所述的倒影判别模块具体包括:

步骤5.1、首先在验证网络的输出识别框中判别同一类标签出现的次数，若该次数大于1，则表明该类的倒影可能被误判为目标；

步骤5.2、对已经识别出的标为同一类的复数目标标签之间进行方位和大小的判定，若某两个相同标签中心的欧氏距离小于标签框最长边的长度，且下方标签的最上边在上方标签的中心之下，标签框大小小于等于上方标签，此时下方标签有可能是倒影，提取上方标签，并进行裁剪，使上方标签框同下方标签框大小相同；

步骤5.3、将修剪后的上方标签框旋转后与下方标签框匹配，匹配标准定为结构相似度和峰值信噪比，结构相似度的阈值为0.6,峰值信噪比的阈值为22dB，两者有一个达到阈值则判定较下方的标签发生了倒影，识别为目标的误判，舍弃对此处的识别，并不计入网络平均准确率的计算。