CN112526490B - 一种基于计算机视觉的水下小目标声呐探测系统与方法 - Google Patents

Abstract

本发明设计了一种基于计算机视觉的水下小目标声呐探测系统与方法，该系统包括：声呐数据采集单元、预处理单元、矩形图与扇形图变换与反变换单元、图像三维投影单元、图像配准单元、目标检测单元以及后处理单元。该方法包括：将船舰开至待探测水域,获取待探测水域下信息，将这些信息打包进行结构化存储；将打包后的图像进行预处理，将所述原始声呐数据转换为声呐矩形图；对所述声呐矩形图形进行变换，得到以船舰为中心原点的扇形图；通过软件，用户在扇形图上框选区域，并将该区域坐标进行反变换，得到该区域在所述矩形图中的坐标位置，将矩形图中的区域截取出来，输入到目标检测模型进行推理，得到检测结果。

Description

一种基于计算机视觉的水下小目标声呐探测系统与方法

技术领域

本发明涉及计算机视觉目标检测领域，特别是涉及一种基于计算机视觉的水下小目标声呐探测系统与方法。

背景技术

作为水雷战的组成部分之一，水雷探测工作对保护国家安全具有十分重要的意义。同时，近年来随着海洋信息处理技术的快速发展，应用于海底光缆铺设等多个领域的水下目标探测技术也日益发展。因此提高水下目标探测技术对国家的军事和经济有着非常深远的意义。

声呐是海底测绘的有力工具之一，声呐成像技术的快速发展使得对水下目标检测任务有了巨大的需求，但是由于大部分声呐图像所受干扰大、分辨率低、像素信息少等原因，目前还没有成熟的基于声呐图像的目标检测与识别系统及方法。传统的水下目标图像识别方法都是进行人工提取特征，然后通过与目标图像进行比对或者采用分类器对特征图像进行分类，这样的方法在很大程度上受人工提取的特征影响，若图像的像素较少或者特征提取得不够准确，识别效果就很不理想。而且声呐图像具有噪声污染严重、目标边界模糊等缺点，以当前的技术水平难以达到较好的提取效果。目前的水下探测装备仍受限于信息处理技术水平，无法高效、准确的处理前端探测器所获的大量数据信息。

发明内容

本发明能够利用声呐设备探测水中的环境情况，对水中的水雷、基阵、管线和潜标进行有效探测，并准确确定目标的种类和位置信息，同时将探测结果通过图形界面友好地展现给探测人员。

为实现上述目的，本发明提供了如下方案：

一种基于计算机视觉的水下小目标声呐探测系统，包括：

数据采集单元：用于采集目标水域下的环境声呐数据以及船体的位置和姿态信息，并打包进行结构化存储；

预处理单元：用于读取打包后的数据，将其解包，从解包后的数据分离出原始声呐数据和其他传感器采集的船舰姿态位置数据，将所述原始声呐数据转换为声呐矩形图形式；

矩形图与扇形图变换与反变换单元：用于对所述声呐矩形图形进行变换，得到以船体为中心原点的扇形图表现形式，将所述扇形图中的坐标反变换到矩形图中的坐标；

图像三维投影单元：用于根据船体的经纬度、航向、航速、姿态信息，计算出某一帧所述扇形图中的某个区域在其前后若干帧中的位置信息；

图像配准单元：用于根据所述三维投影单元得到的结果，将所述某一帧扇形图和其前后若干帧中的同一投影区域进行融合，以增强目标特征；

目标检测单元：用于根据用户在所述扇形图中框选出的区域，针对水雷、基阵、管线以及潜标这四种典型水下小目标进行检测，输出检测结果；

后处理单元：用于将所述声呐扇形图、船舰的位置和姿态信息、目标检测结果以图形化的方式进行展示，同时提供与用户进行交互的环境，方便用户在所述声呐扇形图上选取区域。

优选地,所述数据采集单元由船舰、云台、声呐设备、GPS仪、船体姿态传感器、数据采集卡组成。

优选地,所述云台用于稳定船体；所述声呐设备用于采集目标水域下的环境声呐数据；所述GPS仪用于采集船舰的位置数据；所述船体姿态传感器用于采集船体的姿态信息；所述数据采集卡用于将所采集到的模拟信号转换成数字信号。

优选地，所述探测系统中还包括UI操作界面，所述UI操作界面包括：

软件配置模块：用于配置输入的原始数据文件、参数文件、软件运行过程中产生的缓存文件的路径，以及一些相关配置；

船舰信息展示模块：用于显示由原始数据解析而来的船舰所处的环境及位置姿态信息；

声呐数据展示模块：用于以直观的形式向用户展示声呐数据，包括：扇形图，所选择区域的放大图；以手动切换模式或自动播放模式向用户进行展示；

用户框选交互模块：用于向用户提供在扇形图上选取区域的方式，包括框选和点选两种方式；

目标检测模块：用于按照探测方法逻辑依次调用相关的处理和检测算法，得到用户所选区域的检测结果，并向用户进行展示。

一种基于计算机视觉的水下小目标声呐探测系统的探测方法，包括以下步骤：

S1、将船舰开至待探测水域,通过所述船舰上的声呐设备、GPS、船舰姿态以及传感器获取待探测水域下的声呐数据、船舰的位置信息、姿态信息，将获得的信息打包进行结构化存储；

S2、将步骤S1中打包后的数据进行预处理，分离得到原始声呐数据以及船舰的位置和姿态参数信息，将所述原始声呐数据转换为声呐矩形图；

S3、对所述声呐矩形图形进行变换，得到以船舰为中心原点的扇形图；

S4、通过所述后处理单元，在所述扇形图上框选区域，并将所述框选区域的坐标进行反变换，得到所述区域在所述矩形图中的坐标位置，将矩形图中的区域截取出来，直接输入目标检测模型进行推理，得到检测结果；

S5、若所述步骤S4中目标检测模型推理得到的结果低于所设置信度阈值时，则根据所述船舰位置信息和姿态信息，经过图像三维投影单元，将所述框选区域投影到扇形图中，计算出所选区域在其前后N帧中的位置坐标，将所述位置坐标区域经过反变换处理，在矩形图中截取出来，输入到目标检测模型进行推理，得到N个临时检测结果，最后计算出一个综合检测结果；

S6、若经过所述步骤S5后得到的检测结果，置信度仍然低于所设阈值，则将所述经过三维投影单元得到的图像，经过所述图像配准单元，将某一帧扇形图和其前后N帧图像中的同一块投影区域进行融合；将所述N帧图像融合为一张特征信息得到增强的图像，输入到目标检测模型进行推理，得到最终检测结果。

优选地，所述步骤S1中船舰位置信息和姿态信息包括：船舰经纬度、船舰航速、船舰航向角、船舰纵摇角、船舰横摇角，基阵舷角，基阵俯仰角、基阵横摇角，将所述船舰位置信息和姿态信息以相同格式打包到一起，进行结构化存储。

本发明的有益效果为：

(1)本发明通过使用计算机视觉领域人工智能目标检测算法，有效地解决了水声图像样本较少、成像后质量不高，存在像素少、噪声干扰与大背景干扰等问题，避免了人工提取特征不准确对结果的影响，降低了成本，且不需要大量样本；

(2)本发明大大提高了对声呐目标的检测速度和准确率，能够在船舶航行中实时对一些小目标进行探测，辅助操作人员进行决策，同时提供了直观友好的软件操作界面，使操作人员更易理解和操作声呐数据；

(3)本发明从方法和系统上详细介绍了探测水下小目标的步骤，具有较高的精度，操作方便，便于维护和更新，具有极大的应用价值和军事效益。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为基于计算机视觉的水下小目标探测系统的示意图；

图2为基于计算机视觉的水下小目标探测方法的流程图；

图3为基于计算机视觉的水下小目标探测系统的执行流程图；

图4为基于计算机视觉的水下小目标探测系统的主界面示意图。

具体实施方式

本发明能够利用声呐设备探测水中的环境情况，对水中的水雷、基阵、管线和潜标4类目标进行有效探测，并准确确定目标的种类和位置信息，同时将探测结果通过图形界面友好地呈现给探测人员。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供了一种基于计算机视觉的水下小目标声呐探测系统，如图1所示，主要由声呐数据采集单元、预处理单元、矩形图与扇形图变换与反变换单元、图像三维投影单元、图像配准单元、目标检测单元以及后处理单元七个单元组成。其中：

1、数据采集单元由船舰、云台、声呐设备、GPS仪、船体姿态传感器、数据采集卡等组成，负责采集目标水域下的环境声呐数据以及船体的位置和姿态信息，并打包进行结构化存储；为了提高船舰在海上定位的精度和稳定性，充分利用数据融合技术和传感器技术，提高了定位系统的信息采集时效性、可靠性和准确度；

2、预处理单元用于读取打包后的声呐数据，将其解包，从中分离出原始声呐数据和其他传感器采集的船舰姿态位置数据，并将原始声呐数据转换为声呐矩形图形式；

3、矩形图与扇形图变换与反变换单元用于对声呐矩形图进行变换，声呐设备通过震源的规律排列实现声波的定向发射，声音由震源震动产生，向四周球面扩散，得到以船体为中心原点的扇形图表现形式，同时，也能够将扇形图中的坐标反变换到矩形图中的坐标；

4、图像三维投影单元用于根据船体的经纬度、航向、航速、姿态等信息，根据船上搭载的GPS数据、各类传感器数据以及声呐数据建立三维模型，对所述三维模型进行预处理，对预处理后的三维模型进行归一化处理，得到三维模型的包围盒，建立三维模型OBB包围盒，建立二维投影图像与三维模型之间的联系，将得到三维模型投影到扇形图中，计算出某一帧扇形图中的某个区域在其前后若干帧中的位置信息；

5、图像配准单元用于根据三维投影的结果，将某一帧扇形图和其前后若干帧中的同一块投影区域进行融合，以达到增强目标特征的目的；

6、目标检测单元用于用户在扇形图中框选出的区域，针对水雷、基阵、管线以及潜标这四种典型水下小目标进行检测，输出检测结果信息；

7、后处理单元用于将声呐扇形图、船舰的位置和姿态信息、目标检测结果以图形化的方式展示给用户，同时提供与用户进行交互的环境，方便用户在声呐扇形图上选取感兴趣区域。

一种基于计算机视觉的水下小目标声呐探测方法(如图2)，包括：

S1、将船舰开至待探测水域，通过船舰上的声呐设备、GPS、姿态以及其他传感器获取当前船舰所处水域下方以探测船舰为中心，半径为350米，左右视角为±15°范围内的声呐数据，以及船舰自身的位置和姿态数据，包括本舰经纬度、本舰航速、本舰航向角、本舰纵摇角、本舰横摇角、基阵舷角、基阵俯仰角、基阵横摇角等，并将它们以一定格式打包在一起，进行结构化存储；

S2、对步骤S1得到的打包后的图像进行预处理，分离得到原始声呐数据以及船舰的位置和姿态参数信息，并进一步将原始声呐数据转换为声呐矩形图形式；利用形状、轮廓特征可对图像进行分离提取，图像预处理过程由python实现，主要使用python版的opencv库。

S3、对声呐矩形图进行变换，采用cordic算法，得到以船舰为中心原点的扇形图；

S4、通过系统，用户在扇形图上框选感兴趣区域，并将该区域的坐标进行反变换，得到矩形图中该区域的坐标位置，将矩形图中的区域截取出来，直接输入目标检测模型进行推理，得到检测结果；

S5、为了提高检测结果的可靠性，若步骤S4中目标检测模型推理得到的结果低于所设置信度阈值，则再根据船舰经纬度、航向航速、姿态等信息，计算出感兴趣区域在其前后N帧中的位置坐标，将这些区域经过反变换，在矩形图中截取出来，输入目标检测模型进行推理，得到N个临时检测结果，计算出一个综合检测结果；

当置信度阈值设置的过高时，目标检测模型对正样本(目标物)预测的准确度会增加，但是可能会漏检很多正样本。当置信度阈值设置的过低时，模型漏减正样本的概率会减小，但是可能会将很多负样本(其他物体、干扰噪声等)检测误检为正样本。简单来说，阈值设置越高，会提高查准率(Precision)，但是会降低查全率(Recall)，阈值设置越低，会提高查全率，但是会降低查准率。

因此置信度阈值的选取需要权衡查准率和查全率，使其尽量能够同时达到较高的查准率和查全率。

本发明中的置信度阈值通过多次实验测试得来，实验时将初始的置信度阈值设置为1.00，然后以0.05为步长减小阈值直至0.00，使用测试集数据输入目标检测模型进行推理，统计检测结果，计算出每个阈值下的查准率和查全率，然后选取能使查准率和查全率均较高的那个阈值作为最终的置信度阈值。

查准率、查全率的定义如下：

其中，TP表示被目标检测模型判定为正样本，实际上也是正样本的数量，FP表示被目标检测模型判定为正样本但是实际上是负样本的数量，FN表示被目标检测模型判定为负样本但实际上是正样本的数量，TN则表示被目标检测模型判定为负样本，实际上也是负样本的数量。

S6、若经过步骤S5后得到的检测结果置信度依然低于置信度阈值，则再对步骤S5中截取出来的经过投影处理后的区域图像进行配准操作，将N帧图像配准并融合为一张特征信息得到增强的图像，输入目标检测模型进行推理，得到最终检测结果；

S7、将步骤S6得到的预测结果进行后处理，输出至系统界面，呈现给用户观察。

基于计算机视觉的水下小目标探测系统的执行流程如图3所示，系统开始运行时，探测人员向系统传入原始数据所在的路径，系统会到该路径下读取数据，并按照格式解析出声呐原始数据和船舰自身的状态参数。其中，系统直接将船舰状态信息显示到主界面上供用户查看，而对于声呐原始数据，由于其表现为不太直观的矩形图形式，系统会调用变换算法，将其转换为易于直观查看的扇形图形式，之后系统将扇形图像显示在主界面上。由于输入的声呐数据往往是连续的多帧数据，而不是单帧，为了便于探测人员查看，系统提供翻页功能，用户可以手动点击按钮进行切换显示，也可以选择自动播放模式，在该模式下，系统每间隔一段时间便自动切换至下一帧进行显示。

探测人员在查看扇形图时，若发现扇形图中的某块区域疑似含有待探测的目标，便可以直接在扇形图上框选出那块区域作为感兴趣区域。框选结束后，系统会将该区域放大显示在一边，供探测人员进一步研究。当探测人员想要对感兴趣区域中的目标进行识别时，可以在软件界面上手动设置一段帧数范围，点击“处理”按钮，系统将对范围内的前后帧中相同区域的图像进行抽取，并将抽取结果显示在界面上。相比于扇形图像，矩形图形式的原始声呐图像中保留有更多的目标特征信息，因此，系统对截取出来的感兴趣区域调用反变换算法，得到其在声呐原始图像中的区域位置，并将其截取出来，输入目标检测算法后得到检测结果，并展示在界面上。

系统的UI操作界面如图4所示，其主要由以下5个模块组成：软件配置模块、船舰信息展示模块、声呐数据展示模块、用户框选交互模块以及目标检测模块。其中，软件配置模块位于界面的左下方，用于配置输入的原始数据文件、参数文件、软件运行过程中产生的缓存文件的存储路径，以及其他一些相关配置，在软件运行过程中，该区域将会被锁定为不可编辑状态，保证软件在运行过程中的稳定性；船舰信息模块位于软件的右下方，主要用于显示由原始数据解析而来的船舰所处的环境及自身位置姿态信息，主要包括：本舰经纬度、本舰航速、本舰航向角、本舰纵摇角、本舰横摇角、基阵舷角、基阵俯仰角、基阵横摇角；声呐扇形图像模块位于软件的左上方，是界面的主要部分，主要用于以直观的形式向用户展示声呐数据，主要包括扇形图以及感兴趣区域的放大图，以便于探测人员观察水中情形，软件提供具有两种查看模式，分别为手动模式以及自动模式。手动模式下，需要操作人员手动切换需要显示的声呐扇形图像；自动模式下，声呐扇形图像的切换均由定时器自动控制；用户框选交互模块主要用于向用户提供在扇形图上选取感兴趣区域的方式，包括框选和点选两种；目标探测模块位于界面的右上方，主要用于按照探测方法逻辑依次调用相关的处理和检测算法，得到用户感兴趣区域的检测结果，并向用户进行展示。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种基于计算机视觉的水下小目标声呐探测系统，其特征在于，包括：

数据采集单元：用于采集目标水域下的环境声呐数据以及船体的位置和姿态信息，并打包进行结构化存储；

预处理单元：用于读取打包后的数据，将其解包，从解包后的数据分离出原始声呐数据和其他传感器采集的船舰姿态位置数据，将所述原始声呐数据转换为声呐矩形图形式；

矩形图与扇形图变换与反变换单元：用于对所述声呐矩形图形进行变换，得到以船体为中心原点的扇形图表现形式，将所述扇形图中的坐标反变换到矩形图中的坐标；

图像三维投影单元：用于根据船体的位置、姿态信息，计算出某一帧所述扇形图中的某个区域在其前后若干帧中的位置信息；

图像配准单元：用于根据所述三维投影单元得到的结果，将所述某一帧扇形图和其前后若干帧中的同一投影区域进行融合，以增强目标特征；

目标检测单元：用于根据用户在所述扇形图中框选出的区域，针对水雷、基阵、管线以及潜标这四种典型水下小目标进行检测，输出检测结果；

后处理单元：用于将所述声呐扇形图、船舰的位置和姿态信息、目标检测结果以图形化的方式进行展示，同时提供与用户进行交互的环境，方便用户在所述声呐扇形图上选取区域。

2.根据权利要求1所述的基于计算机视觉的水下小目标声呐探测系统,其特征在于,所述数据采集单元由船舰、云台、声呐设备、GPS仪、船体姿态传感器、数据采集卡组成。

3.根据权利要求2所述的基于计算机视觉的水下小目标声呐探测系统,其特征在于,所述云台用于稳定船体；所述声呐设备用于采集目标水域下的环境声呐数据；所述GPS仪用于采集船舰的位置数据；所述船体姿态传感器用于采集船体的姿态信息；所述数据采集卡用于将所采集到的模拟信号转换成数字信号。

4.根据权利要求1所述的基于计算机视觉的水下小目标声呐探测系统，其特征在于，所述探测系统中还包括UI操作界面，所述UI操作界面包括：

软件配置模块：用于配置输入的原始数据文件、参数文件、软件运行过程中产生的缓存文件的路径。

5.一种基于权利要求1-4任一项所述的基于计算机视觉的水下小目标声呐探测系统的探测方法，其特征在于，包括以下步骤：

S1、将船舰开至待探测水域,通过所述船舰上的声呐设备、GPS仪、船舰姿态传感器获取待探测水域下的声呐数据、船舰的位置信息、姿态信息，将获得的信息打包进行结构化存储；

S2、将步骤S1中打包后的数据进行预处理，分离得到原始声呐数据以及船舰的位置和姿态参数信息，将所述原始声呐数据转换为声呐矩形图；

S3、对所述声呐矩形图形进行变换，得到以船舰为中心原点的扇形图；

S4、通过所述后处理单元，在所述扇形图上框选区域，并将所述框选区域的坐标进行反变换，得到所述区域在所述矩形图中的坐标位置，将矩形图中的区域截取出来，直接输入目标检测单元进行推理，得到检测结果；

S5、若所述步骤S4中目标检测单元推理得到的结果低于所设置信度阈值时，则根据所述船舰位置信息和姿态信息，经过图像三维投影单元，将所述框选区域投影到扇形图中，计算出所选区域在其前后N帧中的位置坐标，将所述位置坐标区域经过反变换处理，在矩形图中截取出来，输入到目标检测单元进行推理，得到N个临时检测结果，最后计算出一个综合检测结果；

S6、若经过所述步骤S5后得到的检测结果，置信度仍然低于所设阈值，则将所述经过三维投影单元得到的图像，经过所述图像配准单元，将某一帧扇形图和其前后N帧图像中的同一块投影区域进行融合；将所述N帧图像融合为一张特征信息得到增强的图像，输入到目标检测单元进行推理，得到最终检测结果。

6.根据权利要求5所述的基于计算机视觉的水下小目标声呐探测系统的探测方法，其特征在于，所述步骤S1中船舰位置信息和姿态信息包括：船舰经纬度、船舰航速、船舰航向角、船舰纵摇角、船舰横摇角、基阵舷角、基阵俯仰角、基阵横摇角，将所述船舰位置信息和姿态信息以相同格式打包到一起，进行结构化存储。

Images