CN104808210B - 一种声纳和双目视觉成像系统的融合成像装置及方法 - Google Patents

Abstract

本发明涉及一种声纳和双目视觉成像系统的融合成像装置及方法，该装置包括以下系统：刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统。声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近目标物体；当刚性支架与目标物体的距离到达设定距离时，启动双目视觉成像系统，由声纳成像系统和双目视觉成像系统同时分别采集图像信号；融合成像处理系统融合所采集的图像信号形成融合图像。本发明能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。

Description

一种声纳和双目视觉成像系统的融合成像装置及方法

技术领域

本发明涉及水下成像系统，更具体地说，涉及一种声纳和双目视觉成像系统的融合成像装置及方法。

背景技术

水下特别是深水下的物体感知一直是难以很好解决的问题。传统上使用声纳进行物体的探测只能扫描一个平面的信息，只能知道物体的大概位置而无法知道物体的具体轮廓和表面信息，而且受扫描物体高度影响出现纵深方向上的干扰、扫描速度慢。

而利用普通摄像头所捕抓到的画面又没有物体的深度信息，无法感知物体与自身的远近关系。利用能有实时显示效果的纯被动双目视觉系统探测又因为成像原理，必定带入成像的错误。

发明内容

本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种声纳和双目视觉成像系统的融合成像装置及方法。

本发明解决其技术问题所采用的技术方案是：构造一种声纳和双目视觉成像系统的融合成像装置。

在本发明所述的声纳和双目视觉成像系统的融合成像装置中，包括刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理所述声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统；所述声纳成像系统包括固定安装在所述刚性支架上的声纳传感探头、以及与所述声纳传感探头通讯连接的声纳信号处理模块；所述双目视觉成像系统包括固定安装在所述刚性支架上的双目摄像头、以及与所述双目摄像头通讯连接的双目信号处理模块。

优选地，所述声纳传感探头为单波束声纳传感探头。

优选地，所述刚性支架包括供所述双目摄像头安装于其中的防水腔室；所述防水腔室设有与所述双目摄像头的拍摄镜头对应的透光面板。

优选地，所述融合成像处理系统包括FPGA处理模块、解析绘图模块以及融合处理模块；

所述FPGA处理模块与所述声纳信号处理模块和双目信号处理模块连接，并将两者采集的数据进行合并处理，传送至所述解析绘图模块；

所述解析绘图模块与所述FPGA处理模块通讯连接，并将接收到的、合并后的所述数据进行解析，分别绘制出声纳图像和双目图像；

所述融合处理模块与所述解析绘图模块连接，根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。

优选地，所述双目摄像头与所述声纳传感探头按设定距离固定安装在所述刚性支架上。

在本发明所述的声纳和双目视觉成像系统的融合成像装置中，其融合成像的方法包括以下步骤：

S1：声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近所述目标物体；

优选地，在所述步骤S1中，所述声纳成像系统发出单波束声纳进行目标物体探测。

S2：当所述刚性支架与所述目标物体的距离到达设定距离时，启动双目视觉成像系统，由所述声纳成像系统和双目视觉成像系统同时分别采集图像信号；

优选地，在所述步骤S2中，包括以下步骤：

S2-1：所述声纳成像系统的声纳传感探头采集所述目标物体反射的声纳信号，并传送至声纳信号处理模块进行处理，形成声纳图像数据；

S2-2：所述双目信号处理模块的双目摄像头采集所述目标物体的光电信号，并传送至双目信号处理模块进行处理，形成双目图像数据。

S3：融合成像处理系统融合步骤S2所采集的所述图像信号形成融合图像。

优选地，在所述步骤S3中，包括以下步骤：

S3-1：所述融合成像处理系统的FPGA处理模块接收所述声纳图像数据和双目图像数据，并进行合并处理，输出至解析绘图模块；

S3-2：所述解析绘图模块并将接收到的、合并后的数据进行解析，分别绘制出声纳图像和双目图像，输出至融合处理模块；

S3-3：所述融合处理模块根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。

优选地，在所述步骤S3-3中，根据所述双目摄像头与所述声纳传感探头的距离位置关系，利用所述目标物体的中心点位置及轮廓信息，调节所述声纳图像和所述双目图像处于大致重叠状态。

实施本发明具有以下有益效果：本发明通过声纳成像系统和双目视觉成像系统的融合，能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明声纳和双目视觉成像系统的融合成像装置的结构示意图；

图2-1是本发明中单波束成像原理中，声波波束在探测面上的俯视图；

图2-2是本发明中单波束成像原理中，声波波束在探测面上的正视图；

图2-3是本发明中单波束成像原理中，声纳在发出波束之后等待接收返回的波束，依据接收的时间先后在画面中绘制出远近不同的点云的示意图；

图2-4是本发明中单波束成像原理中，假设在声纳探测的垂直面上有一根棍子的示意图；

图2-5是本发明中单波束成像原理中，声波打到棍子得到的声纳图像的示意图；

图2-6是本发明中单波束成像原理中，由于A、B两点的所处的位置可能不同，纵深反映也有所差别的示意图；

图3是本发明声纳和双目视觉成像系统的融合成像装置的工作流程图；

图4是本发明声纳图像与双目视觉图像的融合算法流程图。

引用编号列表：

1、刚性支架；2、声纳成像系统；3、双目视觉成像系统；4、融合成像处理系统；5、防水腔室；6、水面。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1所示，是本发明的声纳和双目视觉成像系统的融合成像装置的一个实施例，包括刚性支架1、声纳成像系统2、双目视觉成像系统3、以及融合成像处理系统4等，可通过声纳成像系统2和双目视觉成像系统3的融合，能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。

该刚性支架1作为整个装置的支撑件，可以根据需要做成各种形状。如图1所示，在本实施例中，该刚性支架1为框形，以方便船只或其他装置搭载。声纳成像系统2和双目视觉成像系统3固定安装在该刚性支架1上，从而可以跟随船只或其他装置移动，来搜寻目标物体，并进行融合成像。

由于该融合成像装置4需要在水下进行工作，该刚性支架1设置有防水腔室5，以便于供双目视觉成像系统3安装于其中。进一步的，防水腔室5设有与双目视觉成像系统3的双目摄像头的拍摄镜头对应的透光面板，以便于通过光电信号采集目标物体的视觉信号。

进一步的，双目视觉成像系统3与声纳成像系统2按设定距离固定安装在刚性支架1上，从而可以为后续图像融合做准备。可以理解的，双目视觉成像系统3与声纳成像系统2的距离可以根据实际需要进行设置，可以为固定设置、也可以根据需要做成可调距离的设置。

该声纳成像系统2包括声纳传感探头以及声纳信号处理模块，通过声纳传感探头发出声纳进行目标物体的探测，并由声纳信号处理模块接收反射的声纳信号，进行分析处理得到声纳图像数据。在本实施例中，声纳传感探头以及声纳信号处理模块为一体式，固定安装在刚性支架1下部。可以理解的，该声纳传感探头和声纳信号处理模块也可以为分体式，声纳传感探头固定安装在刚性支架1下部，而声纳信号处理模块则可以安装在船只上或其他装置上，与声纳传感探头通过有线或无线的通讯连接，接收声纳传感探头感测到的声纳信号即可。

在本实施例中，该声纳传感探头为单波束声纳传感探头，单波束声纳在一个时刻向一个方向发射出一束声波，如图2所示。

从图2-1中可以看到，声波波束在探测面上的夹角很小，近似于一条线。而从图2-2上看，声波波束在与探测面垂直的垂直面上是呈扇形的。

声纳在发出波束之后等待接收返回的波束，依据接收的时间先后在画面中绘制出远近不同的点云，如图2-3所示。

这样就产生了一个现象，假设在声纳探测的垂直面上有一根棍子，如图2-4所示。声波在打到A点和B点之后会返回，而由于距离远近的原因，A点返回的较早，这样棍子得到的声纳图像如图2-5所示。也就是说，虽然单波束声纳扫描的是二维的图像，但是其在半径方向上的纵深点保留着物体的高度信息。又由于A、B两点的所处的位置可能不同，如图2-6，这个纵深反映也有所差别，所以这个高度信息是一个不太确定的动态值，可以用这个高度信息来大概地估计目标物体的高度在哪个范围之内，以便于与双目视觉成像系统图像进行融合。而且，由于在探测面方向上的波束夹角很小，则目标物体的宽度则是较为准确的值，可以直接与双目视觉成像系统图像融合。

该双目视觉成像系统3包括双目摄像头、以及双目信号处理模块，通过双目摄像头进行目标物体的探测，并由双目信号处理模块接收探测到的双目信号，进行分析处理得到双目图像数据。在本实施例中，双目摄像头以及双目信号处理模块为一体式，使用防水材质密封后固定安装在刚性支架1的防水腔室5中，防水腔室5设有与双目视觉成像系统3的双目摄像头的拍摄镜头对应的透光面板,以便于通过光电信号采集目标物体的视觉信号。可以理解的，该双目摄像头和双目信号处理模块也可以为分体式，双目摄像头固定安装在刚性支架1的防水腔室5中，而双目信号处理模块则可以安装在船只上或其他装置上，与双目摄像头通过有线或无线的通讯连接，接收双目摄像头感测到的双目信号即可。在本实施例中，该双目视觉系统为纯被动双目视觉系统，如果用其他的方式实现的双目系统替代，能完成该装置实现的大部分功能。

该融合成像处理系统4与声纳成像系统2和双目视觉成像系统3连接，用于融合图像信号，包括FPGA处理模块、解析绘图模块以及融合处理模块。在本实施例中，该融合成像处理系统4设置在水面上，与声纳成像系统2和双目视觉成像系统3通过线缆连接通讯；可以理解的，融合成像处理系统4与声纳成像系统2和双目视觉成像系统3也可以通过无线信号进行连接通讯；融合成像处理系统4也可以设置在水下，通过有线或无线信号将融合处理后的图像传送至水面上的显示设备。

其中，FPGA处理模块与声纳信号处理模块和双目信号处理模块连接，并将两者采集的数据进行合并处理，并送入DDR中，利用ARM的V2接口将数据进行网络传送至解析绘图模块。解析绘图模块可以设置在PC端，与FPGA处理模块通讯连接，并将接收到的、合并后的所述数据进行解析，分别绘制出声纳图像和双目图像；融合处理模块与解析绘图模块连接，根据声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。

如图3所示，该声纳和双目视觉成像系统的融合成像装置融合成像的方法，包括以下步骤：

S1：声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近所述目标物体。

具体地，声纳成像系统持续的发出声纳信号(包括但不限于单波束声纳)，并通过监测是否接收到回传的声纳信号来判断是否发现目标物体。当发现目标物体时，在离目标物体较远时，驱动船只或其他装置，带动刚性支架1移动并靠近目标物体；如果没有探测到目标物体，就继续探测。

S2：当刚性支架与目标物体的距离到达设定距离时，启动双目视觉成像系统，由声纳成像系统和双目视觉成像系统同时分别采集图像信号；

具体地，当刚性支架与目标物体的距离到达设定距离时，启动双目视觉成像系统，声纳成像系统的声纳传感探头采集目标物体反射的声纳信号，并传送至声纳信号处理模块进行处理，形成声纳图像数据；双目信号处理模块的双目摄像头采集目标物体的光电信号，并传送至双目信号处理模块进行处理，形成双目图像数据。通过声纳成像系统和双目视觉成像系统同时采集图像信号，直至完成整个目标物体的扫描探测。

S3：融合成像处理系统融合步骤S2所采集的图像信号形成融合图像。

具体地，包括以下步骤：

S3-1：融合成像处理系统的FPGA处理模块接收声纳图像数据和双目图像数据，并进行合并处理，输出至解析绘图模块；具体地，由两个子系统分别采集图像开始，将采集到的数据经过FPGA处理合并于一处并送入DDR中，利用ARM的V2接口将数据进行网络传输到PC端。

S3-2：解析绘图模块并将接收到的、合并后的数据进行解析，分别绘制出声纳图像和双目图像，输出至融合处理模块；具体地，PC端经由网络接收到数据之后对数据分别进行解析，绘制出两个子系统所采集的图像，输出至融合处理模块。

S3-3：融合处理模块根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。

具体地，如图4所示，包括以下步骤：

S3-3-1：调节两图像坐标及视场，使目标物体处于重叠状态；

具体地，根据双目摄像头与声纳传感探头的距离位置关系，利用目标物体的中心点位置及轮廓信息，调节声纳图像和双目图像坐标及视场，使目标物体处于大致重叠状态；

S3-3-2：借助声纳图像得到物体大致高度、宽度、深度及横坐标信息；

具体地，由于单波束声纳成像系统所采集的是二维图像，且受扫描物体高度影响会保留一部分物体高度信息，所以利用单波束声纳成像系统图像为双目视觉光电系统提供物体横坐标信息、物体宽度信息、物体深度信息和物体大致高度信息。

S3-3-3：先根据深度匹配得到基本图像，再用宽度、横坐标滤掉污点；

S3-3-4：借助声纳图像提供的四个信息遍历双目图像一个区域得到物体所在位置；

具体地，双目视觉光电系统借助单波束声纳成像系统所提供的此四个信息通过遍历对比得到双目图像中的物体所在大致位置；

S3-3-5:丢弃物体所在位置以外图像信息，对该位置进行滤波处理，进一步丢弃噪声点，得到最终的融合图像。

本发明中，通过声纳成像系统和双目视觉成像系统的融合，能有效地探测水中物体的具体轮廓、表面信息和深度信息，解决了水下特别是深水下的物体感知困难的问题，为水下特别是深水下的相关工作提供强有力的解决方案。

可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。

Claims (9)

1.一种声纳和双目视觉成像系统的融合成像装置，其特征在于，包括刚性支架、声纳成像系统、双目视觉成像系统、以及连接并融合处理所述声纳成像系统和双目视觉成像系统的图像信号的融合成像处理系统；所述声纳成像系统包括固定安装在所述刚性支架上的声纳传感探头、以及与所述声纳传感探头通讯连接的声纳信号处理模块；所述双目视觉成像系统包括固定安装在所述刚性支架上的双目摄像头、以及与所述双目摄像头通讯连接的双目信号处理模块；

所述融合成像处理系统包括FPGA处理模块、解析绘图模块以及融合处理模块；

所述FPGA处理模块与所述声纳信号处理模块和双目信号处理模块连接，并将两者采集的数据进行合并处理，传送至所述解析绘图模块；

所述解析绘图模块与所述FPGA处理模块通讯连接，并将接收到的、合并后的所述数据进行解析，分别绘制出声纳图像和双目图像；

所述融合处理模块与所述解析绘图模块连接，根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。

2.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述声纳传感探头为单波束声纳传感探头。

3.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述刚性支架包括供所述双目摄像头安装于其中的防水腔室；所述防水腔室设有与所述双目摄像头的拍摄镜头对应的透光面板。

4.根据权利要求1所述的声纳和双目视觉成像系统的融合成像装置，其特征在于，所述双目摄像头与所述声纳传感探头按设定距离固定安装在所述刚性支架上。

5.一种使用权利要求1-4任一项的声纳和双目视觉成像系统的融合成像装置融合成像的方法，其特征在于，包括以下步骤：

S1：声纳成像系统发出声纳探测目标物体，并在发现目标物体时，将刚性支架靠近所述目标物体；

S2：当所述刚性支架与所述目标物体的距离到达设定距离时，启动双目视觉成像系统，由所述声纳成像系统和双目视觉成像系统同时分别采集图像信号；

S3：融合成像处理系统融合步骤S2所采集的所述图像信号形成融合图像。

6.根据权利要求5所述的方法，其特征在于，在所述步骤S1中，所述声纳成像系统发出单波束声纳进行目标物体探测。

7.根据权利要求5所述的方法，其特征在于，在所述步骤S2中，包括以下步骤：

S2-1：所述声纳成像系统的声纳传感探头采集所述目标物体反射的声纳信号，并传送至声纳信号处理模块进行处理，形成声纳图像数据；

S2-2：所述双目信号处理模块的双目摄像头采集所述目标物体的光电信号，并传送至双目信号处理模块进行处理，形成双目图像数据。

8.根据权利要求5所述的方法，其特征在于，在所述步骤S3中，包括以下步骤：

S3-1：所述融合成像处理系统的FPGA处理模块接收所述声纳图像数据和双目图像数据，并进行合并处理，输出至解析绘图模块；

S3-2：所述解析绘图模块并将接收到的、合并后的数据进行解析，分别绘制出声纳图像和双目图像，输出至融合处理模块；

S3-3：所述融合处理模块根据所述声纳图像提供的高度、宽度、横坐标和深度信息，遍历所述双目图像的每一区域，融合得到融合图像。

9.根据权利要求8所述的方法，其特征在于，在所述步骤S3-3中，根据所述双目摄像头与所述声纳传感探头的距离位置关系，利用所述目标物体的中心点位置及轮廓信息，调节所述声纳图像和所述双目图像处于重叠状态。