CN115079199B - 一种水下目标多模态信息感知系统及方法 - Google Patents

Abstract

本发明涉及水下目标信息距离测量领域，公开了一种水下目标多模态信息感知系统及方法，该系统包括激光雷达子系统、视觉成像子系统，以及信号采集处理与控制模块；激光雷达子系统通过发射脉冲激光获取水下目标的距离信息；视觉成像子系统通过发射脉冲LED光获取水下目标的视觉图像信息；信号采集处理与控制模块对两个子系统进行控制，并进行信号采集与处理。本发明所公开的系统及方法将激光雷达和视觉成像相结合，可以同时获取水下目标的高精度三维点云信息和高清视觉图像信息，并通过设计两个子系统的工作时序，避免了两个光源之间的干扰，同时视觉成像子系统仅对目标信号进行响应，可以有效抑制后向散射噪声，提高视觉图像的清晰度。

Description

一种水下目标多模态信息感知系统及方法

技术领域

本发明涉及水下目标信息距离测量领域，特别涉及一种水下目标多模态信息感知系统及方法。

背景技术

海洋战略地位日益凸显，对水下目标进行准确的信息感知具有重大意义。水下信息感知是认识海洋的前提与基础，深度信息是水下信息感知的核心内容。为了保障海洋环境安全、实现岛礁可持续发展，迫切需要发展新型的水下目标探测传感器，加强对海洋的高精度、精细化探测。

水下目标探测与感知技术主要包括声、光、电、磁等多种类型，其中，光学是公认的高精度、高分辨率探测方法，激光雷达可以用来测量水下目标的距离信息，目前，也有将两者结合起来用于水下目标探测的方法，但是当两者同时工作时，其光源会相互干扰，影响探测效果。而且，视觉成像易受到水体产生的后向散射噪声影响，对成像清晰度造成很大影响。

发明内容

为解决上述技术问题，本发明提供了一种水下目标多模态信息感知系统及方法，将激光雷达和视觉成像相结合，可以同时获取水下目标的高精度三维点云信息和高清视觉图像信息，并通过设计两个子系统的工作时序，避免了两个光源之间的干扰，同时视觉成像子系统仅对目标信号进行响应，可以有效抑制后向散射噪声，提高视觉图像的清晰度。

为达到上述目的，本发明的技术方案如下：

一种水下目标多模态信息感知系统，包括激光雷达子系统、视觉成像子系统，以及信号采集处理与控制模块；所述激光雷达子系统通过发射脉冲激光对水下目标进行探测，获取水下目标的距离信息；所述视觉成像子系统通过发射脉冲LED光对水下目标进行成像，获取水下目标的视觉图像信息；所述信号采集处理与控制模块对激光雷达子系统和视觉成像子系统进行控制，使得激光雷达子系统和视觉成像子系统周期性交替间隔发射脉冲激光和脉冲LED光，并控制视觉成像子系统仅在水下目标散射的脉冲LED光到达视觉成像子系统时进行成像响应，并进行信号采集与处理。

上述方案中，所述激光雷达子系统包括脉冲激光器、比例分束器、激光扩束器、接收望远镜、单光子探测器、光电探测器和光子计数器，所述激光扩束器和接收望远镜安装于二维转台上；

所述脉冲激光器用于在信号采集处理与控制模块的控制下发出脉冲激光；

所述比例分束器用于将脉冲激光器发出的脉冲激光进行分束，分别传输给光电探测器和激光扩束器；

所述光电探测器用于将接收到的脉冲激光信号响应为电脉冲信号一，并传输给光子计数器；

所述激光扩束器用于将脉冲激光准直扩束后照射至水下目标；

所述接收望远镜用于将水下目标散射的脉冲激光进行会聚、收集，并传输给单光子探测器；

所述单光子探测器用于对水下目标散射的脉冲激光信号响应为电脉冲信号二，并传输给光子计数器；

所述光子计数器用于记录光电探测器传输的电脉冲信号一作为计时开始信号，记录单光子探测器传输的电脉冲信号二作为计时停止信号，并将计时开始信号和计时停止信号传输至信号采集处理与控制模块；

所述二维转台用于调整激光扩束器和接收望远镜的方位和俯仰角度，获取水下目标的三维点云信息。

上述方案中，所述视觉成像子系统包括脉冲LED、发射镜头、延时发生器、距离选通相机；

所述脉冲LED用于在信号采集处理与控制模块的控制下发射脉冲LED光；

所述发射镜头用于将脉冲LED发射的脉冲LED光整形后对水下目标进行补光照明；

所述延时发生器用于在信号采集处理与控制模块的控制下控制距离选通相机的开启和关闭；

所述距离选通相机用于对水下目标散射的脉冲LED光进行响应，获取水下目标的视觉图像信息。

优选地，所述脉冲激光器为532nm窄脉冲激光器。

一种水下目标多模态信息感知方法，采用如上所述的一种水下目标多模态信息感知系统，包括如下过程：

步骤一，激光雷达子系统工作，脉冲激光器发射脉冲激光，比例分束器将脉冲激光按比例分为比例不等的两部分，其中能量较低的一部分直接输出至光电探测器，能量较高的一部分经过激光扩束器对水下目标进行照射；光电探测器响应到能量较低的一部分脉冲激光，产生电脉冲信号一并传输给光子计数器，光子计数器对该电脉冲信号一产生的时刻进行记录，作为脉冲激光的发射时刻t₀，并上传至信号采集处理与控制模块；

接收望远镜接收水下目标散射的回波信号，传输给单光子探测器，单光子探测器响应到脉冲激光，产生电脉冲信号二并传输给光子计数器，光子计数器对该电脉冲信号二产生的时刻进行记录，作为脉冲激光的返回时刻t₁，并上传至信号采集处理与控制模块；

信号采集处理与控制模块根据脉冲激光的发射时刻和返回时刻计算水下目标的距离，然后通过调整二维转台，调整激光扩束器和接收望远镜的方位和俯仰角度，获取水下目标的三维点云信息；

步骤二，视觉成像子系统工作，脉冲LED在t₁+Δt₁时刻发射脉冲LED光，脉冲LED光经发射镜头对水下目标进行照射，由于水下目标距离一定，光在水中的传输速度一定，因此，脉冲LED光经水下目标散射后返回视觉成像子系统的时刻为2t₁+Δt₁-t₀，假设脉冲LED光的脉冲宽度为τ，则延时发生器控制距离选通相机在2t₁+Δt₁-t₀时刻开始对返回的脉冲LED光进行响应，并在2t₁+Δt₁-t₀+τ时刻停止工作，获取水下目标的视觉图像信息；

步骤三，脉冲激光器在2t₁+Δt₁-t₀+τ+Δt₂时刻发射脉冲激光，重复步骤一和步骤二，实现激光雷达子系统和视觉成像子系统的周期性交替间隔工作。

通过上述技术方案，本发明提供的一种水下目标多模态信息感知系统及方法具有如下有益效果：

1、本发明突破传统单源传感器物理局限性，将激光雷达子系统和视觉成像子系统进行结合，可以同时获取水下目标的高精度三维点云深度信息和高清晰度视觉图像信息。

2、本发明通过控制激光雷达子系统和视觉成像子系统的工作时序，在激光雷达子系统脉冲激光发射至返回接收望远镜期间，视觉成像子系统的脉冲LED不发射脉冲LED光，避免了两个光源之间的干扰。

3、本发明通过控制延时发生器进而控制距离选通相机的工作时间，距离选通相机仅在脉冲LED光返回至距离选通相机时才对脉冲LED光进行响应，如此可以有效抑制水体产生的后向散射噪声对视觉成像子系统的影响，提高成像清晰度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所公开的一种水下目标多模态信息感知系统示意图（实线代表光信号，虚线代表电信号）。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，本发明提供了一种水下目标多模态信息感知系统，包括激光雷达子系统、视觉成像子系统，以及信号采集处理与控制模块。

一、激光雷达子系统

激光雷达子系统通过发射脉冲激光对水下目标进行探测，获取水下目标的距离信息。激光雷达子系统包括脉冲激光器、比例分束器、激光扩束器、接收望远镜、单光子探测器、光电探测器和光子计数器，激光扩束器和接收望远镜安装于二维转台上。

脉冲激光器用于在信号采集处理与控制模块的控制下发出脉冲激光；本实施例中，脉冲激光器为532nm窄脉冲激光器，发射532nm窄脉冲激光。

比例分束器用于将脉冲激光器发出的脉冲激光按比例进行分束，分别传输给光电探测器和激光扩束器。

光电探测器用于将接收到的脉冲激光信号响应为电脉冲信号一，并传输给光子计数器。

激光扩束器用于将脉冲激光准直扩束后照射至水下目标。接收望远镜用于将水下目标散射的脉冲激光进行会聚、收集，并传输给单光子探测器。本实施例中，接收望远镜采用透镜组组成的可调焦望远镜，使其接收视场角与激光扩束器的发散角匹配。

单光子探测器用于对水下目标散射的脉冲激光信号响应为电脉冲信号二，并传输给光子计数器。单光子探测器可以为单像素单光子探测器，也可以为多像素单光子探测器。

光子计数器用于记录光电探测器传输的电脉冲信号一作为计时开始信号，记录单光子探测器传输的电脉冲信号二作为计时停止信号，并将计时开始信号和计时停止信号传输至信号采集处理与控制模块。

二维转台用于调整激光扩束器和接收望远镜的方位和俯仰角度，获取水下目标的三维点云信息。

二、视觉成像子系统

视觉成像子系统通过发射脉冲LED光对水下目标进行成像，获取水下目标的视觉图像信息。视觉成像子系统包括脉冲LED、发射镜头、延时发生器、距离选通相机。

脉冲LED用于在信号采集处理与控制模块的控制下发射脉冲LED光。

发射镜头用于将脉冲LED发射的脉冲LED光会整形后对水下目标进行补光照明，使视觉成像子系统对水下目标的照明范围与激光雷达子系统扫描的目标范围一致。本实施例中，发射镜头采用凸透镜组。

延时发生器用于在信号采集处理与控制模块的控制下控制距离选通相机的开启和关闭。延时发生器可以是FPGA或单片机。

距离选通相机用于对水下目标散射的脉冲LED光进行响应，获取水下目标的视觉图像信息。本实施例中，距离选通相机是具有距离选通功能的相机，可以是CCD相机、ICCD相机或CMOS相机。

三、信号采集处理与控制模块

信号采集处理与控制模块对激光雷达子系统和视觉成像子系统进行控制，使得激光雷达子系统和视觉成像子系统周期性交替间隔发射脉冲激光和脉冲LED光，避免两个光源之间相互干扰；并控制视觉成像子系统仅在水下目标散射的脉冲LED光到达视觉成像子系统时进行成像响应，并进行信号采集与处理。本实施例中，信号采集处理与控制模块采用工控机，包含控制软件、信号处理单元、存储单元和展示单元。

一种水下目标多模态信息感知方法，采用如上的一种水下目标多模态信息感知系统，包括如下过程：

步骤一，激光雷达子系统工作，信号采集处理与控制模块的控制软件控制脉冲激光器发射脉冲激光，比例分束器将脉冲激光按比例分为比例不等的两部分，其中能量较低的一部分直接输出至光电探测器，能量较高的一部分经过激光扩束器对水下目标进行照射；光电探测器响应到能量较低的一部分脉冲激光，产生电脉冲信号一并传输给光子计数器，光子计数器对该电脉冲信号一产生的时刻进行记录，作为脉冲激光的发射时刻t₀，并上传至信号采集处理与控制模块；

接收望远镜接收水下目标散射的回波信号，传输给单光子探测器，单光子探测器响应到脉冲激光，产生电脉冲信号二并传输给光子计数器，光子计数器对该电脉冲信号二产生的时刻进行记录，作为脉冲激光的返回时刻，并上传至信号采集处理与控制模块；

由于噪声的影响，每个脉冲周期同时混合有噪声信号和目标回波信号，为了从噪声中提取目标回波信号，信号采集处理与控制模块的信号处理单元采用时间相关单光子计数技术，统计激光雷达子系统多个周期的回波信号，建立光子计数统计直方图，利用峰值法、质心法等方法确定统计直方图中目标回波的精确返回时刻，记为t₁。

信号采集处理与控制模块的信号处理单元根据脉冲激光的发射时刻和返回时刻计算水下目标的距离r：

其中，c为光速，r为测距通道测到的目标距离，测距精度可以达到厘米级。

上述过程完成了目标单个点的距离信息测量，然后通过调整二维转台，调整激光扩束器和接收望远镜的方位和俯仰角度，并由信号采集处理与控制模块周期性的读取和保存二维转台的方位、俯仰角度，由此便可以确定每个目标点的距离-方位-角度信息，获取水下目标的三维点云信息。

步骤二，视觉成像子系统工作，信号采集处理与控制模块的控制软件控制脉冲LED在t₁+Δt₁时刻发射脉冲LED光，脉冲LED光经发射镜头对水下目标进行照射，由于水下目标距离一定，光在水中的传输速度一定，因此，脉冲LED光经水下目标散射后返回视觉成像子系统的时刻为2t₁+Δt₁-t₀，假设脉冲LED光的脉冲宽度为τ，则延时发生器控制距离选通相机在2t₁+Δt₁-t₀时刻开始对返回的脉冲LED光进行响应，并在2t₁+Δt₁-t₀+τ时刻停止工作，获取水下目标的视觉图像信息，并将该视觉图像信息传输至信号采集处理与控制模块的存储单元进行保存。

步骤三，脉冲激光器在2t₁+Δt₁-t₀+τ+Δt₂时刻发射脉冲激光，重复步骤一和步骤二，实现激光雷达子系统和视觉成像子系统的周期性交替间隔工作。Δt₁和Δt₂为预先设定的一个延时时间，两者可相等或不等。

通过上述工作时序的设置，将激光雷达子系统的时序基准也作为视觉成像子系统的时序基准，使脉冲LED与532nm窄脉冲激光器以相同的重复频率但是延迟一定的时间开启照明功能，并通过发射光学模块二对水下目标进行照明。保证了在激光雷达子系统脉冲激光发射至返回接收望远镜期间，视觉成像子系统的脉冲LED不发射照明光源，反之亦然，这样可以实现两个子系统之间无光源的相互干扰影响。避免脉冲LED的光信号不会成为激光雷达子系统的噪声源，影响激光雷达子系统的探测性能。

另一方面，为了降低水体产生的后向散射噪声对视觉成像子系统的探测性能的影响，以激光雷达子系统确定的目标距离作为先验信息，确定延时发生器门控开启时刻，控制距离选通视觉模块仅在脉冲LED光返回至距离选通相机时才对回波信号进行响应，如此可以有效抑制后向散射噪声对视觉成像子系统的影响，提高成像清晰度。最终，通过两个子系统的有效协作，实现同步获取水下目标的点云和视觉图像信息。为后续通过深度补全算法获取高精度像素级深度图提供了数据基础，为水下目标实现远距离、精准、稠密探测提供了设备支持。

以水下考古为例，为避免损伤文物遗址和古文物，可以预先对文物遗址和文物进行数据获取，即可以将本发明的系统安装在船上或水下机器人等其他移动平台上，通过激光雷达子系统获取文物及遗址的距离点云信息、通过视觉成子系统获取文物及遗址的视觉图像信息。在整个过程中，本发明的信号采集处理与控制模块用于配合激光雷达子系统和视觉成子系统获取并保存和展示水下目标的三维点云信息和视觉图像信息，为后续的数据处理提供数据基础。后续的数据处理可以利用三维点云信息和视觉图像信息对遗址和文物进行精确且稠密的三维重建，获取文物及遗址的详细信息，再部署文物开发和保护工作，该内容不在本发明的保护范围之内。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种水下目标多模态信息感知系统，其特征在于，包括激光雷达子系统、视觉成像子系统，以及信号采集处理与控制模块；所述激光雷达子系统通过发射脉冲激光对水下目标进行探测，获取水下目标的距离信息；所述视觉成像子系统通过发射脉冲LED光对水下目标进行成像，获取水下目标的视觉图像信息；所述信号采集处理与控制模块对激光雷达子系统和视觉成像子系统进行控制，使得激光雷达子系统和视觉成像子系统周期性交替间隔发射脉冲激光和脉冲LED光，并控制视觉成像子系统仅在水下目标散射的脉冲LED光到达视觉成像子系统时进行成像响应，并进行信号采集与处理；

所述激光雷达子系统包括脉冲激光器、比例分束器、激光扩束器、接收望远镜、单光子探测器、光电探测器和光子计数器，所述激光扩束器和接收望远镜安装于二维转台上；

所述脉冲激光器用于在信号采集处理与控制模块的控制下发出脉冲激光；

所述比例分束器用于将脉冲激光器发出的脉冲激光进行分束，分别传输给光电探测器和激光扩束器；

所述光电探测器用于将接收到的脉冲激光信号响应为电脉冲信号一，并传输给光子计数器；

所述激光扩束器用于将脉冲激光准直扩束后照射至水下目标；

所述接收望远镜用于将水下目标散射的脉冲激光进行会聚、收集，并传输给单光子探测器；

所述单光子探测器用于对水下目标散射的脉冲激光信号响应为电脉冲信号二，并传输给光子计数器；

所述光子计数器用于记录光电探测器传输的电脉冲信号一作为计时开始信号，记录单光子探测器传输的电脉冲信号二作为计时停止信号，并将计时开始信号和计时停止信号传输至信号采集处理与控制模块；

所述二维转台用于调整激光扩束器和接收望远镜的方位和俯仰角度，获取水下目标的三维点云信息。

2.根据权利要求1所述的一种水下目标多模态信息感知系统，其特征在于，所述视觉成像子系统包括脉冲LED、发射镜头、延时发生器、距离选通相机；

所述脉冲LED用于在信号采集处理与控制模块的控制下发射脉冲LED光；

所述发射镜头用于将脉冲LED发射的脉冲LED光整形后对水下目标进行补光照明；

所述延时发生器用于在信号采集处理与控制模块的控制下控制距离选通相机的开启和关闭；

所述距离选通相机用于对水下目标散射的脉冲LED光进行响应，获取水下目标的视觉图像信息。

3.根据权利要求1所述的一种水下目标多模态信息感知系统，其特征在于，所述脉冲激光器为532nm窄脉冲激光器。

4.一种水下目标多模态信息感知方法，采用如权利要求2所述的一种水下目标多模态信息感知系统，其特征在于，包括如下过程：

步骤一，激光雷达子系统工作，脉冲激光器发射脉冲激光，比例分束器将脉冲激光按比例分为比例不等的两部分，其中能量较低的一部分直接输出至光电探测器，能量较高的一部分经过激光扩束器对水下目标进行照射；光电探测器响应到能量较低的一部分脉冲激光，产生电脉冲信号一并传输给光子计数器，光子计数器对该电脉冲信号一产生的时刻进行记录，作为脉冲激光的发射时刻t₀，并上传至信号采集处理与控制模块；

接收望远镜接收水下目标散射的回波信号，传输给单光子探测器，单光子探测器响应到脉冲激光，产生电脉冲信号二并传输给光子计数器，光子计数器对该电脉冲信号二产生的时刻进行记录，作为脉冲激光的返回时刻t₁，并上传至信号采集处理与控制模块；

信号采集处理与控制模块根据脉冲激光的发射时刻和返回时刻计算水下目标的距离，然后通过调整二维转台，调整激光扩束器和接收望远镜的方位和俯仰角度，获取水下目标的三维点云信息；

步骤二，视觉成像子系统工作，脉冲LED在t₁+Δt₁时刻发射脉冲LED光，脉冲LED光经发射镜头对水下目标进行照射，由于水下目标距离一定，光在水中的传输速度一定，因此，脉冲LED光经水下目标散射后返回视觉成像子系统的时刻为2t₁+Δt₁-t₀，假设脉冲LED光的脉冲宽度为τ，则延时发生器控制距离选通相机在2t₁+Δt₁-t₀时刻开始对返回的脉冲LED光进行响应，并在2t₁+Δt₁-t₀+τ时刻停止工作，获取水下目标的视觉图像信息；

步骤三，脉冲激光器在2t₁+Δt₁-t₀+τ+Δt₂时刻发射脉冲激光，重复步骤一和步骤二，实现激光雷达子系统和视觉成像子系统的周期性交替间隔工作，Δt₁和Δt₂为预先设定的一个延时时间。

Images