CN113450334A - 一种水上目标检测方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种水上目标检测方法、水上目标检测装置、电子设备及计算机可读存储介质。其中，该方法包括：通过摄像装置获取环境的彩色图像及三维点云，其中，所述三维点云所使用的坐标系基于定位系统的定位信息而确定，且所述三维点云所使用的坐标系的预设平面平行于水平面；基于所述水平面对所述三维点云进行提取，得到有效三维点云；对所述彩色图像进行目标检测，获得目标的检测结果；根据所述检测结果，查找与所述目标对应的有效三维点云，生成所述目标的最小包围盒；基于所述检测结果及所述最小包围盒，输出所述目标的三维目标信息。通过本申请方案，可在船艇的应用场景下实现对水上目标的高准确度及高精度的检测。

Description

一种水上目标检测方法、电子设备及存储介质

技术领域

本申请属于图像处理技术领域，尤其涉及一种水上目标检测方法、水上目标检测装置、电子设备及计算机可读存储介质。

背景技术

当前，虽然已提出了多种目标检测的方法，但这些方法的应用场景有着较大局限性，其往往仅能应用于陆地。当这些方法应用于船艇来对水上目标进行检测时，由于船艇的姿态、船艇在水上的晃动和/或目标在水面的倒影等因素的影响，会致使检测的准确度及精度均有所下降，导致检测效果不佳。

发明内容

本申请提供了一种水上目标检测方法、水上目标检测装置、电子设备及计算机可读存储介质，可在船艇的应用场景下实现对水上目标的高准确度及高精度的检测。

第一方面，本申请提供了一种水上目标检测方法，包括：

通过摄像装置获取环境的彩色图像及三维点云，其中，上述三维点云所使用的坐标系基于定位系统的定位信息而确定，且上述三维点云所使用的坐标系的预设平面平行于水平面；

基于上述水平面对上述三维点云进行提取，得到有效三维点云；

对上述彩色图像进行目标检测，获得目标的检测结果；

根据上述检测结果，查找与上述目标对应的有效三维点云，生成上述目标的最小包围盒；

基于上述检测结果及上述最小包围盒，输出上述目标的三维目标信息。

第二方面，本申请提供了一种水上目标检测装置，包括：

获取模块，用于通过摄像装置获取环境的彩色图像及三维点云，其中，上述三维点云所使用的坐标系基于定位系统的定位信息而确定，且上述三维点云所使用的坐标系的预设平面平行于水平面；

提取模块，用于基于上述水平面对上述三维点云进行提取，得到有效三维点云；

检测模块，用于对上述彩色图像进行目标检测，获得目标的检测结果；

生成模块，用于根据上述检测结果，查找与上述目标对应的有效三维点云，生成上述目标的最小包围盒；

输出模块，用于基于上述检测结果及上述最小包围盒，输出上述目标的三维目标信息。

第三方面，本申请提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

本申请与现有技术相比存在的有益效果是：首先通过摄像装置获取环境的彩色图像及三维点云，其中，上述三维点云所使用的坐标系基于定位系统的定位信息而确定，且上述三维点云所使用的坐标系的预设平面平行于水平面，然后基于上述水平面对上述三维点云进行提取，得到有效三维点云，同时对上述彩色图像进行目标检测，获得目标的检测结果，接着根据上述检测结果，查找与上述目标对应的有效三维点云，生成上述目标的最小包围盒，最后基于上述检测结果及上述最小包围盒，输出上述目标的三维目标信息。本申请方案基于定位系统的定位信息来对三维点云进行调整，使得三维点云所使用的坐标系的预设平面平行于水平面，可避免船艇晃动而导致的误差；同时，还基于水平面对三维点云进行了提取，仅保留了有效三维点云，去除了水面对目标检测的干扰。基于此，可在船艇的应用场景下实现对水上目标的高准确度及高精度的检测。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的水上目标检测方法的实现流程示意图；

图2是本申请实施例提供的对极几何约束的示意图；

图3是本申请实施例提供的双目系统成像的原理示意图；

图4是本申请实施例提供的定位系统的原理示意图；

图5是本申请实施例提供的水上目标检测装置的结构框图；

图6是本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。

下面对本申请实施例所提出的水上目标检测方法作出说明。请参阅图1，该水上目标检测方法包括：

步骤101，通过摄像装置获取环境的彩色图像及三维点云。

在本申请实施例中，该摄像装置可以是一个RGB摄像头及一个深度摄像头，则可将该RGB摄像头所输出的彩色图像作为步骤101中的彩色图像，以作为后续目标检测的基础。同时，可基于深度摄像头所输出的深度信息获得环境的三维点云。

或者，该摄像装置也可以是双目摄像头，也即两个RGB摄像头。则可预先指定该双目摄像头中的一个摄像头为参考摄像头，将该参考摄像头所输出的彩色图像作为该步骤101中的彩色图像，以作为后续目标检测的基础。仅作为示例，可指定左摄像头为参考摄像头。基于该双目摄像头，可通过如下方式获得环境的三维点云：

A1，通过双目摄像头获取彩色图像，上述彩色图像包括第一彩色图像及第二彩色图像。

A2，基于面特征对上述第一彩色图像及上述第二彩色图像进行双目立体匹配，得到上述第一彩色图像的视差图。

A3，根据上述视差图生成上述三维点云。

对于双目立体匹配而言，左右摄像头需满足对极几何约束。请参阅图2，图2给出了对极几何约束的示意。其中，o₁及o₂分别为左右摄像头的光心；R为右摄像头相对于左摄像头的旋转矩阵；t为右摄像头相对于左摄像头的平移矩阵。被测对象上的任一点P在左右摄像头上的成像投影分别点为p₁及p₂，则p₁在右图上的对应匹配点应该在极线p₂e₂附近搜索。在此约束匹配的基础之上，可以极大的减小匹配搜索范围。具体地，本申请实施例中，可采用基于深度学习的方法进行图像窗口的匹配，且匹配范围限制在极线范围内；以此可得到左图(也即第一彩色图像)中每个像素点所匹配的右图的像素点，进一步得到左图中每个像素点的视差，也即获得第一彩色图像的视差图；最后可利用双目系统成像原理，在给定极线和焦距的情况下获得三维点云。

其中，请参阅图3，图3给出了双目系统成像的原理示意，该双目系统成像的原理如下：

图3中，I₁及I₂分别为左右摄像头的成像靶面，o₁及o₂分别为左右摄像头的光心；基于该图3可知，相机坐标系服从右手定则，该相机坐标系以光心到图像中心点形成的射线所指方向为Z轴，以光心向右为X轴，以光心向下为Y轴；则被测对象任一点的深度估计值为：

其中，f是相机焦距，理想的双目系统中两摄像头的焦距应该相等；B为两摄像头的光心之间的距离，即基线长度；x₁及x₂分别为被测点在像平面上的对应点沿水平方向的坐标，x₁-x₂为匹配点的视差。

需要注意的是，不管是直接通过深度摄像头所输出的深度信息而获得三维点云，还是通过视差图所获得的三维点云，都为环境下原始的三维点云。由于船艇在水面上航行或停泊时，不可避免的会因水流而产生颠簸及晃动；尤其在高海况的情况下，颠簸及晃动更明显，这会导致船艇上所安装的摄像装置也会随着船艇而晃动。由于彩色图像中仅包含二维平面的信息，摄像装置的颠簸及晃动并不会给彩色图像带来过多影响；而三维点云由于包含的是三维空间的信息，其会对摄像装置与目标之间的距离产生影响，因而，需要对三维点云所使用的坐标系进行转换；也即，可以理解为对三维点云来说，需要对相机坐标系进行转换。

在一些实施例中，原始的三维点云所使用的坐标系为相机坐标系，即以相机的光轴为Z轴建立的三维直角坐标系。电子设备可基于定位系统所输出的定位信息对相机坐标系进行转换，使得转换后的相机坐标系(也即步骤101-105中的三维点云所使用的坐标系)的预设平面平行于水平面，该预设平面具体指的是XZ平面(也即X轴及Z轴所形成的平面)。请参阅图4，图4给出了该定位系统的原理示意：

惯性测量单元(Inertial Measurement Unit，IMU)在定位中的姿态解算的误差会传递到航位推算中，经过积分运算后导致误差累积，影响定位精度并发生“漂移”，因而难以长时间地独立工作。在户外环境中，全球定位系统(Global Positioning System，GPS)能够得到准确且可靠的位置信息，因而可通过GPS数据与其它导航数据的融合来提高视觉导航系统定位的可靠性。摄像装置也可对船艇所处环境进行有效感知，并基于感知到的图像计算出船艇移动时的视觉里程计(VO)，即得到船体本身的相对旋转和平移。

仅作为示例，该摄像装置可以是双目摄像头，则该视觉里程计的工作过程可简述为：视觉里程计基于稀疏特征点法进行计算；也即通过同时提取左右摄像头的特征点进行匹配，对经过误匹配剔除后的特征点对采用PnP求解位姿，最后使用滑窗的方式对局部相邻帧进行优化，最终得到相对旋转和平移，也即船艇的位置和姿态。相应地，基于IMU及GPS，同样可得到船艇的位置和/或姿态。基于此，可使用组合导航设备进行定位补偿，也即，采用IMU、GPS及视觉里程计构成一定位系统，对三种不同方式获取的位置及姿态进行融合，得到更加准确的定位信息(也即位置和姿态)进行输出。

为便于理解，基于该定位系统，以原始的三维点云为例，其相机坐标系的转换过程如下：

B1，将上述定位系统与上述摄像装置的时间戳对齐。

B2，基于已对齐的时间戳，将原始的三维点云由相机坐标系转换至惯导坐标系。

需要说明的是，在定位系统包含有IMU的情况下，该惯导坐标系指的是：IMU所使用的坐标系。

B3，基于上述定位信息计算得到上述摄像装置的俯仰角及滚转角。

B4，根据上述俯仰角及上述滚转角对上述惯导坐标系下的上述原始的三维点云进行转换，转换后的三维点云所使用的坐标系的预设平面平行于上述水平面。

步骤A4可使用如下公式对原始的三维点云进行转换：

其中，pitch为俯仰角，roll为翻滚角，P_c为原始的三维点云，P_w为转换后的三维点云，R_c ⁱ表示从相机坐标系到惯导坐标系的转换矩阵。

通过上述步骤A1-A4，可在惯导坐标系与相机坐标系相对位姿标定和数据触发时间同步的基础上，利用定位信息对摄像装置进行运动估计，使得转换后的三维点云所使用的坐标系的XZ平面平行于水平面，也即，使得摄像装置的相机坐标系的XZ平面转换至平行于水平面的状态。可以理解的是，由于船艇可能一直处于颠簸及晃动的状态，因而，每个时刻下所获取到的原始的三维点云都需要通过上述过程进行转换，才可投入步骤101至105进行使用。

在一些实施例中，电子设备还可先通过定位系统的定位信息对所获得的原始的三维点云进行姿态补偿，再对姿态补偿后的三维点云进行转换。也即，上述步骤B1-B4中所提及的“原始的三维点云”可被替换为“姿态补偿后的三维点云”，此处不再赘述。

步骤102，基于上述水平面对上述三维点云进行提取，得到有效三维点云。

在本申请实施例中，双目视觉的原理是通过匹配图像的纹理进行视差计算，进而得到三维点云。考虑到水面具有明显纹理，步骤101中所获取到的环境的三维点云将会具备大量水面的三维点云，这些水面的三维点云实际为无效三维点云，因而需要通过后处理将之去除，仅提取出有效三维点云进行后续处理。由于无效三维点云必然平行于水平面，因而，可基于水平面对三维点云进行提取，得到有效三维点云。

在一些实施例中，步骤102可通过如下过程实现：

C1，对上述三维点云进行平面拟合，得到至少一个点云平面。

实际上，虽然三点就可形成一个平面，但由于对水上目标进行检测时，水面的三维点云必然占了三维点云的大部分。因而，该步骤C1可包括：

D1，在待拟合三维点云中，随机选定三个点。

可以理解，三维点云实际为点的集合。在通过101得到环境的三维点云后，可进一步引申出一待拟合三维点云的概念，该待拟合三维点云具体指的是：步骤101所得到的环境的三维点云中，所有未处于任一已确定的点云平面的点。

D2，基于上述三个点进行平面拟合，得到待定点云平面。

D3，计算上述待拟合三维点云中的各个点到上述待定点云平面的距离。

D4，将上述距离小于预设的距离阈值的点加入上述待定点云平面。

D5，若上述待定点云平面中的点的数量超过预设的数量阈值，则将上述待定点云平面确定为已确定的点云平面进行保存，更新上述待拟合三维点云，并返回执行步骤D1步骤及后续步骤，直至迭代次数达到预设的次数阈值。

仅作为示例，假定通过步骤101所得到的三维点云中共有1000个点，分别可记作点A1、A2、A3……A1000。则初始情况下，该1000个点均在该待拟合三维点云中。假定从该待拟合三维点云中随机抽选出了点A1、A2及A3，则可基于点A1、A2及A3拟合得到一待定点云平面P1。分别计算点A4、A5、A6……A1000到该待定点云平面P1的距离，将距离小于距离阈值的点加入该点云平面P1。假定数量阈值为300，最后该点云平面P1中一共包含了350个点，则该待定点云平面P1即可作为已确定的点云平面进行保存，也即作为步骤C1的平面拟合结果之一；相应地，该点云平面P1中所包含的所有点均应从该待拟合三维点云中删除，实现对该待拟合三维点云的更新。由此，可重新基于更新后的待拟合三维点云进行新一轮次的平面拟合操作，该过程即为迭代过程。假定次数阈值为20，当迭代次数达到20次时，就不再继续进行平面拟合操作，将当前所保存的所有点云平面(也即所有已确定的点云平面)作为步骤C1的输出结果，进行后续处理。

C2，检测各个点云平面是否平行于上述水平面。

针对每个点云平面，为了迅速判断该点云平面是否与水平面平行，可以先获取该点云平面的法向量，然后基于该法向量判断各个点云平面的是否平行于上述水平面。仅作为示例，可以判断该法向量是否垂直于水平面，若该法向量垂直于水平面，则可确定该点云平面平行于水平面；或者，也可以判断该法向量是否平行于转换后的相机坐标系的Z轴，若该法向量平行于转换后的相机坐标系的Z轴，则可确定该点云平面平行于水平面。

C3，将平行于上述水平面的点云平面之外的所有三维点云提取为上述有效三维点云。

如前文所描述的，无效三维点云必然平行于水平面，因为为了尽可能的剔除无效三维点云，可认为平行于水平面的点云平面有很大可能为水平面，由此，这些平行于水平面的点云平面中的所有三维点云均应被剔除；也即，只有平行于水平面的点云平面之外的三维点云才有较大可能不是水面的三维点云，由此可将平行于水平面的点云平面之外的所有三维点云提取为有效三维点云。

步骤103，对上述彩色图像进行目标检测，获得目标的检测结果。

在本申请实施例中，可采用基于深度学习的方式进行端对端的处理，实现对彩色图像的目标检测，由此可得到该彩色图像中目标的检测结果。仅作为示例，该检测结果可以包括：目标在彩色图像上的边框(bounding box)、边框的位置(例如坐标及尺寸)、目标所属的物体类别以及置信度等信息，此处不对这些概念进行赘述。

步骤104，根据上述检测结果，查找与上述目标对应的有效三维点云，生成上述目标的最小包围盒。

在本申请实施例中，通过步骤103，可实现对一个以上目标的检测，也即，可以得到一个以上目标的检测结果。基于此，针对每个目标，均可基于该目标的检测结果，查找出与该目标对应的有效三维点云，以此为基础生成该目标的最小包围盒。具体地，由于有效三维点云实际上也具有坐标的属性，因而，可先将与该目标在彩色图像中的位置相匹配的有效三维点云确定为与该目标对应的有效三维点云，然后可对与该目标对应的有效三维点云进行过滤处理，例如滤波和去离群点处理，得到已过滤三维点云，最后可生成该已过滤三维点云的最小包围盒作为该目标的最小包围盒。

步骤105，基于上述检测结果及上述最小包围盒，输出上述目标的三维目标信息。

在本申请实施例中，该目标的三维目标信息包括如下内容：目标所属的物体类别、置信度、目标与摄像装置的距离、目标相对摄像装置的方位和目标的尺寸等，此处不作限定。可以理解，针对每个时刻下所获得的彩色图像及三维点云，均可执行步骤101-105，以实现对水上目标的实时检测。

在一些实施例中，基于单个时刻下所获得的彩色图像及三维点云而输出的目标的三维目标信息可能存在随机误差，因而，本申请实施例还可以基于连续的目标检测实现对目标的三维目标信息的优化。也即在步骤105之后，该水上目标检测方法还包括：

E1，通过深度学习对上述目标进行特征提取，得到上述目标的特征。

E2，基于上述目标的特征，将上述目标与各个已跟踪的目标进行匹配。

E3，根据匹配的结果对上述目标的三维目标信息进行优化。

其中，步骤E2所涉及的匹配操作包括：基于外观相似性的匹配和基于IoU相结合的匹配。通过步骤E2，可得到当前所检测到的目标与各个已跟踪的目标的匹配得分，该匹配得分可具体表现为：

s_i,j＝λd¹(i,j)+(1-λ)d²(i,j)

其中，i为目标，j为已跟踪的任一目标，S_i,j为目标i及已跟踪的目标j的匹配得分，λ为常数，d¹为基于外观相似性的匹配度，d²为基于IoU相结合的匹配度。电子设备可在得到目标与各个已跟踪的目标的匹配得分后，采用匈牙利算法确定出与目标最为匹配的已跟踪的目标，最后基于该与目标最为匹配的已跟踪的目标，采用卡尔曼滤波算法对目标的位置(也即目标的三维目标信息)进行优化。该目标的状态向量可具体表示为：

其中，u、v及w分别表示目标中心点的三维坐标，h、l及m分别表示目标的长宽高，

及

分别表示目标中心点的三维坐标的变化速度。

由上可见，通过本申请实施例，一方面基于定位系统的定位信息来对三维点云进行调整，使得三维点云所使用的坐标系的预设平面平行于水平面，可避免船艇晃动而导致的误差；另一方面，还基于水平面对三维点云进行了提取，仅保留了有效三维点云，去除了水面对目标检测的干扰。基于此，可在船艇的应用场景下实现对水上目标的高准确度及高精度的检测。

对应于上文所提供的水上目标检测方法，本申请实施例还提供了一种水上目标检测装置。如图5所示，该水上目标检测装置500包括：

获取模块501，用于通过摄像装置获取环境的彩色图像及三维点云，其中，上述三维点云所使用的坐标系基于定位系统的定位信息而确定，且上述三维点云所使用的坐标系的预设平面平行于水平面；

提取模块502，用于基于上述水平面对上述三维点云进行提取，得到有效三维点云；

检测模块503，用于对上述彩色图像进行目标检测，获得目标的检测结果；

生成模块504，用于根据上述检测结果，查找与上述目标对应的有效三维点云，生成上述目标的最小包围盒；

输出模块505，用于基于上述检测结果及上述最小包围盒，输出上述目标的三维目标信息。

可选地，上述摄像装置为双目摄像头；上述获取模块501，包括：

彩色图像获取单元，用于通过双目摄像头获取彩色图像，上述彩色图像包括第一彩色图像及第二彩色图像；

双目立体匹配单元，用于基于面特征对上述第一彩色图像及上述第二彩色图像进行双目立体匹配，得到上述第一彩色图像的视差图；

三维点云生成单元，用于根据上述视差图生成上述三维点云。

可选地，上述提取模块502，包括：

平面拟合单元，用于对上述三维点云进行平面拟合，得到至少一个点云平面；

平行检测单元，用于检测各个点云平面是否平行于上述水平面；

点云提取单元，用于将平行于上述水平面的点云平面之外的所有三维点云提取为上述有效三维点云。

可选地，上述平面拟合单元，包括：

选定子单元，用于在待拟合三维点云中，随机选定三个点，其中，上述待拟合三维点云包括上述三维点云中所有未处于任一已确定的点云平面的点；

拟合子单元，用于基于上述三个点进行平面拟合，得到待定点云平面；

计算子单元，用于计算上述待拟合三维点云中的各个点到上述待定点云平面的距离；

加入子单元，用于将上述距离小于预设的距离阈值的点加入上述待定点云平面；

迭代子单元，用于若上述待定点云平面中的点的数量超过预设的数量阈值，则将上述待定点云平面确定为已确定的点云平面进行保存，更新上述待拟合三维点云，并返回执行上述在待拟合三维点云中，随机选定三个点的步骤及后续步骤，直至迭代次数达到预设的次数阈值。

可选地，上述平行检测单元，包括：

法向量获取子单元，用于获取各个点云平面的法向量；

法向量检测子单元，用于基于上述法向量检测各个点云平面的是否平行于上述水平面。

可选地，上述检测结果包括：上述目标在上述彩色图像中的位置；上述生成模块504，包括：

匹配单元，用于将与上述目标在上述彩色图像中的位置相匹配的有效三维点云确定为与上述目标对应的有效三维点云；

过滤单元，用于对与上述目标对应的有效三维点云进行过滤处理，得到已过滤三维点云；

生成单元，用于生成上述已过滤三维点云的最小包围盒作为上述目标的最小包围盒。

可选地，上述水上目标检测装置500还包括：

对齐模块，用于将上述定位系统与上述摄像装置的时间戳对齐；

第一转换模块，用于基于已对齐的时间戳，将原始的三维点云由相机坐标系转换至惯导坐标系，上述惯导坐标系为上述定位系统所使用的坐标系；

计算模块，用于基于上述定位信息计算得到上述摄像装置的俯仰角及滚转角；

第二转换模块，用于根据上述俯仰角及上述滚转角对上述惯导坐标系下的上述原始的三维点云进行转换，转换后的三维点云所使用的坐标系的预设平面平行于上述水平面。

可选地，上述水上目标检测装置500还包括：

特征提取模块，用于在上述基于上述检测结果及上述最小包围盒，输出上述目标的三维目标信息之后，通过深度学习对上述目标进行特征提取，得到上述目标的特征；

目标匹配模块，用于基于上述目标的特征，将上述目标与各个已跟踪的目标进行匹配；

信息优化模块，用于根据匹配的结果对上述目标的三维目标信息进行优化。

由上可见，通过本申请实施例，一方面基于定位系统的定位信息来对三维点云进行调整，使得三维点云所使用的坐标系的预设平面平行于水平面，可避免船艇晃动而导致的误差；另一方面，还基于水平面对三维点云进行了提取，仅保留了有效三维点云，去除了水面对目标检测的干扰。基于此，可在船艇的应用场景下实现对水上目标的高准确度及高精度的检测。

对应于上文所提供的水上目标检测方法，本申请实施例还提供了一种电子设备。请参阅图6，本申请实施例中的电子设备6包括：存储器601，一个或多个处理器602(图6中仅示出一个)及存储在存储器601上并可在处理器上运行的计算机程序。其中：存储器601用于存储软件程序以及单元，处理器602通过运行存储在存储器601的软件程序以及单元，从而执行各种功能应用以及诊断，以获取上述预设事件对应的资源。具体地，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：

通过摄像装置获取环境的彩色图像及三维点云，其中，上述三维点云所使用的坐标系基于定位系统的定位信息而确定，且上述三维点云所使用的坐标系的预设平面平行于水平面；

基于上述水平面对上述三维点云进行提取，得到有效三维点云；

对上述彩色图像进行目标检测，获得目标的检测结果；

根据上述检测结果，查找与上述目标对应的有效三维点云，生成上述目标的最小包围盒；

基于上述检测结果及上述最小包围盒，输出上述目标的三维目标信息。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述摄像装置为双目摄像头；上述通过摄像装置获取环境的彩色图像及三维点云，包括：

通过双目摄像头获取彩色图像，上述彩色图像包括第一彩色图像及第二彩色图像；

基于面特征对上述第一彩色图像及上述第二彩色图像进行双目立体匹配，得到上述第一彩色图像的视差图；

根据上述视差图生成上述三维点云。

在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述基于上述水平面对上述三维点云进行提取，得到有效三维点云，包括：

对上述三维点云进行平面拟合，得到至少一个点云平面；

检测各个点云平面是否平行于上述水平面；

将平行于上述水平面的点云平面之外的所有三维点云提取为上述有效三维点云。

在上述第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述对上述三维点云进行平面拟合，得到至少一个点云平面，包括：

在待拟合三维点云中，随机选定三个点，其中，上述待拟合三维点云包括所述三维点云中所有未处于任一已确定的点云平面的点；

基于上述三个点进行平面拟合，得到待定点云平面；

计算上述待拟合三维点云中的各个点到上述待定点云平面的距离；

将上述距离小于预设的距离阈值的点加入上述待定点云平面；

若上述待定点云平面中的点的数量超过预设的数量阈值，则将上述待定点云平面确定为已确定的点云平面进行保存，更新上述待拟合三维点云，并返回执行上述在待拟合三维点云中，随机选定三个点的步骤及后续步骤，直至迭代次数达到预设的次数阈值。

在上述第三种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述检测各个点云平面是否平行于上述水平面，包括：

获取各个点云平面的法向量；

基于上述法向量检测各个点云平面的是否平行于上述水平面。

在上述第一种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述检测结果包括：上述目标在上述彩色图像中的位置；上述根据上述检测结果，查找与上述目标对应的有效三维点云，生成上述目标的最小包围盒，包括：

将与上述目标在上述彩色图像中的位置相匹配的有效三维点云确定为与上述目标对应的有效三维点云；

对与上述目标对应的有效三维点云进行过滤处理，得到已过滤三维点云；

生成上述已过滤三维点云的最小包围盒作为上述目标的最小包围盒。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础，或者上述第五种可能的实施方式作为基础，或者上述第六种可能的实施方式作为基础而提供的第七种可能的实施方式中，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：

将上述定位系统与上述摄像装置的时间戳对齐；

基于已对齐的时间戳，将原始的三维点云由相机坐标系转换至惯导坐标系，上述惯导坐标系为上述定位系统所使用的坐标系；

基于上述定位信息计算得到上述摄像装置的俯仰角及滚转角；

根据上述俯仰角及上述滚转角对上述惯导坐标系下的上述原始的三维点云进行转换，转换后的三维点云所使用的坐标系的预设平面平行于上述水平面。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础，或者上述第五种可能的实施方式作为基础，或者上述第六种可能的实施方式作为基础而提供的第八种可能的实施方式中，在上述基于上述检测结果及上述最小包围盒，输出上述目标的三维目标信息之后，处理器602通过运行存储在存储器601的上述计算机程序时还实现以下步骤：

通过深度学习对上述目标进行特征提取，得到上述目标的特征；

基于上述目标的特征，将上述目标与各个已跟踪的目标进行匹配；

根据匹配的结果对上述目标的三维目标信息进行优化。

应当理解，在本申请实施例中，所称处理器602可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器601可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器601的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器601还可以存储设备类别的信息。

由上可见，通过本申请实施例，一方面基于定位系统的定位信息来对三维点云进行调整，使得三维点云所使用的坐标系的预设平面平行于水平面，可避免船艇晃动而导致的误差；另一方面，还基于水平面对三维点云进行了提取，仅保留了有效三维点云，去除了水面对目标检测的干扰。基于此，可在船艇的应用场景下实现对水上目标的高准确度及高精度的检测。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种水上目标检测方法，其特征在于，包括：

通过摄像装置获取环境的彩色图像及三维点云，其中，所述三维点云所使用的坐标系基于定位系统的定位信息而确定，且所述三维点云所使用的坐标系的预设平面平行于水平面；

基于所述水平面对所述三维点云进行提取，得到有效三维点云；

对所述彩色图像进行目标检测，获得目标的检测结果；

根据所述检测结果，查找与所述目标对应的有效三维点云，生成所述目标的最小包围盒；

基于所述检测结果及所述最小包围盒，输出所述目标的三维目标信息。

2.如权利要求1所述的水上目标检测方法，其特征在于，所述摄像装置为双目摄像头，所述通过摄像装置获取环境的彩色图像及三维点云，包括：

通过所述双目摄像头获取彩色图像，所述彩色图像包括第一彩色图像及第二彩色图像；

基于面特征对所述第一彩色图像及所述第二彩色图像进行双目立体匹配，得到所述第一彩色图像的视差图；

根据所述视差图生成所述三维点云。

3.如权利要求1所述的水上目标检测方法，其特征在于，所述基于所述水平面对所述三维点云进行提取，得到有效三维点云，包括：

对所述三维点云进行平面拟合，得到至少一个点云平面；

检测各个点云平面是否平行于所述水平面；

将平行于所述水平面的点云平面之外的所有三维点云提取为所述有效三维点云。

4.如权利要求3所述的水上目标检测方法，其特征在于，所述对所述三维点云进行平面拟合，得到至少一个点云平面，包括：

在待拟合三维点云中，随机选定三个点，其中，所述待拟合三维点云包括所述三维点云中所有未处于任一已确定的点云平面的点；

基于所述三个点进行平面拟合，得到待定点云平面；

计算所述待拟合三维点云中的各个点到所述待定点云平面的距离；

将所述距离小于预设的距离阈值的点加入所述待定点云平面；

若所述待定点云平面中的点的数量超过预设的数量阈值，则将所述待定点云平面确定为已确定的点云平面进行保存，更新所述待拟合三维点云，并返回执行所述在待拟合三维点云中，随机选定三个点的步骤及后续步骤，直至迭代次数达到预设的次数阈值。

5.如权利要求3所述的水上目标检测方法，其特征在于，所述检测各个点云平面是否平行于所述水平面，包括：

获取各个点云平面的法向量；

基于所述法向量检测各个点云平面的是否平行于所述水平面。

6.如权利要求1所述的水上目标检测方法，其特征在于，所述检测结果包括：所述目标在所述彩色图像中的位置；所述根据所述检测结果，查找与所述目标对应的有效三维点云，生成所述目标的最小包围盒，包括：

将与所述目标在所述彩色图像中的位置相匹配的有效三维点云确定为与所述目标对应的有效三维点云；

对与所述目标对应的有效三维点云进行过滤处理，得到已过滤三维点云；

生成所述已过滤三维点云的最小包围盒作为所述目标的最小包围盒。

7.如权利要求1至6任一项所述的水上目标检测方法，其特征在于，所述三维点云所使用的坐标系通过如下过程确定：

将所述定位系统与所述摄像装置的时间戳对齐；

基于已对齐的时间戳，将原始的三维点云由相机坐标系转换至惯导坐标系；

基于所述定位信息计算得到所述摄像装置的俯仰角及滚转角；

根据所述俯仰角及所述滚转角对所述惯导坐标系下的所述原始的三维点云进行转换，转换后的三维点云所使用的坐标系的预设平面平行于所述水平面。

8.如权利要求1至6任一项所述的水上目标检测方法，其特征在于，在所述基于所述检测结果及所述最小包围盒，输出所述目标的三维目标信息之后，所述水上目标检测方法还包括：

通过深度学习对所述目标进行特征提取，得到所述目标的特征；

基于所述目标的特征，将所述目标与各个已跟踪的目标进行匹配；

根据匹配的结果对所述目标的三维目标信息进行优化。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。

Images