CN113177593B - 一种水上交通环境中雷达点云与影像数据的融合方法 - Google Patents

Abstract

本发明涉及多传感器融合技术领域，公开了一种水上交通环境中雷达点云与影像数据的融合方法。首先，对影像数据进行预处理，包括将相机采集到的影像数据，生成对应的二值化影像数据；通过高斯滤波算法进行降噪处理；利用最大类间方差法进行影像分割；通过Canny算法进行边缘提取；然后，对点云数据进行格式转换和3DTiles金字塔空间结构切片；最后，通过提取影像数据特征明显的角点以及对应的点云数据角点，构建匹配目标函数，并利用最小二乘法求解目标函数，得到融合矩阵，同时利用设计的自反馈调节，可以减小相较于标定算法所带来的误差，使融合结果更加精确。通过可视化的方式，将融合结果呈现出来，获得目标的三维完备信息。

Description

一种水上交通环境中雷达点云与影像数据的融合方法

技术领域

本发明涉及多传感器融合技术领域，具体涉及一种水上交通环境中雷达点云与影像数据的融合方法。

背景技术

对于水面船舶的研究，近年来逐渐被重视。激光雷达、遥感卫星、电子海图、视频传感器等是船舶环境感知系统的主要元素。在船舶环境感知方面，主要有三类感知方法：雷达感知、视觉感知、声呐感知。雷达能够探测长远距离物体，拥有测距能力，可以全天候工作，但是分辨率比较低，并且在水上由于环境复杂多变，检测准确率比较低；视觉感知分辨率比较高，可以获取到物体丰富的特征，只能近距离探测，并且无测距能力，实时性较差；声呐感知主要是用来探测水下的物体，在水面上的应用相对较少。因而对于水上近距离航行环境研究，激光雷达和相机的融合是一个重要的研究方向。

近年来，随着科技不断进步，尽管单一传感器的技术也越来越发达，但是对于海上环境的复杂情况，单个传感器的作用有限，所获取到的数据会因为环境影响造成较大的误差，不能保证船舶在航行时的安全。针对该问题，目前采用的方法是：利用电子海图或者其他的船载设备并结合驾驶员的经验来进行目标判别。但是，这种方式通常借助单一传感器来收集信息，将会导致信息的不完备，从而影响驾驶员目标判别的准确性，不能及时作出应对措施，导致海上交通事故的发生，造成严重的损失。

与单一的传感器相比，多传感器融合能够增加目标判别的准确性，同时减少数据歧义。多传感器在探测时，对于空间范围以及数据类型，都有了一定的扩展，因而获取的目标物体信息更加丰富，特征更加多样，描述更加全面，因此成为当今研究发展的一个趋势。

发明内容

针对上述问题本发明提供了一种水上交通环境中雷达点云与影像数据的融合方法。

为了达到上述目的，本发明采用了下列技术方案：

本发明提供一种水上交通环境中雷达点云与影像数据的融合方法，包括以下步骤：

步骤1，图像数据预处理：包括将相机采集到的影像数据，生成对应的二值化影像数据；通过高斯滤波算法进行降噪处理；为凸显目标区域，利用最大类间方差法进行影像分割；通过Canny算法进行边缘提取；

步骤2，点云数据生成与组织：为了满足数据融合平台的数据传输以及渲染的效率，对点云数据进行格式转换和3DTiles金字塔空间结构切片；

步骤3，影像像素地理位置标定：通过已知的影像分辨率大小和对应地理空间中的经纬度范围，利用线性插值方法计算影像像素的经纬度位置；

步骤4，基于最小二乘方法，构建匹配目标函数并求解融合矩阵；

步骤5，自反馈调整点云模型和影像的角度误差：由于最小二乘方法的计算误差属性，经过融合矩阵变换的点云数据和影像数据仍存在融合误差。进而为了达到更精确的融合效果，通过比较点云数据轴线向量和对应影像边线向量所构成的夹角与设定阈值的大小，迭代式构造匹配矩阵，进行自反馈调节，减小误差；

步骤6，融合结果可视化：将最终的融合结果通过三维可视化平台Cesium展示，获得融合结果的可视化。

进一步，所述步骤1中二值化影像数据生成的过程为：利用加权平均的方法对影像进行灰度化处理，所述加权平均方法计算如下：

Gray(i,j)＝W_r*R(i,j)+W_g*G(i,j)+W_b*B(i,j) (1)

式中，W_r，W_g，W_b分别为三个通道的权重，R(i,j)，G(i,j)，B(i,j)分别为影像像素点(i,j)的R、G、B三通道的颜色值，根据重要相关程度不同，赋予不同的权值；

所述步骤1中高斯滤波降噪处理的过程为：采用均值为0的二维高斯滤波器，卷积窗口大小为(2K+1)*(2K+1)，其中(2K+1)为高斯核径向值；K为可调节参数，取值为非零正整数。将待处理图像与模板进行迭代卷积，遍历整幅图像，从而实现对整幅图像的加权平均，模板中某位置(i，j)处的像素值为：

其中，σ为方差待调参数，f(i,j)为像素点(i,j)处的像素值。

所述步骤1中利用最大类间方差法进行影像分割的具体过程为：

采用最大类间方差法区分后景和前景，设影像的灰度级为I，I的取值范围为1～255。T为分割前景和后景的灰度值，该值将图像区分为前景[1,2,3,...,T]和后景[T+1,...,I]，确定T值的计算方法如下：

前景概率：前景平均灰度：/>

后景概率：后景平均灰度：/>

影像全局灰度均值为：f_(T)＝p₁*(μ₁-μ)²+p₂*(μ₂-μ)²。

其中，表示各灰度值i的概率，n_i表示灰度值为i的像素点数，W表示影像总像素点数，f_(T)为类间方差，当该值最大时，此时的T为最佳阈值。

所述步骤1中通过Canny算法进行边缘提取的步骤包括：

步骤5.1，计算梯度幅值和方向，求像素点的局部最大值，其中梯度的模长为：

方向为：θ＝atan2(L_x,L_y) (4)

式中，L_x，L_y代表的是水平和垂直两个方向的差分，θ的取值为[-π,π]；

步骤5.2，通过比较像素点灰度值和设定的强、弱边缘阈值的大小，确定是否为边缘，若梯度值大于强边缘阈值，则认为该像素点是强边缘点，将该像素点识别为边缘信息；若梯度值在强边缘阈值和弱边缘阈值之间，则认为该像素点是弱边缘点，保留该像素点；若梯度值小于弱边缘阈值，则抑制该像素点。

进一步，所述步骤2中对点云数据进行3DTiles金字塔空间结构切片具体包括以下步骤：

步骤2.1，确定深度参数d和复杂度n：d表示切分的最大层数，n表示单个瓦片的最小复杂度；

步骤2.2，当切分层数超过d或者单个瓦片复杂度小于n时，切分停止；

步骤2.3，计算包含所有的几何体的包围盒，然后将包围盒等分成4或8个子包围盒；

步骤2.4，利用上述切分步骤，对每一个子包围盒进行切分，切片结束后，按照瓦片集数据tileset.json和瓦片数据的格式存储在文件系统中。

进一步，所述步骤3中利用线性插值方法计算影像像素的经纬度位置的步骤如下：

步骤3.1，根据实验数据中心点进行位置区域定位；

步骤3.2，根据定位的范围，计算影像数据所在的经度差K，纬度差L；影像数据的分辨率为h×w，即影像的高度h，宽度w；设选取的像素坐标为(u,v)，(α₀,β₀)为分别为瓦片起始点(0,0)经度和纬度，则像素坐标和对应的经纬度关系为

进一步，所述步骤4的具体过程为：

步骤4.1，选取经过步骤1影像数据处理和步骤3位置标定后得到影像二值化数据角点，得到3行N列的矩阵A；

步骤4.2，选取N组点云数据角点，得到2行N列的矩阵B；

步骤4.3，根据矩阵A和矩阵B建立匹配目标函数，

式中，{ε_ij|i∈(1,2),j∈(1,...,N)}为随机误差，{(x_ri,y_ri,z_ri)|i∈(1,...,N)}为点云数据的笛卡尔坐标，{(x_ci,y_ci,z_ci)|i∈(1,...,N)}为影像数据点的笛卡尔坐标；d₁、d₂、d₃、d₄、d₅、d₆为所求矩阵D的元素

步骤4.4，计算矩阵A的广义逆矩阵C，得到融合矩阵D＝B*C。

进一步，所述步骤5中自反馈调整点云模型和影像的角度误差具体包括以下步骤：

步骤5.1，利用点云包围盒数据，提取其中的中心坐标m₀和包围盒短边的中点坐标m₁，计算出点云模型的包围盒轴线向量

步骤5.2，通过特征提取影像角点坐标q₀和q₁，计算出影像数据的边线向量

步骤5.3，分别计算步骤5.1和步骤5.2向量与正北方向的夹角α、β，得到两向量的夹角λ＝|α-β|；

步骤5.4，将步骤5.3计算得到的夹角λ与设定的阈值比较，若λ大于等于该阈值，则进行反馈调节，即将该点云模型绕z轴进行旋转变换，减小角度误差，使融合结果更加精确；若λ小于该阈值，则不进行旋转变换，即此时的融合矩阵为最优矩阵。

进一步，所述步骤6中融合结果可视化的具体过程为：将计算得到的最优融合矩阵放置到tileset.json中根节点下，绘制时使用此矩阵对模型进行逐点变换，从而实现点云数据与影像数据融合结果的三维可视化。

与现有技术相比本发明具有以下优点：

1、本发明公开了一种基于几何特征的水上交通环境中激光雷达点云数据与影像数据融合方法，该方法通过可视化的方式，将融合结果呈现出来，获得目标的三维完备信息。

2、由于水上交通环境天气条件恶劣的情况较多，而单一的视频传感器设备在此条件下采集到的信息范围和精度有限，从而难以获得水上交通环境的全面感知，容易造成严重的交通事故。本发明提出的方法，克服了恶劣天气条件导致的视频传感器信息采集范围和精度不足的问题。利用激光雷达点云数据和影像数据的融合，不仅可以使船舶能够获取目标物体的空间信息，也能够使船舶获得目标丰富的纹理特征信息，提高了船舶航行时对周围环境的感知能力，加强了船舶的识别能力，对于船舶航行安全具有重要意义。

附图说明

图1为本发明中计算获得融合矩阵的流程图。

图2为本发明中自反馈调节流程图。

图3为本发明中Cesium可视化结果。

具体实施方式

一种水上交通环境中雷达点云与影像数据的融合方法,包括以下步骤：

(1)影像数据预处理：

首先，针对获得的彩色图像，为减少后续计算量，本发明利用加权平均的方法对影像进行灰度化处理，加权平均方法计算如下：

Gray(i,j)＝W_r*R(i,j)+W_g*G(i,j)+W_b*B(i,j) (1)

式中，W_r，W_g，W_b分别为三个通道的权重，R(i,j)，G(i,j)，B(i,j)分别为影像像素点(i,j)的R、G、B三通道的颜色值，根据重要相关程度不同，赋予不同的权值；

其次，由于影像在采集的过程中受到采集设备或者外界环境的影响，难免产生噪声，影响融合结果的准确性，因此通过高斯滤波的方法进行降噪。本发明采用均值为0的二维高斯滤波器。

卷积窗口大小为(2K+1)*(2K+1)，其中(2K+1)为高斯核径向值；K为可调节参数，取值为非零正整数。将待处理图像与该模板进行迭代卷积，遍历整幅图像，从而实现对整幅图像的加权平均。该模板中某位置(i,j)处的像素值为：

其中，σ为方差待调参数，f(i,j)为像素点(i,j)处的像素值。

然后，采用最大类间方差法区分后景和前景，设影像的灰度级为I，I的取值范围为1～255。T为分割前景和后景的灰度值，该值将图像区分为前景[1,2,3,...,T]和后景[T+1,...,I]，确定T值的计算方法如下：：

前景概率：前景平均灰度：/>

后景概率：后景平均灰度：/>

影像全局灰度均值为：f_(T)＝p₁*(μ₁-μ)²+p₂*(μ₂-μ)²。

其中，表示各灰度值i的概率，n_i表示灰度值为i的像素点数，W表示影像总像素点数，f_(T)为类间方差，当该值最大时，此时的T为最佳阈值。

最后，利用Canny算法对二值化后的影像进行边缘特征提取。步骤为：

①计算梯度幅值和方向，求像素点的局部最大值，其中梯度的模长为：

方向为：θ＝atan2(L_x,L_y) (4)

式中，Lx，Ly代表的是水平和垂直两个方向的差分，θ的取值为[-π,π]；

②通过比较像素点灰度值和设定的两个阈值(分别是强边缘阈值与弱边缘阈值)的大小，确定是否为边缘。若梯度值大于强边缘阈值，则认为该点是强边缘点，将该点识别为边缘信息；若梯度值在强边缘阈值和弱边缘阈值之间，则认为该点是弱边缘点，保留该点；若梯度值小于弱边缘阈值，则抑制该点。

(2)点云数据生成与组织：为了满足融合数据传输以及提高融合结果渲染效率，需要对点云数据进行格式转换和空间结构切片。切片的原则要保证可视化效果的同时树结构深度(层数)和复杂度都尽量小。切片过程如下：

①确定深度参数d和复杂度n：d表示切分的最大层数，n表示单个瓦片的最小复杂度。当切分层数超过d或者单个瓦片复杂度小于n时，切分停止；

②计算包围盒。该包围盒包含所有的几何体，然后将包围盒等分成4或8个子包围盒。

③利用上述切分步骤，对每一个子包围盒进行切分，每切分一次就表示树结构深度增加一层，子瓦片的复杂度就相对降低，当达到限制条件时，即树结构深度大于d或者子瓦片的集合复杂度小于n，此时停止切分。切片结束后，就会将模型空间结构切分为树状结构，按照瓦片集数据tileset.json和瓦片数据(文件)的格式存储在文件系统中。

(3)影像像素地理位置标定：通过已知的影像分辨率大小和对应三维地理信息中的经纬度范围，利用线性插值的方法计算像素值和经纬度的对应关系，计算步骤如下：

①根据实验数据中心点进行位置区域定位；

②根据定位的范围，计算影像数据所在的经度差K，纬度差L。影像数据的分辨率为h×w，即影像的高度h，宽度w。设选取的像素坐标为(u,v)，(α₀,β₀)为分别为瓦片起始点(0,0)经度和纬度，则像素值和对应的经纬度关系为：

(4)构建匹配目标函数求解融合矩阵：经过步骤(1)的影像数据处理和步骤(3)的位置标定，可以得到影像二值化数据，然后选取特征明显的角点(依次选取N组点云数据角点和对应的影像二值化数据角点)，建立融合模型：

式中，{ε_ij|i∈(1,2),j∈(1,...,N)}是随机误差，{(x_ri,y_ri,z_ri)|i∈(1,...,N)}为点云数据的笛卡尔坐标，{(x_ci,y_ci,z_ci)|i∈(1,...,N)}为影像数据点的笛卡尔坐标。

(5)自反馈调节点云模型和影像的角度差

由于步骤(4)最小二乘方法的计算误差属性，经过融合矩阵变换的点云数据和影像数据仍存在融合误差。为了达到更精确的融合效果，通过比较点云数据轴线向量和对应影像边线向量所构成的夹角与设定阈值的大小，迭代式构造匹配矩阵，进行自反馈调节，减小误差。步骤如下：

①利用点云包围盒数据，提取其中的中心坐标m₀和包围盒短边的中点坐标m₁，计算出点云模型的包围盒轴线向量然后，通过特征提取影像角点坐标q₀和q₁，计算出影像数据的边线向量/>

②通过计算出两条向量与正北方向的夹角α、β，可得到这两条向量的夹角为λ＝|α-β|。设定一个阈值5゜，将这两条向量的夹角和阈值进行比较。如果λ大于等于该阈值，则进行反馈调节，即将该点云模型绕z轴进行旋转变换，减小角度误差，使融合结果更加精确；如果两条向量的角度差小于该阈值，则不进行旋转变换，即此时的融合矩阵为最优矩阵。

(6)结果可视化：

将计算得到的融合矩阵放置到tileset.json中根节点下，绘制时使用此矩阵对模型进行逐点变换，从而实现点云数据与影像数据融合结果的三维可视化。

应当指出，本发明的实施方式并不受上述实施例的限制，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干变型和改进，都包含在本发明的保护范围之内。

Claims (7)

1.一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，包括以下步骤：

步骤1，图像数据预处理：包括将相机采集到的影像数据，生成对应的二值化影像数据；通过高斯滤波算法进行降噪处理；利用最大类间方差法进行影像分割；通过Canny算法进行边缘提取；

步骤2，点云数据生成与组织：对点云数据进行格式转换和3DTiles金字塔空间结构切片；

步骤3，影像像素地理位置标定：通过已知的影像分辨率大小和对应地理空间中的经纬度范围，利用线性插值方法计算影像像素的经纬度位置；

步骤4，基于最小二乘方法，构建匹配目标函数并求解融合矩阵；

步骤5，自反馈调整点云模型和影像的角度误差：通过比较点云数据轴线向量和对应影像边线向量所构成的夹角与设定阈值的大小，迭代式构造匹配矩阵，进行自反馈调节，减小误差；

步骤6，融合结果可视化：将最终的融合结果通过三维可视化平台Cesium展示，获得融合结果的可视化；

所述步骤2中对点云数据进行3DTiles金字塔空间结构切片具体包括以下步骤：

步骤2.1，确定深度参数d和复杂度n：d表示切分的最大层数，n表示单个瓦片的最小复杂度；

步骤2.2，当切分层数超过d或者单个瓦片复杂度小于n时，切分停止；

步骤2.3，计算包含所有的几何体的包围盒，然后将包围盒等分成4或8个子包围盒；

步骤2.4，利用上述切分步骤，对每一个子包围盒进行切分，切片结束后，按照瓦片集数据tileset.json和瓦片数据的格式存储在文件系统中；

所述步骤4的具体过程为：

步骤4.1，选取经过步骤1影像数据处理和步骤3位置标定后得到影像二值化数据角点，得到3行N列的矩阵A；

步骤4.2，选取N组点云数据角点，得到2行N列的矩阵B；

步骤4.3，根据矩阵A和矩阵B建立匹配目标函数，

式中，{ε_ij|i∈(1,2),j∈(1,...,N)}为随机误差，{(x_ri,y_ri,z_ri)|i∈(1,...,N)}为点云数据的笛卡尔坐标，{(x_ci,y_ci,z_ci)|i∈(1,...,N)}为影像数据点的笛卡尔坐标；d₁、d₂、d₃、d₄、d₅、d₆为所求矩阵D的元素

步骤4.4，计算矩阵A的广义逆矩阵C，得到融合矩阵D＝B*C；

所述步骤5中自反馈调整点云模型和影像的角度误差具体包括以下步骤：

步骤5.1，利用点云包围盒数据，提取其中的中心坐标m₀和包围盒短边的中点坐标m₁，计算出点云模型的包围盒轴线向量

步骤5.2，通过特征提取影像角点坐标q₀和q₁，计算出影像数据的边线向量

步骤5.3，分别计算步骤5.1和步骤5.2向量与正北方向的夹角α、β，得到两向量的夹角λ＝|α-β|；

步骤5.4，将步骤5.3计算得到的夹角λ与设定的阈值比较，若λ大于等于该阈值，则进行反馈调节，即将该点云模型绕z轴进行旋转变换，减小角度误差，使融合结果更加精确；若λ小于该阈值，则不进行旋转变换，即此时的融合矩阵为最优矩阵。

2.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤1中二值化影像数据生成的过程为：利用加权平均的方法对影像进行灰度化处理，所述加权平均方法计算如下：

Gray(i,j)＝W_r*R(i,j)+W_g*G(i,j)+W_b*B(i,j) (1)

式中，W_r，W_g，W_b分别为三个通道的权重，R(i,j)，G(i,j)，B(i,j)分别为影像像素点(i,j)的R、G、B三通道的颜色值，根据重要相关程度不同，赋予不同的权值。

3.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤1中高斯滤波降噪处理的过程为：采用均值为0的二维高斯滤波器，卷积窗口大小为(2K+1)*(2K+1)，其中(2K+1)为高斯核径向值，K为可调节参数，取值为非零正整数，将待处理图像与模板进行迭代卷积，遍历整幅图像，从而实现对整幅图像的加权平均，模板中某位置(i，j)处的像素值为：

其中，σ为方差待调参数，f(i,j)为像素点(i,j)处的像素值。

4.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤1中利用最大类间方差法进行影像分割的具体过程为：

采用最大类间方差法区分后景和前景，设影像的灰度级为I，I的取值范围为1～255，T为分割前景和后景的灰度值，该值将图像区分为前景[1,2,3,...,T]和后景[T+1,...,I]，确定T值的计算方法如下：

前景概率：前景平均灰度：/>

后景概率：后景平均灰度：/>

影像全局灰度均值为：f_(T)＝p₁*(μ₁-μ)²+p₂*(μ₂-μ)²，

其中，表示各灰度值i的概率，n_i表示灰度值为i的像素点数，W表示影像总像素点数，f_(T)为类间方差，当该值最大时，此时的T为最佳阈值。

5.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤1中通过Canny算法进行边缘提取的步骤包括：

步骤5.1，计算梯度幅值和方向，求像素点的局部最大值，其中梯度的模长为：

方向为：θ＝atan2(L_x,L_y)(4)

式中，L_x，L_y代表的是水平和垂直两个方向的差分，θ的取值为[-π,π]；

步骤5.2，通过比较像素点灰度值和设定的强、弱边缘阈值的大小，确定是否为边缘，若梯度值大于强边缘阈值，则认为该像素点是强边缘点，将该像素点识别为边缘信息；若梯度值在强边缘阈值和弱边缘阈值之间，则认为该像素点是弱边缘点，保留该像素点；若梯度值小于弱边缘阈值，则抑制该像素点。

6.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤3中利用线性插值方法计算影像像素的经纬度位置的步骤如下：

步骤3.1，根据实验数据中心点进行位置区域定位；

步骤3.2，根据定位的范围，计算影像数据所在的经度差K，纬度差L；影像数据的分辨率为h×w，即影像的高度h，宽度w；设选取的像素坐标为(u,v)，(α₀,β₀)为分别为瓦片起始点(0,0)经度和纬度，则像素坐标和对应的经纬度关系为

7.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤6中融合结果可视化的具体过程为：将计算得到的最优融合矩阵放置到tileset.json中根节点下，绘制时使用此矩阵对模型进行逐点变换，从而实现点云数据与影像数据融合结果的三维可视化。