CN109993692A - 一种基于深度学习的电子海图和雷达图像的数据融合方法 - Google Patents

Abstract

本发明提供一种基于深度学习的电子海图和雷达图像的数据融合方法。本发明方法，包括如下步骤：利用深度学习目标检测模型对输入的雷达图像进行目标检测，识别出航海雷达探测到的特征物标；对雷达图像中特征区域进行预处理；向雷达图像中特征区域的几何中心发射射线，寻找配准参考点；采用基于特征的仿射变换，用电子海图对雷达图像进行配准，达到雷达图像和电子海图的数据融合。本发明有效地融合电子海图和雷达图像，从而帮助船舶驾驶员更好地理解航行环境，并提高驾驶自动化水平和导航安全性。

Description

一种基于深度学习的电子海图和雷达图像的数据融合方法

技术领域

本发明涉及船载导航仪器图像融合领域，尤其涉及一种基于深度学习的电子海图和雷达图像的数据融合方法。

背景技术

在应用层面，IEC 62388(IEC 62388,2013:62388)雷达性能及测试标注中，将能够在雷达图像上叠加电子海图的雷达称为海图雷达。其显示的海图信息从最简单的海岸线及航标显示到全面显示可由船舶驾驶员自行选择。但由于船位和艏向传感器信息存在一定的误差以及目标对电磁波的遮蔽效应、雷达目标方位和径向上的固有扩展因素的影响，会导致矢量海图与雷达目标匹配时出现局部不吻合的现象。仪器装船时若确认存在误差，可以进行手动补偿调节，通过调节传感器初始误差和多次缩放、旋转、平移电子海图对融合效果进行补偿。然而，人工补偿的过程繁琐且依赖于经验。且这种叠加性的融合层次较低，不具有鲁棒性。

Yang《Method of image overlay on radar and electronic chart》、Al–sharman《Precision landing using an adaptive fuzzy multi-sensor data fusionarchitecture.Appl.Soft Comput》等人在应用电子海图和雷达图像进行融合时，也表现出叠加性的融合层次较低。

发明内容

根据上述提出的技术问题，而提供一种基于深度学习的电子海图和雷达图像的数据融合方法。本发明采用的技术手段如下：

一种基于深度学习的电子海图和雷达图像的数据融合方法，包括如下步骤：

S1、利用深度学习目标检测模型对输入的雷达图像进行目标检测，识别出航海雷达探测到的特征物标；

S2、对雷达图像中特征区域进行预处理，所述特征区域为深度学习目标检测模型检测出来的包括所述特征物标的区域，其包括如下步骤：

S21、对雷达图像中特征区域进行滤波处理；

S22、对滤波后的雷达图像进行二值化处理，将灰度图像转换为二值图像；

S23、提取雷达图像中特征区域的雷达回波边界；

S3、向雷达图像中特征区域的几何中心发射射线，寻找配准参考点；

S4、采用基于特征的仿射变换，用电子海图对雷达图像进行配准，达到雷达图像和电子海图的数据融合。

进一步地，所述步骤S1之前还有如下步骤：

利用深度学习目标检测模型中的基于区域的全卷积网络模型结合迁移学习技术将待配准雷达数据集代入到已有目标检测模型中，对模型进行预处理。

进一步地，所述步骤S21中，采用自适应均值滤波算法对雷达图像中特征区域进行滤波处理，具体为：

K(x)＝c_kk(||x||²) (1)

其中，c_k为一个大于0的常数，满足∫k(x)dr＜0，K(x)为一个核函数，核密度估计值由下式给出：

其中，K_H(x)＝|H|^-1/2K(H^-1/2x)，n表示样本像素点总量，H为参数，

在H＝h²I的前提下，I为单位矩阵简化密度方程，可得到下式，

梯度满足：

当g(x)＝-k′(x)，G(x)＝c_kg(||x||²)时，G(x)作为K(x)的不透明函数，得到：

m_h(x)为用于更新半径h的搜索区域的样本点的加权平均值，m_h(x)-x为漂移向量，当其小于公差时终止迭代过程。

进一步地，所述步骤S22中，采用大津法，即OSTU法，对航海雷达图像进行二值处理，具体变换表示为：

其中w₀为前景与图像的比值，u₀为其平均灰度值，w₁为背景与图像的比值，u₁为其平均灰度值，g(t)使前景和背景差异最大，对应的阈值t为最优。

进一步地，所述步骤S22后，还采用腐蚀、膨胀、开闭的方法对二值处理在前景目标之外产生的孤立噪声像素进行降噪，具体为：

其中，Z代表前景，w代表像素在前景图中的不同位置，a和b为元素集合A和B中的元素。

进一步地，所述步骤S23中，使用改进的canny算子提取雷达图像中特征区域的雷达回波边界，具体为：

其中P(x,y)为二维高斯方程，f(x,y)为图像数据，A(i,j)为(i,j)点在图像中的边界特征，a(i,j)为图像在点(i,j)上的法向量。

进一步地，所述步骤S3中，选择三个或三个以上的参考点。

进一步地，所述步骤S4中，仿射变换具体为：

S41、

其中(x_i,y_i)为电子海图中的坐标像素，k′，θ，x_o和y_o为仿射变换的参数，和图像旋转的角度相关，k为图像缩放比例，x_o和y_o与图像的平移相关，可以得出：

并且，a₁₁＝a₂₂＝k′cosθ，a₁₃＝x_o，a₁₂＝-a₂₁＝k′sinθ，a₂₃＝y_o，a₁₁～a₂₃表示新坐标的参数；

S42、将公式(10)中的仿射变换参数k，θ，x₀以及y₀保存，即可实现连续时间段的电子海图与雷达图像的图像融合。

本发明具有以下优点：在图形滤波环节，更加有目的性地只针对配准兴趣区域进行滤波，以便更加准确地提取配准兴趣区域的图像边缘信息。采用大津法对航海雷达图像进行二值处理，有效避免对彩色图像进行多通道的处理。通过仿射变换，有效地融合电子海图和雷达图像，本发明也可以在GPS误差或艏向误差较大时，完成雷达图像与电子海图的特征级融合的处理预案，从而帮助船舶驾驶员更好地理解航行环境，并提高驾驶自动化水平和导航安全性。

基于上述理由本发明可在船载导航仪器图像融合领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于深度学习的电子海图和雷达图像的数据融合方法流程图。

图2为本发明实施例中航海雷达原始图像示意图。

图3为本发明实施例中制作雷达图像微调训练数据集示意图。

图4为本发明实施例中对雷达图像进行深度学习特征目标检测示意图。

图5为本发明实施例中对雷达图像中特征区域进行预处理示意图，其中，包括均值滤波法(a)和Otsu法对雷达图像进行滤波和二值化(b)预处理示意图和采用canny算子提取雷达特征目标区域的边缘特征(c)(d)示意图。

图6为本发明实施例中向雷达图像中特征区域的几何中心发射射线，寻找配准参考点示意图。

图7为本发明实施例中待配准电子海图原始图像示意图。

图8为本发明实施例中运用仿射变换将雷达图像和电子海图进行融合示意图，具体为将公式(10)中的仿射变换参数k′，θ，x₀以及y₀保存后连续时间段的配准效果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例公开了一种基于深度学习的电子海图和雷达图像的数据融合方法，包括如下步骤：

S1、利用深度学习目标检测模型对输入的如图2所示的雷达图像进行目标检测，识别出航海雷达探测到的特征物标；

S2、对雷达图像中特征区域进行预处理，所述特征区域为如图4所示的深度学习目标检测模型检测出来的包括所述特征物标的区域，其包括如下步骤：

S21、对雷达图像中特征区域进行滤波处理；

S22、对滤波后的雷达图像进行二值化处理，将灰度图像转换为二值图像；

S23、提取雷达图像中特征区域的雷达回波边界；

S3、向雷达图像中特征区域的几何中心发射射线，寻找配准参考点；

S4、采用基于特征的仿射变换，用电子海图对雷达图像进行配准，达到雷达图像和电子海图的数据融合。

其中，所述步骤S1之前还有如下步骤：

如图3所示，利用深度学习目标检测模型中的基于区域的全卷积网络模型(Region-based Fully Convolutional Net，R-FCN)结合迁移学习技术将待配准雷达数据集代入到已有目标检测模型中，对模型进行预处理。

与基于整幅图像的配准不同，在图形滤波环节，本实施例更加有目的性地只针对配准兴趣区域进行滤波，以便更加准确地提取配准兴趣区域的图像边缘信息，从图像配准的实时性角度出发，所述步骤S21中，采用自适应均值滤波算法对雷达图像中特征区域进行如图5(a)所示的滤波处理，具体为：

K(x)＝c_kk(||x||²) (1)

其中，c_k为一个大于0的常数，满足∫k(x)dr＜0，K(x)为一个核函数，核密度估计值由下式给出：

其中，K_H(x)＝|H|^-1/2K(H^-1/2x)，n表示样本像素点总量，H为参数，

在H＝h²I的前提下，I为单位矩阵简化密度方程，可得到下式，

梯度满足：

当g(x)＝-k′(x)，G(x)＝c_kg(||x||²)时，G(x)作为K(x)的不透明函数，得到：

m_h(x)为用于更新半径h的搜索区域的样本点的加权平均值，m_h(x)-x为漂移向量，当其小于公差时终止迭代过程。

为了避免对彩色图像进行多通道的处理，作为优选的实施方式，本实施例采用大津法即OSTU法，对航海雷达图像进行如图5(b)所示的二值处理。该方法根据图像的特征自适应地搜索阈值，并将灰度图像转换为二值图像具体变换表示为：

其中w₀为前景与图像的比值，u₀为其平均灰度值，w₁为背景与图像的比值，u₁为其平均灰度值，g(t)使前景和背景差异最大，对应的阈值t为最优。

进行形态学处理，二值处理可能会在前景目标之外产生一些孤立的噪声像素，影响其完整性，作为优选的实施方式，本实施例采用腐蚀、膨胀、开闭的方法对二值处理在前景目标之外产生的孤立噪声像素进行降噪，具体为：

其中，Z代表前景，w代表像素在前景图中的不同位置，a和b为元素集合A和B中的元素。

所述步骤S23中，使用改进的canny算子提取雷达图像中特征区域的雷达回波边界如图5(c)(d)所示的，具体为：

其中P(x,y)为二维高斯方程，f(x,y)为图像数据，A(i,j)为(i,j)点在图像中的边界特征，a(i,j)为图像在点(i,j)上的法向量。

图像配准原理上可以基于图像灰度值、图像特征和域的转换。考虑到航海雷达图像与如图7所示的电子海图图像的显著差异，本实施例采用基于特征的仿射变换进行融合。对于仿射变换，需要选择如图6所示的三个或三个以上的参考点，其原理如下：

S41、

其中(x_i,y_i)为电子海图中的坐标像素，k′，θ，x_o和y_o为仿射变换的参数，和图像旋转的角度相关，k为图像缩放比例，x_o和y_o与图像的平移相关，可以得出：

并且，a₁₁＝a₂₂＝k′cosθ，a₁₃＝x_o，a₁₂＝-a₂₁＝k′sinθ，a₂₃＝y_o，a₁₁～a₂₃表示新坐标的参数；

S42、如图8所示，将公式(10)中的仿射变换参数k，θ，x₀以及y₀保存，即可实现连续时间段的电子海图与雷达图像的图像融合。

如果无法实现自动配准，则可以使用手动选取三个配准参考点，执行第(9)步。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于深度学习的电子海图和雷达图像的数据融合方法，其特征在于，包括如下步骤：

S1、利用深度学习目标检测模型对输入的雷达图像进行目标检测，识别出航海雷达探测到的特征物标；

S2、对雷达图像中特征区域进行预处理，所述特征区域为深度学习目标检测模型检测出来的包括所述特征物标的区域，其包括如下步骤：

S21、对雷达图像中特征区域进行滤波处理；

S22、对滤波后的雷达图像进行二值化处理，将灰度图像转换为二值图像；

S23、提取雷达图像中特征区域的雷达回波边界；

S3、向雷达图像中特征区域的几何中心发射射线，寻找配准参考点；

S4、采用基于特征的仿射变换，用电子海图对雷达图像进行配准，达到雷达图像和电子海图的数据融合。

2.根据权利要求1所述的基于深度学习的电子海图和雷达图像的数据融合方法，其特征在于，所述步骤S1之前还有如下步骤：

利用深度学习目标检测模型中的基于区域的全卷积网络模型结合迁移学习技术将待配准雷达数据集代入到已有目标检测模型中，对模型进行预处理。

3.根据权利要求1所述的基于深度学习的电子海图和雷达图像的数据融合方法，其特征在于，所述步骤S21中，采用自适应均值滤波算法对雷达图像中特征区域进行滤波处理，具体为：

K(x)＝c_kk(||x||²) (1)

其中，c_k为一个大于0的常数，满足∫k(x)dr＜0，K(x)为一个核函数，核密度估计值由下式给出：

其中，K_H(x)＝|H|^-1/2K(H^-1/2x)，n表示样本像素点总量，H为参数，

在H＝h²I的前提下，I为单位矩阵简化密度方程，可得到下式，

梯度满足：

当g(x)＝-k′(x)，G(x)＝c_kg(||x||²)时，G(x)作为K(x)的不透明函数，得到：

m_h(x)为用于更新半径h的搜索区域的样本点的加权平均值，m_h(x)-x为漂移向量，当其小于公差时终止迭代过程。

4.根据权利要求1或3所述的基于深度学习的电子海图和雷达图像的数据融合方法，其特征在于，所述步骤S22中，采用大津法，即OSTU法，对航海雷达图像进行二值处理，具体变换表示为：

其中w₀为前景与图像的比值，u₀为其平均灰度值，w₁为背景与图像的比值，u₁为其平均灰度值，g(t)使前景和背景差异最大，对应的阈值t为最优。

5.根据权利要求4所述的基于深度学习的电子海图和雷达图像的数据融合方法，其特征在于，所述步骤S22后，还采用腐蚀、膨胀、开闭的方法对二值处理在前景目标之外产生的孤立噪声像素进行降噪，具体为：

其中，Z代表前景，w代表像素在前景图中的不同位置，a和b为元素集合A和B中的元素。

6.根据权利要求5所述的基于深度学习的电子海图和雷达图像的数据融合方法，其特征在于，所述步骤S23中，使用改进的canny算子提取雷达图像中特征区域的雷达回波边界，具体为：

其中P(x,y)为二维高斯方程，f(x,y)为图像数据，A(i,j)为(i,j)点在图像中的边界特征，a(i,j)为图像在点(i,j)上的法向量。

7.根据权利要求1或6所述的基于深度学习的电子海图和雷达图像的数据融合方法，其特征在于，所述步骤S3中，选择三个或三个以上的参考点。

8.根据权利要求7所述的基于深度学习的电子海图和雷达图像的数据融合方法，其特征在于，所述步骤S4中，仿射变换具体为：

其中(x_i,y_i)为电子海图中的坐标像素，k′，θ，x_o和y_o为仿射变换的参数，和图像旋转的角度相关，k为图像缩放比例，x_o和y_o与图像的平移相关，可以得出：

并且，a₁₁＝a₂₂＝k′ cosθ，a₁₃＝x_o，a₁₂＝-a₂₁＝k′ sinθ，a₂₃＝y_o，其中，a₁₁～a₂₃表示新坐标的参数；

S42、将公式(10)中的仿射变换参数k，θ，x₀以及y₀保存，即可实现连续时间段的电子海图与雷达图像的图像融合。