CN107941220B - 一种基于视觉的无人船海天线检测与导航方法和系统 - Google Patents

Abstract

本发明公开了一种基于视觉的无人船海天线检测与导航方法和系统，应用线段检测算法提取图像中的所有线段，建立线段池，然后以海天线的形态特征作为约束条件，过滤掉线段池中的非海天线线段，得到海天线候选线段；随后采用最小二乘法估计最佳海天线结果，得到海天线候选线段的检测结果；最后，基于海天线候选线段的检测结果，在海天线的摄影模型基础上，实现了USV导航参数的解算。可见，通过本发明能够有效地进行无人船海天线的检测，并能够准确计算无人船的姿态导航参数。

Description

一种基于视觉的无人船海天线检测与导航方法和系统

技术领域

本发明属于海洋导航技术领域，尤其涉及一种基于视觉的无人船海天线检测与导航方法。

背景技术

随着无人驾驶系统和人工智能技术的快速发展，继无人机和无人车之后，无人船(Unmanned Surface Vehicle，USV)在军用和民用领域中越来越受欢迎，在海上搜救，沿海环境监测，3D绘图和敌方侦察等各种海洋应用中发挥着重要作用。

精确、自主的导航系统是USV的核心技术之一，对保障USV在没有人为干预的情况下完成各种海上任务至关重要。通常，USV需要配备不同的导航传感器，包括全球导航卫星系统(Global Navigation Satellite System，GNSS)，惯性导航系统(InertialNavigation System，INS)，罗盘，视觉相机等。尽管GNSS已成为定位，导航和定时(PositionNavigation Time，PNT)的主要传感器，然而，在海上应用中，由于受电离层/对流层天气事件，外界信号干扰，遮挡，海面多径等因素的影响，GNSS的最终性能可能会严重恶化。为了解决这个问题，GNSS通常与INS或其他嵌入式传感器组合，以获得更准确的位置，姿态，速度，航向等导航信息。

在USV的嵌入式传感器中，视觉相机已经成为不可或缺的传感器，因为它具有被动，高分辨率，低功耗和质量小的优点，可用于感知和理解海洋环境及其周围的各种目标。对于USV视觉导航问题，特征的提取与应用是关键步骤之一。在各类特征中，由于线段特征通常比其他特征(如点特征)更加具有抗噪性，因此，线段特征更适合于导航应用。在USV海洋航行过程中，海天线通常在USV视觉相机视野中。因此，可根据检测到的海天线的位置和运动模式，估计USV的姿态和运动状态，从而进行USV导航参数的计算。然而，USV海天线检测是一个非常具有挑战性的问题。由于受复杂的海洋环境背景、太阳光照变化、海面波浪等因素的影响，海天线检测过程中容易受到干扰，同时，海天线容易被海面的岛礁和船只遮挡，导致海天线不完整，给海天线的检测增加了难度。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种基于视觉的无人船海天线检测与导航方法，能够有效地进行无人船海天线检测，并能够计算获得无人船的姿态导航参数。

为了解决上述技术问题，本发明公开了一种基于视觉的无人船海天线检测与导航方法，包括：

对USV视觉系统采集的图像进行线段提取，建立线段池；

根据USV观测图像的海天线形态特征，对所述线段池中的线段进行筛选，得到海天线候选线段；

对所述海天线候选线段进行拟合，得到海天线候选线段的检测结果；

根据所述检测结果，计算得到USV导航参数。

在上述基于视觉的无人船海天线检测与导航方法中，所述对USV视觉系统采集的图像进行线段提取，建立线段池，包括：

对USV视觉系统采集的图像进行预处理，得到灰度图像；

检测出灰度图像中的所有线段，建立线段池。

在上述基于视觉的无人船海天线检测与导航方法中，其特征在于，所述对USV视觉系统采集的图像进行预处理，得到灰度图像，包括：

通过如下式(1)，对USV视觉系统采集的图像进行预处理，将USV视觉系统采集的图像转换为灰度图像：

I_U(t)＝μ₁I_R(t)+μ₂I_G(t)+(1-μ₁-μ₂)I_B(t)···式(1)

其中，I_R(t),I_G(t),I_B(t)分别表示t时刻R，G，B三个通道的像素矩阵，t表示图像的拍摄时间，I_U(t)表示t时刻的灰度图像，μ₁和μ₂分别表示R通道和G通道像素的权重，满足0≤μ₁，μ₂≤1且μ₁+μ₂≤1。

在上述基于视觉的无人船海天线检测与导航方法中，μ₁＝0.3，μ₂＝0.59。

在上述基于视觉的无人船海天线检测与导航方法中，所述检测出灰度图像中的所有线段，建立线段池，包括：

采用线段检测方法检测出灰度图像中的所有线段，建立线段池；其中，在t时刻，所述线段池中的线段为：l₁(t),l₂(t),…,l_N(t)；N表示t时刻线段池中的线段的数量；

线段l_i(t)的表达式如下：

l_i(t)＝[x_i1(t),y_i1(t),x_i2(t),y_i2(t)]^T···式(2)

其中，i∈[1,N]，[x_i1(t),y_i1(t)]和[x_i2(t),y_i2(t)]分别表示线段l_i(t)的两个端点在图像坐标系下的坐标。

在上述基于视觉的无人船海天线检测与导航方法中，所述根据USV观测图像的海天线形态特征，对所述线段池中的线段进行筛选，得到海天线候选线段，包括：

对t时刻线段池中的各个线段，分别进行长度概率计算，确定t时刻线段池中的各个线段的长度概率；

对t时刻线段池中的各个线段，分别进行方向角计算，确定t时刻线段池中的各个线段的方向角；

从t时刻线段池中，筛选得到长度概率大于第一阈值、且方向角大于第二阈值的线段，作为所述海天线候选线段。

在上述基于视觉的无人船海天线检测与导航方法中，所述对t时刻线段池中的各个线段，分别进行长度概率计算，确定t时刻线段池中的各个线段的长度概率，包括：

通过如下式(3)，对t时刻线段池中的任意线段l_i(t)进行长度计算：

其中，t时刻线段池中包括：线段l₁(t),l₂(t),…,l_N(t)，N表示t时刻线段池中的线段的数量；i∈[1,N]，l_i(t)表示任意线段l_i(t)的长度；

通过如下式(4)，确定任意线段l_i(t)的长度概率P：

其中，n表示：t时刻线段池中线段长度小于所述任意线段l_i(t)的线段长度的线段的数量；

依次确定t时刻线段池中的各个线段的长度概率。

在上述基于视觉的无人船海天线检测与导航方法中，所述对t时刻线段池中的各个线段，分别进行方向角计算，确定t时刻线段池中的各个线段的方向角，包括：

通过如下式(5)，对t时刻线段池中的任意线段l_i(t)进行方向角计算：

其中，t时刻线段池中包括：线段l₁(t),l₂(t),…,l_N(t)，N表示t时刻线段池中的线段的数量；i∈[1,N]，d_i表示任意线段l_i(t)的方向角；[x_i1(t),y_i1(t)]和[x_i2(t),y_i2(t)]分别表示线段l_i(t)的两个端点在图像坐标系下的坐标；

依次确定t时刻线段池中的各个线段的方向角。

在上述基于视觉的无人船海天线检测与导航方法中，所述对所述海天线候选线段进行拟合，得到海天线候选线段的检测结果，包括：

记海天线在图像坐标系中的方程为：

y＝ax+b···式(6)

记海天线候选线段为：

j∈[1,N_l]，N_l表示海天线候选线段的个数；且，各海天线候选线段的两个端点在图像坐标系下的坐标为：

根据海天线候选线段的两个端点在图像坐标系下的坐标和海天线在图像坐标系中的方程，得到如下方程：

记

则可得如下式(8)：

其中，1表示元素全为1，大小为2N_l×1的矩阵；

记J＝[X,1]，则由加权最小二乘算法可得：

其中，W表示加权矩阵，

diag(·)表示对角矩阵，

分别表示各海天线候选线段的长度；

根据式(9)，计算得到参数a和b的值，得到海天线候选线段的检测结果。

在上述基于视觉的无人船海天线检测与导航方法中，所述根据所述检测结果，计算得到USV导航参数，包括：

根据参数a和b，计算无人船的横滚角γ_V和俯仰角β_V：

γ_V＝tan-¹(a)···式(10)

其中，[u₀,v₀]^T表示图像中心点的坐标，f表示相机的焦距。

相应的，本发明还公开了一种基于视觉的无人船海天线检测与导航系统，包括：

建立模块，用于对USV视觉系统采集的图像进行线段提取，建立线段池；

筛选模块，用于根据USV观测图像的海天线形态特征，对所述线段池中的线段进行筛选，得到海天线候选线段；

拟合模块，用于对所述海天线候选线段进行拟合，得到海天线候选线段的检测结果；

计算模块，用于根据所述检测结果，计算得到USV导航参数。

本发明具有以下优点：

本发明针对现有无人船GNSS导航在复杂海洋环境应用中的存在不足，公开了一种基于视觉的无人船海天线检测与导航方法，应用线段检测算法提取图像中的所有线段，建立线段池，然后以海天线的形态特征作为约束条件，过滤掉线段池中的非海天线线段，得到海天线候选线段；随后采用最小二乘法估计最佳海天线结果，得到海天线候选线段的检测结果；最后，基于海天线候选线段的检测结果，在海天线的摄影模型基础上，实现了USV导航参数的解算。可见，本发明采用了完备线段池和简单海天线形态特征相结合的方式，能够更加有效地降低海天线检测的漏警率并获得更加准确、高效的海天线检测结果，进而有效提高无人船导航参数的解算精度。

附图说明

图1是本发明实施例中一种基于视觉的无人船海天线检测与导航方法的步骤流程图；

图2是本发明实施例中一种海天线候选线段在图像坐标系下的示意图；

图3是本发明实施例中一种导航参数的解算示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明公共的实施方式作进一步详细描述。

参照图1，示出了本发明实施例中一种基于视觉的无人船海天线检测与导航方法的步骤流程图。在本实施例中，所述基于视觉的无人船海天线检测与导航方法，包括：

步骤101，对USV视觉系统采集的图像进行线段提取，建立线段池。

在本实施例中，可以对USV视觉系统采集的图像进行解析，检测得到USV视觉系统采集的图像中的所有线段，基于检测到的所有线段构建所述线段池。

优选的，一种可行的建立线段池的方式可以如下：

子步骤S11，对USV视觉系统采集的图像进行预处理，得到灰度图像。

图像的灰度变换是一种简单而有效地图像增强方法，目的在于以统一的方法改变整个图像的灰度，以增加对比度，从而使得图像的细节清楚，并减小由于海面光照变化、反射、闪烁等因素对海天线检测的干扰。给定一帧无人船相机拍摄的三通道彩色图[I_R(t),I_G(t),I_B(t)]，其中，I_R(t),I_G(t),I_B(t)分别表示t时刻R，G，B三个通道的像素矩阵，t表示图像的拍摄时间，则通过如下式(1)，对USV视觉系统采集的图像进行预处理，将USV视觉系统采集的图像转换为灰度图像：

I_U(t)＝μ₁I_R(t)+μ₂I_G(t)+(1-μ₁-μ₂)I_B(t)···式(1)

其中，I_U(t)表示t时刻的灰度图像，μ₁和μ₂分别表示R通道和G通道像素的权重，满足0≤μ₁，μ₂≤1且μ₁+μ₂≤1。例如，μ₁和μ₂的取值可以如下：μ₁＝0.3，μ₂＝0.59。当然，μ₁和μ₂的上述取值仅为示例性说明，在实际应用中可以根据实际情况进行调整，本实施例对此不作限制。

子步骤S12，检测出灰度图像中的所有线段，建立线段池。

在本实施例中，可以采用线段检测方法，检测出灰度图像中的所有线段，从而建立线段池。

例如，记：在t时刻，所述线段池中的线段为：l₁(t),l₂(t),…,l_N(t)；N表示t时刻线段池中的线段的数量；则任一线段l_i(t)的表达式可以如下：

l_i(t)＝[x_i1(t),y_i1(t),x_i2(t),y_i2(t)]^T···式(2)

其中，i∈[1,N]，[x_i1(t),y_i1(t)]和[x_i2(t),y_i2(t)]分别表示线段l_i(t)的两个端点在图像坐标系下的坐标。

步骤102，根据USV观测图像的海天线形态特征，对所述线段池中的线段进行筛选，得到海天线候选线段。

受复杂海上背景(如，海面岛屿、波浪等)的影响，在线段池中存在大量的非海天线线段(虚警)，也即，通过步骤101所建立的线段池中既包括海天线线段，也包括非海天线线段。

在本实施例中，可以基于海天线的形态信息来滤除所述线段池中的非海天线线段，以降低虚警，具体实现方式可如下：

子步骤21，对t时刻线段池中的各个线段，分别进行长度概率计算，确定t时刻线段池中的各个线段的长度概率。

在本实施例中，考虑到海天线可以看作无限远的长线，通常几乎穿过整幅图像，因此，海天线可被检测为长度相对较长的线段。基于海天线的这一形态信息，可以基于各个线段的长度概率来对线段池中的各个线段的长度进行区分，进而从所述线段池中识别出海天线候选线段。

其中，线段的长度概率的具体计算方式可以如下：

通过如下式(3)，对t时刻线段池中的任意线段l_i(t)进行长度计算：

其中，t时刻线段池中包括：线段l₁(t),l₂(t),…,l_N(t)，l_i(t)表示任意线段l_i(t)的长度。

通过如下式(4)，确定任意线段l_i(t)的长度概率P：

其中，n表示：t时刻线段池中线段长度小于所述任意线段l_i(t)的线段长度的线段的数量。

按照上述式(3)和(4)，依次确定t时刻线段池中的各个线段的长度概率。

子步骤22，对t时刻线段池中的各个线段，分别进行方向角计算，确定t时刻线段池中的各个线段的方向角。

在本实施例中，由于无人船在海上航行的横滚角不会太大，因此，海天线的方向应该在零附近震荡。基于海天线的这一形态信息，可以基于各个线段的方向角，从所述线段池中识别出海天线候选线段。

其中，线段的方向角的具体计算方式可以如下：

通过如下式(5)，对t时刻线段池中的任意线段l_i(t)进行方向角计算：

其中，d_i表示任意线段l_i(t)的方向角；

按照式(5)，依次确定t时刻线段池中的各个线段的方向角。

子步骤23，从t时刻线段池中，筛选得到长度概率大于第一阈值、且方向角大于第二阈值的线段，作为所述海天线候选线段。

如前所述，海天线具有如下形态特征：长度相对较长、方向角趋近于零，故，可以将所述线段池中的满足长度概率要求和/或满足方向角要求的线段作为所述海天线候选线段。

例如，可以记：筛选得到海天线候选线段为：

其中，k_j∈[1,N]，表示海天线候选线段在线段池中的序号；j∈[1,N_l]；N_l表示海天线候选线段的个数。

优选的，第一阈值可以但不仅限于为0.7，第二阈值可以但不仅限于为25°，当然，第一阈值和第二阈值的上述取值仅为示例性说明，在实际应用中可以根据实际情况进行调整，本实施例对此不作限制。

步骤103，对所述海天线候选线段进行拟合，得到海天线候选线段的检测结果。

在本实施例中，可以采用最小二乘法对海天线候选线段进行拟合，得到海天线候选线段的检测结果，具体方式可以如下：

记：海天线在图像坐标系中的方程为：

y＝ax+b···式(6)

记：海天线候选线段

的两个端点在图像坐标系下的坐标分别：

则，根据海天线候选线段的两个端点在图像坐标系下的坐标和海天线在图像坐标系中的方程(式(6))，得到如下方程：

记：

则可得如下式(8)：

其中，1表示元素全为1，大小为2N_l×1的矩阵。

记：J＝[X,1]，则由加权最小二乘算法可得：

其中，W表示加权矩阵。

diag(·)表示对角矩阵，

分别表示各海天线候选线段的长度。

根据式(9)，计算得到参数a和b的值，确定海天线检测结果。

参照图2，示出了本发明实施例中一种海天线候选线段在图像坐标系下的示意图。可见，在本实施例中，基于步骤101～103所实现的海天线检测算法的检测结果对阈值参数(如，第一阈值和第二阈值)的设定并不敏感。

步骤104，根据所述检测结果，计算得到USV导航参数。

参照图3，示出了本发明实施例中一种导航参数的解算示意图。如图3，无人船的横滚角γ_V对应于：由海天线的图像和水平图像方向形成的角度，而海天线与摄像机的光圈正好平行，因此，海天线与摄像机的光轴正交。故，无人船的横滚角对于所有其他运动分量是不变的，也即，相机平移不会对无限远的点在图像中的运动造成影响，而无人船的俯仰和航向旋转运动下，海天线的斜率将保持不变。无人船的俯仰角β_V对海天线在图像中的位置有影响。如果俯仰角增加，则图像中的海天线将降低。否则，海天线将会上升。

优选的，无人船的横滚角γ_V和俯仰角β_V可以通过海天线的检测结果计算求得：

根据参数k和b，计算无人船的横滚角γ_V和俯仰角β_V：

γ_V＝tan-¹(a)···式(10)

其中，[u₀,v₀]^T表示图像中心点的坐标，f表示相机的焦距。

综上所述，本发明所述的基于视觉的无人船海天线检测与导航方法，应用线段检测算法提取图像中的所有线段，建立线段池，然后以海天线的形态特征作为约束条件，过滤掉线段池中的非海天线线段，得到海天线候选线段；随后采用最小二乘法估计最佳海天线结果，得到海天线候选线段的检测结果；最后，基于海天线候选线段的检测结果，在海天线的摄影模型基础上，实现了USV导航参数的解算。可见，本发明采用了完备线段池和简单海天线形态特征相结合的方式，能够更加有效地降低海天线检测的漏警率并获得更加准确、高效的海天线检测结果，进而有效提高无人船导航参数的解算精度。

在上述实施例的基础上，本发明还公开了一种基于视觉的无人船海天线检测与导航系统，包括：建立模块，用于对USV视觉系统采集的图像进行线段提取，建立线段池；筛选模块，用于根据USV观测图像的海天线形态特征，对所述线段池中的线段进行筛选，得到海天线候选线段；拟合模块，用于对所述海天线候选线段进行拟合，得到海天线候选线段的检测结果；计算模块，用于根据所述检测结果，计算得到USV导航参数。

本说明中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (7)

1.一种基于视觉的无人船海天线检测与导航方法，其特征在于，包括：

对USV视觉系统采集的图像进行线段提取，建立线段池；

对t时刻线段池中的各个线段，分别进行长度概率计算，确定t时刻线段池中的各个线段的长度概率；对t时刻线段池中的各个线段，分别进行方向角计算，确定t时刻线段池中的各个线段的方向角；从t时刻线段池中，筛选得到长度概率大于第一阈值、且方向角小于第二阈值的线段，作为所述海天线候选线段；

记海天线在图像坐标系中的方程为：y＝ax+b···式(6)；

记海天线候选线段为：

N_l表示海天线候选线段的个数；且，各海天线候选线段的两个端点在图像坐标系下的坐标为：

根据海天线候选线段的两个端点在图像坐标系下的坐标和海天线在图像坐标系中的方程，得到如下方程：

记

则可得如下式(8)：

其中，1表示元素全为1，大小为2N_l×1的矩阵；

记J＝[X,1]，则由加权最小二乘算法可得：

其中，W表示加权矩阵，

diag(·)表示对角矩阵，

分别表示各海天线候选线段的长度；

根据式(9)，计算得到参数a和b的值，得到海天线候选线段的检测结果；

根据参数a和b，计算无人船的横滚角γ_V和俯仰角β_V：

γ_V＝tan^-1(a)···式(10)

其中，[u₀,v₀]^T表示图像中心点的坐标，f表示相机的焦距。

2.根据权利要求1所述的基于视觉的无人船海天线检测与导航方法，其特征在于，所述对USV视觉系统采集的图像进行线段提取，建立线段池，包括：

对USV视觉系统采集的图像进行预处理，得到灰度图像；

检测出灰度图像中的所有线段，建立线段池。

3.根据权利要求2所述的基于视觉的无人船海天线检测与导航方法，其特征在于，所述对USV视觉系统采集的图像进行预处理，得到灰度图像，包括：

通过如下式(1)，对USV视觉系统采集的图像进行预处理，将USV视觉系统采集的图像转换为灰度图像：

I_U(t)＝μ₁I_R(t)+μ₂I_G(t)+(1-μ₁-μ₂)I_B(t)···式(1)

其中，I_R(t),I_G(t),I_B(t)分别表示t时刻R，G，B三个通道的像素矩阵，t表示图像的拍摄时间，I_U(t)表示t时刻的灰度图像，μ₁和μ₂分别表示R通道和G通道像素的权重，满足0≤μ₁，μ₂≤1且μ₁+μ₂≤1。

4.根据权利要求3所述的基于视觉的无人船海天线检测与导航方法，其特征在于，μ₁＝0.3，μ₂＝0.59。

5.根据权利要求2所述的基于视觉的无人船海天线检测与导航方法，其特征在于，所述检测出灰度图像中的所有线段，建立线段池，包括：

采用线段检测方法检测出灰度图像中的所有线段，建立线段池；其中，在t时刻，所述线段池中的线段为：l₁(t),l₂(t),…,l_N(t)；N表示t时刻线段池中的线段的数量；

线段l_i(t)的表达式如下：

l_i(t)＝[x_i1(t),y_i1(t),x_i2(t),y_i2(t)]^T···式(2)

其中，i∈[1,N]，[x_i1(t),y_i1(t)]和[x_i2(t),y_i2(t)]分别表示线段l_i(t)的两个端点在图像坐标系下的坐标。

6.根据权利要求1所述的基于视觉的无人船海天线检测与导航方法，其特征在于，所述对t时刻线段池中的各个线段，分别进行长度概率计算，确定t时刻线段池中的各个线段的长度概率，包括：

通过如下式(3)，对t时刻线段池中的任意线段l_i(t)进行长度计算：

其中，t时刻线段池中包括：线段l₁(t),l₂(t),…,l_N(t)，N表示t时刻线段池中的线段的数量；i∈[1,N]，||l_i(t)||表示任意线段l_i(t)的长度；

通过如下式(4)，确定任意线段l_i(t)的长度概率P：

其中，n表示：t时刻线段池中线段长度小于所述任意线段l_i(t)的线段长度的线段的数量；

依次确定t时刻线段池中的各个线段的长度概率。

7.根据权利要求1所述的基于视觉的无人船海天线检测与导航方法，其特征在于，所述对t时刻线段池中的各个线段，分别进行方向角计算，确定t时刻线段池中的各个线段的方向角，包括：

通过如下式(5)，对t时刻线段池中的任意线段l_i(t)进行方向角计算：

其中，t时刻线段池中包括：线段l₁(t),l₂(t),…,l_N(t)，N表示t时刻线段池中的线段的数量；i∈[1,N]，d_i表示任意线段l_i(t)的方向角；[x_i1(t),y_i1(t)]和[x_i2(t),y_i2(t)]分别表示线段l_i(t)的两个端点在图像坐标系下的坐标；

依次确定t时刻线段池中的各个线段的方向角。

Images