CN110414396A - 一种基于深度学习的无人艇感知融合算法 - Google Patents

Abstract

本发明提供一种基于深度学习的无人艇感知融合算法，包括：步骤一、对摄像头采集的单帧图像进行目标检测，得到机器视觉数据；步骤二、将激光雷达输入的数据进行滤波、聚类，将离散的点聚类为目标信息，得到雷达数据；步骤三、将雷达数据和机器视觉数据进行数据关联：步骤一和步骤二分别处理完摄像头和雷达的数据后，将两者的观测目标进行匹配，建立雷达数据和机器视觉数据的数据关联模型，得到雷达和视觉测量目标的关联矩阵，通过雷达和视觉测量目标的关联矩阵筛选出关联程度较大的目标，进而实现对目标的感知。本发明能够融合雷达和视觉两个传感器的优点，给出目标足够的信息用于无人艇环境感知，并具有一定的鲁棒性，能够适应一定的干扰。

Description

一种基于深度学习的无人艇感知融合算法

技术领域

本发明涉及无人艇感知融合领域，具体是一种基于深度学习的无人艇感知融合算法。

背景技术

水面无人艇(Unmanned Surface Vehicle，USV)是一种具有自主能力，能够执行特定任务的水面无人系统。无人艇无论是在军事还是民用中都发挥着重要的作用。未来的冲突主要发生在全球沿海地区，对抗拥有越来越有效的武器系统的敌人，将士兵置于危险之中可能不再是一个明智的选择。USV将为海军提供额外的战斗实力，特别是在生命损失不可接受的情况下。USV可以部署在载人舰艇不可接受的水域，包括高危险环境或受核、生物或化学制剂污染的区域。它们可靠、快速、机动性强，可以执行各种任务，包括监视、巡逻、搜救、排雷等任务，而不会危及海军人员。同时，在民用上无人艇也有大量应用。我国为海洋大国，对海洋的调查是我国的迫切需要。传统调查的方式存在很多难点：①环境复杂、工况恶劣：大船不敢进、小船太危险；②远离大陆、缺少支持：时间浪费在往返、避风、补给、救治等环节；③危险海域，难以作业：部分海域作业风险高，海洋调查活动难以开展。针对以上问题，无人艇就具有很多技术优势：①自主导航，可以抵达危险区域，人员无需涉险；②吃水浅、潮位窗口宽；③定位精度高，跑线精确。所以，无人艇能够承担测绘、水质监测等任务，并且能够减少大量的人力、物力。

无人艇全自动航行，需要其能够自动识别水上、水下各种障碍物，以确保航行安全。无人艇要能够识别诸多不可控的外界环境，比如实时的风向、海浪、水中游泳的人、浮木、浮球、潮涨潮落中的暗礁等等。英国H Scientific公司开发的无人艇SPECTER自动控制系统通过多种传感器数据融合获取障碍物信息，再通过避障算法实现自主避障。英国的C-Target通过雷达、视觉和红外传感器的融合，可在全天候完成自主航行。国内的精海系列无人艇配备了由雷达、激光、监控相机、超声传感器等构成的立体组合避障控制系统，可以精确的按照规划航线进行自主航行并智能躲避障碍物。但是目前多传感器信息融合技术依旧是研究无人艇的难点。

表1各传感器优缺点

	优点	缺点
			可见光摄像头	能够识别目标，探测距离适中	不稳定，受能见度影响
X波段雷达	全天候，探测距离远、范围大	探测精度不高
			毫米波雷达	全天候，探测距离适中	探测精度中等
激光雷达	探测精度高	不稳定，受天气影响，探测距离近
			红外摄像头	能在夜间观测	不稳定，受恶劣天气影响，探测距离近
超声探头	全天候，探测精度高	探测距离短

不同的外界环境下，传感器的效果并不一样，如表1中所示。X波段雷达和毫米波雷达是全天候雷达，具有探测范围大、探测距离远的优势，能够对远距离大型物体进行很好的预警和跟踪；激光雷达的优点是其探测精度高，但是多线激光雷达具有高昂的价格，并且其工作性能并不稳定，容易受到天气、能见度等因素的影响；可见光摄像头最大的优势是能够识别物体，获取对环境的高层次理解，但是和激光雷达一样，其受环境的影响较大，并且随着能见度的降低，其测量范围、测量距离、测量精度都会随之降低；红外探测能够在能见度降低的情况下，利用温差对目标进行探测，但是其精度也受环境影响，并且探测距离较近；超声探测能够适应各种恶劣的天气，缺点是探测距离非常有限。气象传感器则用于提供辅助决策的气象信息，包括风速和风向、液态降水，大气压，温度和相对温度。

真实的海洋环境是复杂多变的，不同的时间、地点、距离、天气、海况可能选取的传感器不一样。因此，制定一个鲁棒性强的避障策略尤为重要。

发明内容

本发明提供一种基于深度学习的无人艇感知融合算法，能够融合雷达和视觉两个传感器的优点：对于单独的视觉系统，该系统能够以低价的手段提供目标的距离方位信息；对于单独的雷达系统，该系统能够对目标进行识别，该系统给出目标足够的信息用于无人艇环境感知，并具有一定的鲁棒性，能够适应一定的干扰。

一种基于深度学习的无人艇感知融合算法，包括如下步骤：

步骤一、对摄像头采集的单帧图像进行目标检测：利用卷积神经网络SSD框架对目标进行检测，获取目标的类别、数量、方位信息，得到机器视觉数据；

步骤二、激光雷达信号处理：将激光雷达输入的数据进行滤波、聚类，将离散的点聚类为目标信息，得到雷达数据；

步骤三、将雷达数据和机器视觉数据进行数据关联：步骤一和步骤二分别处理完摄像头和雷达的数据后，将两者的观测目标进行匹配，建立雷达数据和机器视觉数据的数据关联模型，得到雷达和视觉测量目标的关联矩阵，通过雷达和视觉测量目标的关联矩阵筛选出关联程度较大的目标，进而实现对目标的感知。

进一步的，所述步骤一具体为：

采用深度卷积网络模块生成固定大小的边框集合以及这些框中存在对象类的分数，然后通过NMS产生最终检测，SSD模型在基础网络末端添加特征图层，可预测不同尺度和宽高比的默认框和它们相关联的置信度的偏移，SSD的损失函数由每个默认框的定位损失与分类损失构成：

式中：N为匹配的默认框的数量，如果N＝0，则将损耗设置为0，定位损失是预测框(l)和ground truth box(g)参数之间的平滑损失L1；

SSD模型的工作原理为：寻找与每一个ground truth有最大的loU的default box，这样就能保证ground truth至少有default box匹配；SSD之后又将剩余还没匹配的default box与任意一个ground truth尝试配对，只要两者之间的loU大于阈值，就认为匹配；配对到ground truth的default box就是positive，没有配对的default box就是negative；

摄像头采集到数据后通过深度卷积网络模块处理后，就能得到目标的类别、数量、方位信息，进而得到机器视觉数据。

进一步的，所述步骤二采用最近邻聚类的原理，其是基于同一物体表面的连续性，连续性即物体的反射点将是一段连续的点集。

进一步的，所述步骤三具体包括：

步骤3.1：空间配准，雷达和摄像机安装在无人艇的不同位置，并且两者采用的坐标系也不一样，所以在将两者信息融合之前，需要将两者的信息转化到统一的坐标系进行分析；

其中，y_b为b点在图像平面的Y轴坐标，Y_B为B点在摄像头坐标系上的Y轴坐标，D为雷达和摄像头在水平安装位置的高度差，对于雷达扫描不同距离的目标，可知其投影在成像平面上点的纵坐标的位置；

步骤3.2：时间配准，采用线程同步的方式，将各传感器数据统一到扫描周期较长的一个传感器数据上，融合中心每次先接收图像的数据，通过指令采集图像数据相对应的雷达数据，当图像数据的线程返回信息时，融合中心立即获取当前时刻的雷达数据，循环整个过程，使采集到的数据是时间同步；

步骤3.3：在雷达和摄像头进行了时间和空间配准的基础上，设在雷达和摄像头的联合直角坐标系中的目标动态模型为：

x_k+1＝F_kx_k+w_k

其中，x_k+1和x_k为状态向量，F_k为状态转移矩阵，w_k为过程噪声，假定w_k是零均值、方差为Q的Gauss白噪声，即满足：

其中，δ_kj是Kronecker delta函数。为了方便书写，设雷达为传感器1，摄像头为传感器2，传感器的测量模型为：

当i＝1时对应雷达测量，其中r_k，分别表示标距离雷达的平均距离、方位角集合；当i＝2时对应摄像头的测量，它包括方位角集合、俯仰角集合、类别，即 雷达量测目标的俯仰角和距离之间的关系有：

其中，为雷达探测到目标的俯仰角，而D为摄像头和雷达的高度差；

步骤3.4：设传感器i在k时刻的共有个目标回波对应的测量集为：

构造和的关联矩阵为：

其中为测量值之间的相似度，计算公式如下：

步骤3.5：得到相关联的观测集合：

其中G为是否相互关联的门限值，大于该值才有可能相关，每个目标在所有相关联的可能性中选择相似程度最大的目标与之关联。

本发明基于深度学习的目标检测识别算法，并和激光雷达的数据相结合，很好的融合了两个传感器的优点，能够适用于虚假检测率在监视区域内急剧变化的环境，降低了探测成本，加强了系统的鲁棒性。

附图说明

图1是本发明基于深度学习的无人艇感知融合算法融合系统数据流程图；

图2是SSD&CAMShift目标跟踪框架；

图3是最近邻聚类算法步骤；

图4是摄像头与雷达联合坐标系侧视图；

图5是融合系统线程图；

图6是SSD算法和SSD&CAMShift算法对目标匹配效果；

图7是融合系统水面测试结果图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。

图1所示为本发明基于深度学习的无人艇感知融合算法所使用的融合系统的数据流程图，各模块功能介绍如下：

①图片处理模块：通过该模块获取摄像头的数据，并通过滤波、尺寸变换等将图片转化为合适的大小以供后续模块使用。

②深度卷积网络模块：将图片处理模块处理的数据作为输入，使用预先训练好的模型对目标进行检测。

③视觉上下帧关联模块：主要利用CAMShift辅助深度卷积网络对目标的跟踪，解决轻量级网络容易丢失目标问题，同时利用卡尔曼滤波器加强对动态目标的跟踪和预测。该模块获取摄像头的数据然后对目标信息进行跟踪，目标信息来源于深度卷积网络模块。SSD&CAMShift目标跟踪框架如图2所示，结果如图6所示。

④雷达信号处理模块：该模块将雷达输入的雷达数据进行滤波、聚类，将离散的点聚类为目标信息，获取目标的方位、距离信息，并送至融合中心。具体的聚类过程如图3所示。

⑤融合中心模块：作为该系统最为主要的算法，包括对摄像头和雷达传来的信息进行时间和空间的配准，对象级的目标匹配等，如图4和图5。融合结果如图7所示

根据各模块的功能，可将所述方法分为如下步骤：

1、对单帧图像进行目标检测(该步骤主要由深度卷积网络模块实现)：利用卷积神经网络SSD(Single Shot multibox Detecto)框架对目标进行检测。考虑到无人艇对目标检测实时性的要求，本文选取的是SSD框架，其使用的基础网络为VGG-16，然后将辅助结构添加到网络以生成具有以下关键特征的检测：用于检测的多尺度特征图添加到基础网络末尾。这些层的尺寸逐渐减小，并允许在多个尺度上进行预测检测。用于预测检测的卷积模型对于每个特征层是不同的(参见YOLO，其在单个尺度特征层图上的操作)。用于检测的卷积预测器每个添加的特征层(或可选来自基础网络的现有特征层)可以使用一组卷积滤波器产生一组固定的检测预测。SSD的损失函数由每个默认框的定位损失与分类损失构成：

式中：N为匹配的默认框的数量。如果N＝0，则将损耗设置为0。定位损失是预测框(l)和ground truth box(g)参数之间的平滑损失L1。

在训练时，首先将ground truth box与具有最佳jaccard重叠的默认框匹配。与MultiBox不同，我们将默认框与jaccard重叠高于阈值(0.5)的任何基础事实匹配。这简化了学习问题，允许网络预测多个重叠默认框的高分，而不是要求它只选择具有最大重叠的框。

SSD默认框从6层卷积层输出的特征图产生，每个特征层产生特征图的大小分别为38×38、19×19、10×10、5×5、3×3、1×1。每个n×n大小的特征图中有n×n个中心点，每个中心点产生k个默认框，六层中每层的每个中心点产生的k分别为4、6、6、6、4、4。所以6层中的每层取一个特征图共产生8732个默认框。每个默认框大小计算公式为：

式中，m为特征图数目，s_min为最底层特征图默认框大小，s_max为最顶层特征图默认框大小。

表2特征层的max_size和min_size对应表

feature layers	min_size	max_size
			conv4_3	30	60
fc7	60	111
			conv6_2	111	162
conv7_2	162	213
			conv8_2	213	264
conv9_2	264	315

每个默认框长宽比根据比例值计算，原文中的比例a_r＝[1,2,3,1/2,1/3]。分别计算每个默认框的宽为高为另外增加一个正方形默认框，边长为这样，每个特征图中的每个点产生4个或者6个默认框(conv4_3、conv8_2、conv9_2这3个特征层中每个点产生4个默认框，fc7、conv6_2、conv7_2这3个特征层中每个点产生6个默认框)。每个默认框的中心设定为:

式中，|f_k|为第k个特征层的尺寸。

对于每个单元的每个先验框，其都输出一套独立的检验值，对应一个边界框，主要分为两个部分。第一个部分是各个类别的置信度或者评分，SSD将背景也当做了一个特殊的类别，如果检测目标共有c个类别，SSD其实需要预测c+1个置信度值，其中第一个置信度指的是不含目标或者属于背景的评分。在预测过程中，置信度最高的那个类别就是边界框所属的类别。第二个部分就是边界框的location，包含4个值(cx，cy，w，h)，分别表示边界框的中心坐标以及宽高。

摄像头采集到数据后通过该模块处理后，就能得到目标的类别、置信度、个数等信息。

特别是，CAMShift在跟踪视频中感兴趣区域时非常有用。例如，如果预先不知道所要跟踪的区域，就可以结合这种巧妙方法，并开发程序来设定条件，使应用能动态地开始跟踪(和停止跟踪)视频的某些区域。这样，SSD检测出来的目标轮廓正好可以作为CAMShift的搜索框，即便下一帧SSD并没有检测到该目标，CAMShift依然能够记住该目标的特征，并在下一帧中锁定该目标，基本框架如图2所示。在图中，t时刻SSD会在图像中检测出多个目标，并利用CAMShift来跟踪每个目标。t+1时刻中SSD同样会检测多个目标，可是目标3并没有被SSD检测到，此时可利用CAMShift跟踪到。

2、激光雷达信号处理(该步骤主要由雷达信号处理模块实现)：将雷达输入的数据进行滤波、聚类，将离散的点聚类为目标信息，如图3所示。这里雷达是360度扫描，显然不是所有角度的数据都会参与和视觉数据的融合，在后续步骤空间融合中会详细讲解。

最近邻聚类的原理是基于同一物体表面的连续性，连续性即物体的反射点将是一段连续的点集。通常情况下，离雷达近的扫描点密度大一些，阈值就小一点；离雷达远的扫描点密度小一些，阈值就大一些。所以该算法中阈值的选取应该根据距离来自适应变化。

3、将雷达数据和机器视觉数据进行数据关联：建立了雷达和视觉的数据关联模型，得到雷达和视觉测量目标的关联矩阵。

步骤3.1：空间配准，雷达和摄像机安装在无人艇的不同位置，并且两者采用的坐标系也不一样，所以在将两者信息融合之前，需要将两者的信息转化到统一的坐标系进行分析；图4为摄像头与雷达联合坐标系侧视图。坐标平移后的雷达和摄像头在水平面上的坐标系能够重合，但是两者在海拔高度上差了距离D。物体AC在成像平面上投影为ac，雷达扫描的是物体上的B点，在成像平面向的投影为b点，并有如下关系：

其中，y_b为b点在图像平面的Y轴坐标，Y_B为B点在摄像头坐标系上的Y轴坐标，对于雷达扫描不同距离的目标，我们就可以知道其投影在成像平面上点的纵坐标的位置。

当然，雷达的扫描范围是360°，而图像平面的视角有限，此时雷达会有一个融合的角度范围:

其中，u₀为图像主点在像素坐标系下横坐标，dx为像素在图像坐标系中x方向的物理尺寸，f为焦距。该范围表示的是雷达坐标转换后的融合角度范围。超出该范围的点只能来自雷达单方面传感器，不能参与融合。

步骤3.2：时间配准，采用了线程同步的方式。时间配准的一般做法是将各传感器数据统一到扫描周期较长的一个传感器数据上。因雷达数据的更新频率明显大于图像识别的更新频率。因此，这里同时采用多线程分别处理雷达数据、图像数据和融合中心，达到时间上的同步。因为雷达的频率高于图像的频率，所以每次融合中心每次先接收图像的数据，通过指令采集图像数据相对应的雷达数据，及在通常情况下，雷达采集的数据是不往融合中心发送的，当图像数据的线程返回信息时，融合中心立即获取当前时刻的雷达数据。循环整个过程，这以前那个就可以使采集到的数据是时间同步的。

如图5所示，图像采集和雷达数据采集各开了一个线程。因为雷达的数据更新速度较图像数据快，所以这里以图像线程为基准，雷达每次更新32个点，扫描角度在36°左右，所以每次要缓存10次才能刷新一周的点迹信息，然后才更新全局字典(python中的数据形式)global_DisAng。图像采集并处理后就获取global_DisAng的信息，一并送入融合中心处理。

步骤3.3：在雷达和摄像头进行了时间和空间配准的基础上，设在雷达和摄像头的联合直角坐标系中的目标动态模型为：

x_k+1＝F_kx_k+w_k

其中，x_k为状态向量，F_k为状态转移矩阵，w_k为过程噪声，假定w_k是零均值的Gauss白噪声，即满足：

其中，δ_kj是Kronecker delta函数。为了方便书写，设雷达为传感器1，摄像头为传感器2。传感器的测量模型为：

当i＝1时对应雷达测量，其中r_k，分别表示距离(目标距离雷达的平均距离)、方位角集合(因为目标具有实际大小)；当i＝2时对应摄像头的测量，它包括方位角集合、俯仰角集合、类别，即雷达量测目标的俯仰角和距离之间的关系有：

其中，为雷达探测到目标的俯仰角，而D为摄像头和雷达的高度差。

步骤3.4：设传感器i在k时刻的共有个目标回波对应的测量集为：

构造和的关联矩阵为：

其中为测量值之间的相似度，计算公式如下：

步骤3.5：得到相关联的观测集合：

其中G为是否相互关联的门限值，大于该值才有可能相关。每个目标在所有相关联的可能性中选择相似程度最大的目标与之关联。

图6为SSD算法和SSD&CAMShift对目标的匹配效果。每行代表场景中两个目标中的一个，每个圆圈在帧中显示相应的匹配。图6(a)反应了SSD的检测效果，顶行的圆圈的碎片化更加严重，由于目标的变形或者背景的干扰，SSD对于目标的检测在中间帧中存在着较为严重的碎片化，连续性较差；图6(b)反应了SSD&CAMShift的检测效果，两个目标的检测都相对连续，比单纯的SSD检测的效果好，SSD检测出来的目标轮廓正好可以作为CAMShift的搜索框，即便下一帧SSD并没有检测到该目标，CAMShift依然能够记住该目标的特征，并在下一帧中锁定该目标。

图7为该融合系统在水面上测试结果。图7(a)为基于视觉传感器的检测效果，只有目标的类别信息，无法探知目标距离，并且可能会出现误判。图7(b)为本发明基于多传感器融合的检测效果，该融合算法实现了对船和人的识别和跟踪，不同颜色的方框表示不同的物体。并且，该系统能够显示目标距离无人艇的距离和方位，能够提供丰富的信息给无人艇进行环境探测和避障控制。总的来说，该融合系统的优点在于：①提高了信息的可信度；②增加了目标特征矢量维度；③降低了获得信息的费用；④提高了系统的容错能力；⑤提高了整个系统的性能。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于深度学习的无人艇感知融合算法，其特征在于：包括如下步骤：

步骤一、对摄像头采集的单帧图像进行目标检测：利用卷积神经网络SSD框架对目标进行检测，获取目标的类别、数量、方位信息，得到机器视觉数据；

步骤二、激光雷达信号处理：将激光雷达输入的数据进行滤波、聚类，将离散的点聚类为目标信息，得到雷达数据；

步骤三、将雷达数据和机器视觉数据进行数据关联：步骤一和步骤二分别处理完摄像头和雷达的数据后，将两者的观测目标进行匹配，建立雷达数据和机器视觉数据的数据关联模型，得到雷达和视觉测量目标的关联矩阵，通过雷达和视觉测量目标的关联矩阵筛选出关联程度较大的目标，进而实现对目标的感知。

2.如权利要求1所述的基于深度学习的无人艇感知融合算法，其特征在于：所述步骤一具体为：

采用深度卷积网络模块生成固定大小的边框集合以及这些框中存在对象类的分数，然后通过NMS产生最终检测，SSD模型在基础网络末端添加特征图层，可预测不同尺度和宽高比的默认框和它们相关联的置信度的偏移，SSD的损失函数由每个默认框的定位损失与分类损失构成：

式中：N为匹配的默认框的数量，如果N＝0，则将损耗设置为0，定位损失是预测框(l)和ground truth box(g)参数之间的平滑损失L1；

SSD模型的工作原理为：寻找与每一个ground truth有最大的loU的default box，这样就能保证ground truth至少有default box匹配；SSD之后又将剩余还没匹配的defaultbox与任意一个ground truth尝试配对，只要两者之间的loU大于阈值，就认为匹配；配对到ground truth的default box就是positive，没有配对的default box就是negative；

摄像头采集到数据后通过深度卷积网络模块处理后，就能得到目标的类别、数量、方位信息，进而得到机器视觉数据。

3.如权利要求1所述的基于深度学习的无人艇感知融合算法，其特征在于：所述步骤二采用最近邻聚类的原理，其是基于同一物体表面的连续性，连续性即物体的反射点将是一段连续的点集。

4.如权利要求1所述的基于深度学习的无人艇感知融合算法，其特征在于：所述步骤三具体包括：

步骤3.1：空间配准，雷达和摄像机安装在无人艇的不同位置，并且两者采用的坐标系也不一样，所以在将两者信息融合之前，需要将两者的信息转化到统一的坐标系进行分析；

其中，y_b为b点在图像平面的Y轴坐标，Y_B为B点在摄像头坐标系上的Y轴坐标，D为雷达和摄像头在水平安装位置的高度差，对于雷达扫描不同距离的目标，可知其投影在成像平面上点的纵坐标的位置；

步骤3.2：时间配准，采用线程同步的方式，将各传感器数据统一到扫描周期较长的一个传感器数据上，融合中心每次先接收图像的数据，通过指令采集图像数据相对应的雷达数据，当图像数据的线程返回信息时，融合中心立即获取当前时刻的雷达数据，循环整个过程，使采集到的数据是时间同步；

步骤3.3：在雷达和摄像头进行了时间和空间配准的基础上，设在雷达和摄像头的联合直角坐标系中的目标动态模型为：

x_k+1＝F_kx_k+w_k

其中，x_k+1和x_k为状态向量，F_k为状态转移矩阵，w_k为过程噪声，假定w_k是零均值、方差为Q的Gauss白噪声，即满足：

其中，δ_kj是Kronecker delta函数。为了方便书写，设雷达为传感器1，摄像头为传感器2，传感器的测量模型为：

当i＝1时对应雷达测量，其中r_k，分别表示标距离雷达的平均距离、方位角集合；当i＝2时对应摄像头的测量，它包括方位角集合、俯仰角集合、类别，即 雷达量测目标的俯仰角和距离之间的关系有：

其中，为雷达探测到目标的俯仰角，而D为摄像头和雷达的高度差；

步骤3.4：设传感器i在k时刻的共有个目标回波对应的测量集为：

构造和的关联矩阵为：

其中为测量值之间的相似度，计算公式如下：

步骤3.5：得到相关联的观测集合：

其中G为是否相互关联的门限值，大于该值才有可能相关，每个目标在所有相关联的可能性中选择相似程度最大的目标与之关联。