CN113780078A - 无人驾驶视觉导航中故障物快速精准识别方法 - Google Patents

Abstract

本发明涉及一种无人驾驶视觉导航中故障物快速精准识别方法，是针对现有同类方法的障碍物观测角度差异，导致图像数据精准性较低的技术问题而设计。其要点是该方法的步骤(1)关键帧的提取：采用深度相机获取道路上的深度图像，基于深度图像获取各物体的像素深度距离和物体索引值；针对每一帧的重点关注点，采用运动插值法重建帧与帧之间的物体运动特征，重建误差的大小来逐帧删除相似度较大的图像帧并实现消减；步骤(2)尺寸不固定的障碍物识别：在完成关键帧提取之后，会出现障碍物的大小随着关键帧选取的过程，而呈现尺寸不一的现象；障碍物的尺寸过小被剔除，采用深浅层特征图，然后结合注意力机制，实现障碍物的识别，提升物体识别的概率。

Description

无人驾驶视觉导航中故障物快速精准识别方法

技术领域

本发明涉及无人驾驶视觉导航技术，是一种无人驾驶视觉导航中故障物快速精准识别方法。

背景技术

目前在无人驾驶中，由于背景噪音较大和无人车在移动过程中产生的障碍物观测角度差异、以及图像数据不够精准等的问题，这些问题对障碍物的分析和识别产生很大的干扰。如中国专利文献中披露的申请号202110444245.3，申请公布日2021.07.06，发明名称“无人驾驶车辆的控制方法及控制装置、无人驾驶车辆”；该控制方法包括：在第一驾驶环境下，采用红外扫描设备扫描无人驾驶车辆所处的道路区域，以构建红外三维地图；采用红外三维地图、无人驾驶车辆的车辆定位信息和车身信息，分析无人驾驶车辆与周围其它车辆、障碍物的距离值；若距离值未处于安全距离范围内，则调整避碰策略；控制无人驾驶车辆按照调整后的避碰策略行驶。

发明内容

为克服上述不足，本发明的目的是向本领域提供一种无人驾驶视觉导航中故障物快速精准识别方法，使其主要解决现有无人驾驶中由于背景噪音较大和无人车在移动过程中产生的障碍物观测角度差异、以及图像数据不够精准的技术问题。其目的是通过如下技术方案实现的。

一种无人驾驶视觉导航中故障物快速精准识别方法，该方法融合视觉注意力的关键序列帧提取方法和基于深度学习的障碍物识别，实现障碍物的分析和识别；其特征在于该方法的步骤(1)关键帧的提取：采用深度相机获取道路上的深度图像，基于深度图像获取各物体的像素深度距离和物体索引值；针对每一帧的重点关注点，采用运动插值法重建帧与帧之间的物体运动特征，并以重建误差的大小来逐帧删除相似度较大的图像帧，实现图像帧的消减；步骤(2)尺寸不固定的障碍物识别：在完成关键帧提取之后，会出现障碍物的大小随着关键帧选取的过程，而呈现尺寸不一的现象；当障碍物在某一帧的尺寸过小，会在物体检测节点就会被剔除，因此采用深浅层特征图，处理尺寸不固定的障碍物的检测问题，然后结合注意力机制，实现障碍物的识别，提升物体识别的概率。

所述步骤(1)中具体图像帧的计算过程如下：

①假设时间序列t1和t2时刻的图像帧为f(t1)和f(t2)，采用运动插值法对时间序列t1和t2时刻之间的时刻t的图像帧表示为：

②假设

关键物体在第f帧中特征点i的位置信息，那么定义该特征点i在两帧之间的最大距离为：

公式2是基于特征点做i坐标向量的欧拉距离，因为特征点在不同帧的位置坐标是通过无人车的坐标以及世界坐标反推出来的，那么基于运动插值法的不同帧之间的位置误差为：

③如果相邻帧的误差小于设定的误差阈值e，那么删去后一帧图像；由于删除一帧图像后，其前后帧需要重新计算，直至相邻帧的误差大于误差阈值e，算法停止；

④无人车在道路上驾驶时，由于路面来回穿梭的车辆太多，因此仅仅用重建误差的大小来提取关键帧的方法还是存在关键帧过多的问题，因此还需要进一步优化关键帧的算法，采用视觉显著性的方法，实现运动目标位置、运动方向的视觉特征显著度评价，并计算位置优先、以运动方向为辅的视觉注意度，并以关键帧在时间序列上生成一条视觉显著度曲线，并通过选取一个时间周期内视觉显著度最高的若干图像作为关键帧。

所述步骤(1)中④的视觉显著性的方法具体如下：

首先，将深度图像转化为二维图像；

假设相机坐标(x，y)和图像坐标(u，v)，图像中心点坐标(x₀，y₀)，z_c表示相机坐标Z轴值，f为相机的焦距，dx和dy分别时尺度因子；上述的参数都是已知的；

基于上述的数据，计算各个物体的在某一帧世界坐标为：

那么基于某一帧的世界坐标，求出不同帧之间的位置偏移量和运动方向：

假设a＝(x_w,y_w,z_w),b＝(x_w',y_w',z_w')，那么其运动方向：

那么某一帧图像中的视觉显著度表示为：

其中w₁+w₂＝1，并且w₁>0.5；

将视觉显著度按照时间序列上生成一条视觉显著度曲线，通过选取显著度曲线极大值附近的若干帧，完成关键帧精细化的提取。

所述步骤(2)中深浅层特征图的步骤如下：①基于TinyYOLO 3网络获取图像的深浅层特征提取：Tiny YOLO 3作为YOLO 3模型的简化版本，并融合了特征金字塔网络(FPN)全卷积网络技术，快速将特定尺寸大小的图片输出成一个向量，采用Tiny YOLO 3对某些卷积层进行了上采样操作与特征图在通道维度上的连接，利用浅层的卷积特征优势对小尺寸的目标进行识别，使得小障碍物被识别出来；②在提取特征之后，考虑到不同关键帧的时间序列，采用注意力机制的方式，即采用改进深度卷积神经网络算法对图片中不同物体特征施加不同的权重，实现对障碍物的特征有效提取，在结合识别器对障碍物识别。

所述步骤(2)中②的改进深度卷积神经网络算法如下：首先，将第一帧到第k关键帧的深浅层特征进行拼接放进去CNN中，对拼接后的深浅层特征进行深度学习后；得到P维的特征向量C_r；同理，将第一帧到第k帧的关键帧分别放进去LSTM中学习，得到P×m维特征向量

然后结合注意力机制，采用公式

实现时间序列和空间序列特征的融合；再次，融合后的m×p维特征向量表示为：

其中α_i是基于注意力机制对每一个特征向量的权重，

是经过LSTM获得的隐含特征；最后采用SVM识别器实现障碍物识别。

本发明融合视觉注意力的关键序列帧提取方法和基于深度学习的障碍物识别，有效地实现障碍物的分析与识别；其适用于无人驾驶视觉导航中故障物的快速精准识别，以及同类无人驾驶技术上的应用。

附图说明

图1是本发明的基于Tiny YOLO 3网络获取图像的深浅层特征提取工作原理图。

图2是本发明的工作原理图。

具体实施方式

现结合附图，对本发明的具体实施步骤进行进一步的具体描述。如图1和图2所示，该方法对于技术目的拆解为两个子问题解决来提出技术方案：(1)关键序列帧提取，该方法首先通过多帧的时空关系，基于深度相机获取深度图中每一个像素的距离和物体索引值，并结合深度阈值，保留一定深度阈值(在无人车速度在1-3米/秒的情况下，阈值一般取5-10米)范围内的物体；然后对保留物体的图片采用重建误差的方法，逐帧删除误差很小的视频帧，直到误差满足一定的范围；然后，采用视觉注意力模型对每一帧的图像计算视觉显著度，然后在时间方向上生成视觉显著度曲线，然后获取一个时间周期内注意力最高的若干图像作为关键帧。获取关键帧的原因是，如果对每一帧都要识别，则需要消耗大量的计算机内存，而部署到无人车内部或者道路旁边的边缘计算器的计算能力有限，因此需要通过关键帧的甄别来降低数据的计算量。(2)基于关键帧的分析与处理，关键帧分析的关键是将上一步骤的深度图像进行二值化处理；在此基础上，针对视觉图像多尺度场景下出现的物体大小不一而导致物体识别精度低下的现象，首先基于Tiny YOLO 3网络获取图像的深浅层特征提取；然后基于注意力机制采用改进深度卷积神经网络算法，该算法有效提取图像的整体特征，从而保证障碍物识别的精度。

该方法具体如下：步骤(1)关键帧的提取，采用深度相机获取道路上的深度图像，基于深度图像获取各物体的像素深度距离和物体索引值。考虑到背景的干扰问题，该方法保留与深度相机具有一定深度阈值范围内的物体，这是因为与深度相机近距离的物体才是深度相机关注的点(也称为关键物体)，其他范围的物体会被视为噪音点，应该将其剔除，以达到数据将为、减少无关数据量计算的目的。针对每一帧的重点关注点(关键物体)，采用运动插值法重建帧与帧之间的物体运动特征，并以重建误差的大小来逐帧删除相似度较大的图像帧，实现图像帧的消减。

具体图像帧的计算过程如下：

①假设时间序列t1和t2时刻的图像帧为f(t1)和f(t2)，采用运动插值法对时间序列t1和t2时刻之间的时刻t的图像帧表示为：

②假设

关键物体在第f帧中特征点i的位置信息，那么定义该特征点i在两帧之间的最大距离为：

公式2是基于特征点做i坐标向量的欧拉距离，因为特征点在不同帧的位置坐标是通过无人车的坐标(又称为移动坐标，因为无人车是运动的)以及世界坐标(又称为固定坐标)反推出来的，在这里不进行阐述。那么基于运动插值法的不同帧之间的位置误差为：

③如果相邻帧的误差小于设定的误差阈值e，那么删去后一帧图像；由于删除一帧图像后，其前后帧需要重新计算，直至相邻帧的误差大于误差阈值e，算法停止。这步骤看作为关键帧的初提取阶段，仅仅是通过重建误差的大小来实现相似帧的剔除，从而在一定程度上降低算法的计算复杂度。

④无人车在道路上驾驶时，由于路面来回穿梭的车辆太多，因此仅仅用重建误差的大小来提取关键帧的方法还是存在关键帧过多的问题，因此还需要进一步优化关键帧的算法，采用视觉显著性的方法，实现运动目标位置、运动方向的视觉特征显著度评价，并计算位置优先、以运动方向为辅的视觉注意度，并以关键帧在时间序列上生成一条视觉显著度曲线，并通过选取一个时间周期内视觉显著度最高的若干图像作为关键帧。

首先，将深度图像转化为二维图像；

假设相机坐标(x，y)和图像坐标(u，v)，图像中心点坐标(x₀，y₀)，z_c表示相机坐标Z轴值，f为相机的焦距，dx和dy分别时尺度因子；上述的参数都是已知的；

基于上述的数据，计算各个物体的在某一帧世界坐标为：

那么基于某一帧的世界坐标，求出不同帧之间的位置偏移量和运动方向：

假设a＝(x_w,y_w,z_w),b＝(x_w',y_w',z_w')，那么其运动方向：

那么某一帧图像中的视觉显著度表示为：

其中w₁+w₂＝1，并且w₁>0.5；

将视觉显著度按照时间序列上生成一条视觉显著度曲线，通过选取显著度曲线极大值附近的若干帧，完成关键帧精细化的提取。

步骤(2)尺寸不固定的障碍物识别：在完成关键帧提取之后，会出现障碍物的大小随着关键帧选取的过程，而呈现尺寸不一的现象；当障碍物在某一帧的尺寸过小，会在物体检测节点就会被剔除，因此采用深浅层特征图，处理尺寸不固定的障碍物的检测问题，然后结合注意力机制，实现障碍物的识别，提升物体识别的概率。

所述步骤(2)中深浅层特征图的步骤如下：①基于TinyYOLO 3网络获取图像的深浅层特征提取：Tiny YOLO 3作为YOLO 3模型的简化版本，并融合了特征金字塔网络(FPN)全卷积网络技术，快速将特定尺寸大小的图片输出成一个向量，采用Tiny YOLO 3对某些卷积层进行了上采样操作与特征图在通道维度上的连接，利用浅层的卷积特征优势对小尺寸的目标进行识别，使得小障碍物被识别出来。如图1所示。②在提取特征之后，考虑到不同关键帧的时间序列，采用注意力机制的方式，即采用改进深度卷积神经网络算法对图片中不同物体特征施加不同的权重，实现对障碍物的特征有效提取，在结合识别器对障碍物识别。

所述改进深度卷积神经网络算法如下：首先，将第一帧到第k关键帧的深浅层特征进行拼接放进去CNN中，对拼接后的深浅层特征进行深度学习后；得到P维的特征向量C_r；同理，将第一帧到第k帧的关键帧分别放进去LSTM中学习，得到P×m维特征向量

然后结合注意力机制，采用公式

实现时间序列和空间序列特征的融合；再次，融合后的m×p维特征向量表示为：

其中α_i是基于注意力机制对每一个特征向量的权重，

是经过LSTM获得的隐含特征；最后采用SVM识别器实现障碍物识别。

该方法的创新点如下：(1)关键帧的提取，在关键帧提取上采用由粗到细的方法逐帧删减，得到有用的关键帧，通过重建误差的大小来逐帧删除相似度较大的图像帧，实现图像帧的消减，这是一种粗筛选的行为；通过运动目标位置、运动方向的视觉特征显著度评价图像的视觉显著度，进一步细化关键帧的筛选过程；大大降低无人驾驶中对图片分析的内存和计算时间，提升了算法的计算速度。(2)尺寸不固定的障碍物识别方法，由于无人驾驶的时候，车是移动的，因此对检测周期内物体的尺寸会发生较大范围的变化；因此，采用Tiny YOLO 3对图像的深浅层特征进行提取，避免小尺寸障碍物被忽略的现象；然后，针对不同关键帧在时间序列上应该对障碍物施加较高的权重的问题，采用注意力机制对关键帧图像的时空特征进行融合，对关键帧不同物体的权重进行自适应计算(权重无需人工定义，仅根据拼接深浅层特征的深度学习结果和LSTM的结果进行自适应计算即可)，从而较高精度实现障碍物的识别，提升无人驾驶障碍物的识别精度，提升行驶安全。

Claims (5)

1.一种无人驾驶视觉导航中故障物快速精准识别方法，该方法融合视觉注意力的关键序列帧提取方法和基于深度学习的障碍物识别，实现障碍物的分析和识别；其特征在于该方法的步骤(1)关键帧的提取：采用深度相机获取道路上的深度图像，基于深度图像获取各物体的像素深度距离和物体索引值；针对每一帧的重点关注点，采用运动插值法重建帧与帧之间的物体运动特征，并以重建误差的大小来逐帧删除相似度较大的图像帧，实现图像帧的消减；步骤(2)尺寸不固定的障碍物识别：在完成关键帧提取之后，会出现障碍物的大小随着关键帧选取的过程，而呈现尺寸不一的现象；当障碍物在某一帧的尺寸过小，会在物体检测节点就会被剔除，因此采用深浅层特征图，处理尺寸不固定的障碍物的检测问题，然后结合注意力机制，实现障碍物的识别，提升物体识别的概率。

2.根据权利要求1所述的无人驾驶视觉导航中故障物快速精准识别方法，其特征在于所述步骤(1)中具体图像帧的计算过程如下：

①假设时间序列t1和t2时刻的图像帧为f(t1)和f(t2)，采用运动插值法对时间序列t1和t2时刻之间的时刻t的图像帧表示为：

②假设

关键物体在第f帧中特征点i的位置信息，那么定义该特征点i在两帧之间的最大距离为：

公式2是基于特征点做i坐标向量的欧拉距离，因为特征点在不同帧的位置坐标是通过无人车的坐标以及世界坐标反推出来的，那么基于运动插值法的不同帧之间的位置误差为：

③如果相邻帧的误差小于设定的误差阈值e，那么删去后一帧图像；由于删除一帧图像后，其前后帧需要重新计算，直至相邻帧的误差大于误差阈值e，算法停止；

④无人车在道路上驾驶时，由于路面来回穿梭的车辆太多，因此仅仅用重建误差的大小来提取关键帧的方法还是存在关键帧过多的问题，因此还需要进一步优化关键帧的算法，采用视觉显著性的方法，实现运动目标位置、运动方向的视觉特征显著度评价，并计算位置优先、以运动方向为辅的视觉注意度，并以关键帧在时间序列上生成一条视觉显著度曲线，并通过选取一个时间周期内视觉显著度最高的若干图像作为关键帧。

3.根据权利要求2所述的无人驾驶视觉导航中故障物快速精准识别方法，其特征在于所述步骤(1)中④的视觉显著性的方法具体如下：

首先，将深度图像转化为二维图像；

假设相机坐标(x，y)和图像坐标(u，v)，图像中心点坐标(x₀，y₀)，z_c表示相机坐标Z轴值，f为相机的焦距，dx和dy分别时尺度因子；上述的参数都是已知的；

基于上述的数据，计算各个物体的在某一帧世界坐标为：

那么基于某一帧的世界坐标，求出不同帧之间的位置偏移量和运动方向：

假设a＝(x_w,y_w,z_w),b＝(x_w',y_w',z_w')，那么其运动方向：

那么某一帧图像中的视觉显著度表示为：

其中w₁+w₂＝1，并且w₁>0.5；

将视觉显著度按照时间序列上生成一条视觉显著度曲线，通过选取显著度曲线极大值附近的若干帧，完成关键帧精细化的提取。

4.根据权利要求2所述的无人驾驶视觉导航中故障物快速精准识别方法，其特征在于所述步骤(2)中深浅层特征图的步骤如下：①基于TinyYOLO 3网络获取图像的深浅层特征提取：Tiny YOLO 3作为YOLO 3模型的简化版本，并融合了特征金字塔网络(FPN)全卷积网络技术，快速将特定尺寸大小的图片输出成一个向量，采用Tiny YOLO 3对某些卷积层进行了上采样操作与特征图在通道维度上的连接，利用浅层的卷积特征优势对小尺寸的目标进行识别，使得小障碍物被识别出来；②在提取特征之后，考虑到不同关键帧的时间序列，采用注意力机制的方式，即采用改进深度卷积神经网络算法对图片中不同物体特征施加不同的权重，实现对障碍物的特征有效提取，在结合识别器对障碍物识别。

5.根据权利要求2所述的无人驾驶视觉导航中故障物快速精准识别方法，其特征在于所述步骤(2)中②的改进深度卷积神经网络算法如下：首先，将第一帧到第k关键帧的深浅层特征进行拼接放进去CNN中，对拼接后的深浅层特征进行深度学习后；得到P维的特征向量C_r；同理，将第一帧到第k帧的关键帧分别放进去LSTM中学习，得到P×m维特征向量

然后结合注意力机制，采用公式

实现时间序列和空间序列特征的融合；再次，融合后的m×p维特征向量表示为：

其中α_i是基于注意力机制对每一个特征向量的权重，

是经过LSTM获得的隐含特征；最后采用SVM识别器实现障碍物识别。

Images