CN109720340A - 一种基于视觉识别的自动泊车系统及方法 - Google Patents

Abstract

本发明属于智能驾驶领域，具体涉及一种自动泊车系统及泊车方法；现有技术中，自动泊车系统基于传统的路径规划算法，效果较差，本发明提供了一种基于视觉识别的自动泊车系统，所述系统包括建图定位子模块和规划控制子模块，由于采用的地图融合了局部障碍的信息地图，提高了自动泊车系统对非正常状态的适应性；此外通过深度学习获得视觉信息并根据环境的更新实时调用Reeds‑Shepp曲线规划技术，与无视觉反馈的位姿规划这一技术相比，提高了位姿估算精度及泊车系统的响应速度。

Description

一种基于视觉识别的自动泊车系统及方法

技术领域

本申请属于智能驾驶领域，具体涉及一种基于视觉识别的自动泊车系统

背景技术

目前对于自动泊车技术主要的技术路线是基于传统的路径规划算法，如RRT、PRM、A*等。其基本思路是通过超声波识别出车位的大致位置，随机产生路径，之后对随机生成的路径进行碰撞检测，即检测路径是否会穿过障碍物，或路径是否在车辆可行驶区域内。再在所有可行的路径中，利用迪杰斯特拉算法等方法选择其中最优的停车路径。

但是，上述现有技术存在以下缺陷：

(1)单纯依靠超声波不能准确的识别车位位置，不能处理除平行泊车、垂直泊车之外的泊车场景；这带来了泊车条件的局限。

(2)整个泊车功能启动后，没有视觉反馈的位姿估算精度较差；

发明内容

鉴于现有技术中存在的问题，本发明采用以下技术方案：

一种基于视觉识别的自动泊车系统，其特征在于：所述系统包括建图定位子模块和规划控制子模块；

所述建图定位子模块利用设置在车辆的摄像头获取所述车辆四周的图像；

所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，建立地图。

所述规划控制子模块针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。

优选的，其特征在于：识别图像中的车位、车位线和/或引导线是通过深度学习算法实现的。

优选的，其特征在于：所述地图是通过所述车位点、所述车位线和/或引导线信息的输入，使用优化算法得到的。

优选的，其特征在于：所述车辆四周的图像是由各所述摄像头获得的图像拼接而成的图像。

优选的，其特征在于：所述摄像头为鱼眼广角摄像头，其畸变校正公式为：

x_cor＝x+x(k₁r²+k₂r⁴+k₃r⁶)+[2p₁y+p₂(r²+2x²)]， (1)

其中(x,y)是图像中某一像素点的原始坐标；(x_cor,y_cor)是此像素点校正畸变后的坐标；[k₁,k₂,k₃]是径向畸变参数；[p₁,p₂]是切向畸变参数。

根据本发明的另一方面，提供了一种自动泊车系统，

所述系统包括建图定位子模块和规划控制子模块；

所述建图定位子模块利用设置在车辆四周的摄像头获取所述车辆四周的图像；

所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，建立地图。

所述规划控制子模块针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。

所述建图定位子模块利用设置在所述车辆上超声波得到局部障碍信息；所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，并结合所述局部障碍信息建立地图。

根据本发明的另一个方面，提供一种基于视觉识别的自动泊车方法，其特征在于：所述方法包括以下步骤：建图定位步骤和规划控制步骤；

所述建图定位步骤利用设置在车辆的摄像头获取所述车辆四周的图像；从所述图像中识别出车位点、车位线和/或引导线，建立地图。

所述规划控制步骤针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。

优选的，识别图像中的车位点、车位线和/或引导线是通过深度学习算法实现的。

优选的，所述地图是通过所述车位点、所述车位线和/或引导线信息的输入，使用优化算法得到的。

优选的，所述车辆四周的图像是由各所述摄像头获得的图像拼接而成的图像。

其特征在于：所述摄像头为鱼眼广角摄像头，其畸变校正公式为:

x_cor＝x+x(k₁r²+k₂r⁴+k₃r⁶)+[2p₁y+p₂(r²+2x²)]， (1)

其中(x,y)是图像中某一像素点的原始坐标；(x_cor,y_cor)是此像素点校正畸变后的坐标；[k₁,k₂,k₃]是径向畸变参数；[p₁,p₂]是切向畸变参数。

根据本发明的另一方面，提供了一种自动泊车方法，所述方法包括以下步骤：建图定位步骤和规划控制步骤；

所述建图定位步骤利用设置在车辆的摄像头获取所述车辆四周的图像；从所述图像中识别出车位点、车位线和/或引导线，建立地图。

所述规划控制步骤针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。

在所述建图定位步骤中，利用设置在所述车辆上超声波得到局部障碍信息；所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，并结合所述局部障碍信息建立地图。

本发明的发明点在于下述的几个方面，但不仅限于下述的几个方面：

(1)地图为融合了局部障碍的信息地图。采用了该融合了局部障碍的信息地图为泊车提供了信息保障，提高了泊车规划的效率。采用非视觉传感器，例如超声传感器，其与视觉传感器对于检测的信息有明确的分工。因为理论上视觉传感器在检测局部障碍和信息地图上都是可以胜任的，但如果只采用视觉传感器，则会在后期人工智能神经网络计算时带来较大的计算压力和负担，影响车辆泊车控制的速度。但这些影响并不会出现在传统的车辆控制之中，因为传统辅助车辆控制与规划时对于神经网络的依赖度很低。但正是因为本发明有别于传感的辅助车辆控制与规划，采用了Reeds-Shepp曲线以及神经网络对车位点、车位线和/或引导线的识别，因此本发明需要对采用视觉传感器获得哪些信息进行取舍，本发明中采用的Reeds-Shepp曲线是专门针对已经识别的车位点、车位线和/或引导线而专门设计的，识别车位点、车位线和/或引导线效果好，但采用形成该曲线的视觉传感器方法也不能简单转用于障碍物的识别，在实际实验中对于障碍物的识别效果差，而对于障碍物用超声传感器比视觉传感器更好。经过技术人员长期的实验和经验总结发现，局部障碍信息这部分采用超声传感器替代视觉传感器，在有效降低后期数据处理压力的同时，也可以发挥出超声传感器对于视野内障碍信息检测的优势。即用超声传感器有选择的只检测局部障碍，其他仍采用视觉传感器是经过严格的实验和检测的，并不是两种传感器的简单叠加。这是本发明的发明点之一。

(2)基于深度学习的车位检测，提高了车位识别场景的覆盖度，同时，融合视觉反馈的信息提高了位姿估算的精度。这是本发明的发明点之一。

(3)本发明由于采用的是鱼眼广角摄像头，因此必须进行鱼眼摄像头拍摄图像的畸变校正。本发明所采用的畸变校正公式考虑到了鱼眼广角摄像头在数据采集车上的位置，并不同于现有的鱼眼图像校正。例如在数据采集车中，为了得到车位点、车位线和/或引导线的清晰图像信息，摄像头位置摆入在入库时候这些车位点、车位线、引导线接近在成像中心的位置，正是考虑到这一点，在畸变校正时将切向畸变的两个参数线性叠加地进行修正。详细的畸变校正方法参见下述的具体实施例。将畸变校正与泊车用摄像头位置联系起来。这是本发明的发明点之一。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明实施例提供的自动泊车功能框图；

图2是本发明实施例提供的Reeds-Shepp曲线示例图；

图3是本发明实施例提供的基于实时环境信息的Reeds-Shepp曲线规划流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

图1出示了本发明实施例提供的基于深度学习的自动泊车系统的实现功能框图，包括建图定位子模块与规划控制子模块，详述如下：

1.建图定位子模块

该模块主要用于对采集到的图像进行特征提取与车位定位，得到障碍地图及相关参数信息。该模块共分为四个步骤：步骤一，首先对位于车辆四周的四个鱼眼摄像机采集到的图像进行畸变矫正及逆透视变换，然后通过环视图像拼接得到完整的环视图；步骤二，结合海量标注环视拼接图，利用深度学习算法对车位识别及视觉特征提取；步骤三，同时定位建图(SLAM)；步骤四，融合超声波信息，得到障碍地图，以便对后期路径规划、完成泊车提供地图信息。详细描述如下：

步骤一，利用位于车辆前侧、后侧、左侧、右侧的四个鱼眼摄像头保证摄像头采集到的图像覆盖到车辆四周360度区域，且相邻两摄像头采集到的图像应有重叠区域。由于鱼眼摄像头采集到的图像存在较大畸变，首先需要对其去畸变进行图像复原矫正和逆透视变换，运行环视拼接算法，得到二维俯视的环视拼接图。

为获得较大的视野范围，本发明中的摄像头为鱼眼广角摄像头。由于鱼眼摄像头采集到的图像存在较大畸变，首先要对采集到的图像信息进行校正畸变。

根据标定得到的摄像机畸变参数，采用棋盘格角点识别及非线性拟合方法进行畸变校正。具体的可以利用式(1)对采集到的四幅图像分别进行校正畸变：

x_cor＝x+x(k₁r²+k₂r⁴+k₃r⁶)+[2p₁y+p₂(r²+2x²)]， (1)

其中(x,y)是图像中某一像素点的原始坐标；(x_cor,y_cor)是此像素点校正畸变后的坐标；[k₁,k₂,k₃]是径向畸变参数；[p₁,p₂]是切向畸变参数。这里的畸变参数在选择上考虑了鱼眼摄像头为了拍摄覆盖到车辆四周360度区域以及车位点、车位线和/或引导线的需要。例如鱼眼摄像头位于车辆前侧、后侧、左侧、右侧以保证360度无死角拍摄，另外车位点、车位线和/或引导线为了成像清晰，尽量位于图像中心位置。具体的对于切向畸变的两个参数p₁和p₂线性叠加，以2p₁y+p₂(r²+2x²)方式进行修正。

对矫正畸变后的四幅图像分别进行逆透视变换，即建立图像坐标系中的点与三维世界坐标系中已知平面上的点的位置对应关系。

具体地，选取车辆几何中心点竖直向下投影在地面上的点作为坐标原点O_w；Y_w轴方向平行于车辆后轴方向，指向车辆左侧为正；X_w垂直于Y_w轴，指向车辆前方为正；垂直于地面向上为Z_w轴正方向。将此坐标系作为世界坐标系。现假定Z_w＝0，即假定图像中的所有点在三维世界坐标系中都位于地面上，利用四个鱼眼摄像机的内参矩阵和外参矩阵，对四个鱼眼摄像机采集到的图像分别进行逆透视变换，得到俯视效果的鸟瞰图。

由逆透视变换得到四幅俯视效果的鸟瞰图，通过对齐重叠区域，可以将四幅鸟瞰图拼接为环视图。

这一过程包括：首先，设定环视图的视野范围。即确定鸟瞰图的缩放因子；

然后，确定相邻两张图像的重叠对应位置及拼缝。选四幅图两两相邻之间的重叠区域内的四条直线作为拼接缝；

最后，将四幅图按照拼接缝的位置剪裁并拼接。

图1示出的建图定位子模块中第一幅图为拼接生成的一张环视图。

步骤二，通过深度学习算法，识别出拼接图中的车位点、车位线、引导线等信息。

具体地，首先结合海量的人工手动标注环视图，标注信息包括车位点、车位线、引导线，采取监督学习的策略，利用深度学习算法，设计并学习车位信息识别网络模型，该网络模型通过多层网络提取具有可区分性的视觉特征，对环视图中的车位信息进行识别。

使用深度学习算法提取车位信息等视觉特征的主要原因在于，深度卷积神经网络不仅在处理图像上有其独特局部感知和参数共享等优点，利用海量标注数据有监督的学习网络模型，其自适应性和鲁棒性能也是一大优点。

具体地，此车位识别网络模型的输入为环视图，使用标注信息监督网络模型学习得到该环视图有关车位点、车位线、引导线的视觉特征，网络输出为一幅分割结果图，具体为和输入拼接图同分辨率的图片，对于图片中的每一个像素点都存在一个语义属性，语义属性包含车位点属性、车位线属性、引导线属性。

利用上述车位识信息别网络模型识别出的车位点及车位线获得目标车位的信息，包括车位在局部地图中的位置，车位长宽和角度。

具体地，通过神经网络模型得到每个像素点的语义信息，通过车位点属性的像素位置与车位线属性的像素位置提取出车位线的矢量属性，结果车位线的矢量属性计算出目标停车位置和目标停车航向及车位宽度、长度、角度。结合超声波障碍地图判断每个视觉识别出的车位位置是否有障碍物，如有障碍物则判断改车位不可停或非空车位。

步骤三，利用深度学习算法中得到的视觉信息作为输入，使用优化算法得到当前时刻的车辆位姿及任务启动后建立的局部地图。

具体地，以车辆位姿为优化参数，使用高斯牛顿优化算法得出当前实时分割图与局部地图的最佳匹配位置的参数作为位姿结果。

步骤四，通过超声波信息得到局部的障碍信息，将障碍信息融入到地图中。

具体地，该超声波信息用于检测空车位。建立地图过程中实时探测到侧边超声波与障碍物之间的距离信息，结合位姿，计算出障碍物在局部地图中的位置。

至此，得到障碍信息地图，该地图包括目标泊车车位。如果有多个停车位，所有停车位都会以人机交互界面的方式展示给用户，用户自主选择目标停车位。

2.规划控制子模块

此模块主要作用是根据障碍地图，规划路径并完成最终泊车任务。路径规划是解决自动泊车的主要策略。本发明采用路径跟踪方法，预先生成好路径，然后运用控制器进行路径跟踪。

此模块共分为三个步骤：步骤一，路径规划，针对障碍信息地图，采用Reeds-Shepp曲线生成平滑的路径；步骤二，通过比例-积分-微分(PID)控制算法控制车辆完成对规划出的轨迹的跟踪；步骤三，将车辆运动到泊车目标点，泊车任务结束。详细步骤描述如下：

步骤一，针对融合局部障碍信息的地图，根据更新的环境信息，自适应的调用Reeds-Shepp曲线生成候选泊车路径。此方法为本发明的一个发明点。

本发明中的自动泊车规划技术原理是在泊车过程中，随着车辆距离泊车目标位置越来越近，泊车周围环境信息越来越精确及完善，当更新后的泊车环境与之前的泊车环境相差比较大时，则更新泊车周围环境信息，并进行一次Reeds-Shepp曲线规划到当前位置到停车位置的轨迹。这种机制能够保证实时调用Reeds-Shepp曲线规划达到精确规划的目的。

Reeds-Shepp曲线可以生成符合车辆运动学模型的从任意起始位姿(x₀,y₀,theta0)到任意终点位姿(x_l,y_l,thetal)的轨迹。

具体地，Reeds-Shepp曲线由几段半径固定的圆弧或直线段拼接组成，而且圆弧的半径一般是汽车的最小转向半径。这里的路径长度是指汽车后轴中心运动轨迹的长度，也就是所有圆弧的弧长和直线段的长度之和。Reeds-Shepp曲线是一种几何的规划方法，通常由如下几种基本类型构成：

{C|C|C,CC|C,CC|C,CSC,CC_β|C_βC,C|C_βC_β|C,

C|C_π/2SC,CSC_π/2|C,C|C_π/2SC_π/2|C}

其中，C表示圆弧轨迹；|表示档位变换；S表示直线段，β表示指定该段轨迹的转向弧度；在某些情况下会给出π/2的下标，因为曲线必须精确遵循转向弧度为π/2的情况。

表1为六种运动基元，可以构建所有最佳的Reeds-Shepp曲线。

表1六种运动基元

其中L和R分别代表左转与右转；+与-分别代表前进和倒挡。

对于曲线和直线段，根据转向和档位位置细分出如上六种类型。通过细分基本类型得到如下表2所有子类型：

表2六种运动基元细分基本类型

细分类型应该为48类，去除C|C|C的(L^-R⁺L^-)和(R^-L⁺R^-)两类，只显示剩余的46类。

具体地，以图2为例，以q_I为起点，水平向右为正方向，q_G为终点，垂直向上为正方向，便可以使用类型的轨迹规划策略，规划结果如图2所示。

步骤二，通过上述Reeds-Shepp曲线生成方法，得到规划路径策略。然后通过PID控制算法控制车辆完成对规划出的轨迹的跟踪。

具体地，在PID控制算法下，控制车辆行驶，会随着车辆的行驶不断的更新车辆四周泊车环境，所以要实时的跟踪并更新规划的泊车轨迹。

具体地，如图3所示，首先设置环境差值门限，利用历史环境信息与实时环境信息差异，决定是否要更新泊车轨迹。若环境差值大于设置的门限，即周围泊车环境有相对明显变化，则要对最新采集到的图像执行Reeds-Shepp曲线规划；若环境差值并不大，即周围泊车环境没有相对明显的变化，则保持现有路径规划。

步骤三，车辆根据实时规划的轨迹跟踪运动到泊车目标点，泊车任务结束。

本发明实施例中，一方面基于海量的带标注的图像数据库，基于先进的深度学习算法，解决了传统车位识别方法中单纯依靠超声波不能准确识别车位位置，覆盖场景少的问题。本实施例中，有数据标注的场景都能覆盖，且车位识别率高达95％以上，识别误差小于3个像素；另一方面，基于深度学习的分割结果，利用高斯牛顿优化算法处理视觉分割结果得到的位姿信息，弥补了轨迹跟踪过程中无视觉反馈导致的位姿估算精度较差的问题。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于视觉识别的自动泊车系统，其特征在于：所述系统包括建图定位子模块和规划控制子模块；

所述建图定位子模块利用设置在车辆的摄像头获取所述车辆四周的图像；

所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，建立地图；

所述规划控制子模块针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。

2.根据权利要求1所述的系统，其特征在于：识别图像中的车位、车位线和/或引导线是通过深度学习算法实现的。

3.根据权利要求1-2所述的系统，其特征在于：所述地图是通过所述车位点、所述车位线和/或引导线信息的输入，使用优化算法得到的。

4.根据权利要求1-3所述的系统，其特征在于：所述车辆四周的图像是由各所述摄像头获得的图像拼接而成的图像。

5.根据权利要求4所述的系统，其特征在于：所述摄像头为鱼眼广角摄像头，其畸变校正公式为：

x_cor＝x+x(k₁r²+k₂r⁴+k₃r⁶)+[2p₁y+p₂(r²+2x²)]， (1)

其中(x,y)是图像中某一像素点的原始坐标；(x_cor,y_cor)是此像素点校正畸变后的坐标；[k₁,k₂,k₃]是径向畸变参数；[p₁,p₂]是切向畸变参数。

6.一种基于视觉识别的自动泊车系统，其特征在于：所述系统包括建图定位子模块和规划控制子模块；

所述建图定位子模块利用设置在车辆的摄像头获取所述车辆四周的图像；

所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，建立地图；

所述规划控制子模块针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点；

所述建图定位子模块利用设置在所述车辆上超声波得到局部障碍信息；所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，并结合所述局部障碍信息建立地图。

7.一种基于视觉识别的自动泊车方法，其特征在于：所述方法包括以下步骤：建图定位步骤和规划控制步骤；

所述建图定位步骤利用设置在车辆的摄像头获取所述车辆四周的图像；从所述图像中识别出车位点、车位线和/或引导线，建立地图；

所述规划控制步骤针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。

8.根据权利要求7所述的方法，其特征在于：识别图像中的车位点、车位线和/或引导线是通过深度学习算法实现的。

9.根据权利要求7-8所述的方法，其特征在于：所述地图是通过所述车位点、所述车位线和/或引导线信息的输入，使用优化算法得到的。

10.根据权利要求7-9所述的方法，其特征在于：所述车辆四周的图像是由各所述摄像头获得的图像拼接而成的图像。

11.根据权利要求7所述的方法，其特征在于：所述摄像头为鱼眼广角摄像头，其畸变校正公式为:

x_cor＝x+x(k₁r²+k₂r⁴+k₃r⁶)+[2p₁y+p₂(r²+2x²)]， (1)

其中(x,y)是图像中某一像素点的原始坐标；(x_cor,y_cor)是此像素点校正畸变后的坐标；[k₁,k₂,k₃]是径向畸变参数；[p₁,p₂]是切向畸变参数。

12.一种基于视觉识别的自动泊车方法，其特征在于：所述方法包括以下步骤：建图定位步骤和规划控制步骤；

所述建图定位步骤利用设置在车辆的摄像头获取所述车辆四周的图像；从所述图像中识别出车位点、车位线和/或引导线，建立地图；

所述规划控制步骤针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点；

在所述建图定位步骤中，利用设置在所述车辆上超声波得到局部障碍信息；所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，并结合所述局部障碍信息建立地图。