CN114141055A - 一种智能泊车系统的泊车位检测装置和检测方法 - Google Patents

Abstract

本发明提供一种智能泊车系统的泊车位检测装置，包括：传感器组件和信号处理组件；所述传感器组件，设置在车辆周身，用于采集所述车辆的环视图像；所述信号处理组件，根据所述传感器组件提供的所述环视图像，从图中确定车位线、车道线、中心车道线和/或静止车辆边界线的类别和位置，进而确定泊车位的空间位置信息。为泊车场景下的自动驾驶功能提供了一个更加安全和高效的保障信息，给驾驶者带来停车的便利性。

Description

一种智能泊车系统的泊车位检测装置和检测方法

技术领域

本发明涉及汽车驾驶领域，涉及驾驶辅助系统，尤其涉及到智能泊车系统的泊车位检测装置及检测方法。

背景技术

近年来，随着技术的发展，自动驾驶成为一个备受关注的且极富挑战性的领域。其中，在泊车场景下的自动驾驶功能是一个很重要的探索方向，车道线、车位线等地面标志的检测为泊车场景下的自动驾驶功能提供了关键的视觉信息。

近年来，随着技术的发展，自动驾驶成为一个备受关注的且极富挑战性的领域。其中，自动搜索车位功能是一个很重要且实用的探索方向，当进入停车场后，可开启自动搜索车位的功能，当车辆找到合适的车位时，会自动泊入。在这个过程中，车道线、车位线等地面标志的检测为自动搜索车位功能提供了关键的视觉信息。还包括在实际生活中，当我们进入停车场寻找车位时，会遇到两侧静止车辆未完全驶入车位或是车位线模糊不清的问题，以及在会车场景下与相邻车辆进行错车。这些情况下，仅依据车道线和车位线所提供的视觉信息进行车辆行驶轨迹预测是具有安全隐患的，很可能会剐蹭到两侧未完全驶入车位的车辆。

但目前的自动搜索车位功能多为依靠超声波等技术进行车位搜索，存在较多的车位漏检、误检等问题，本专利提出一种依据视觉信息的低速自动搜索车位功能(Low speedautomatic slot detection parking，简称ASP)，给驾驶者带来停车的便利性。

发明内容

为了实现本发明以上发明目的，本发明是通过以下技术方案实现的：

本发明提供一种智能泊车系统的泊车位检测装置，包括：传感器组件和信号处理组件；所述传感器组件，设置在车辆周身，用于采集所述车辆的环视图像；所述信号处理组件，根据所述传感器组件提供的所述环视图像，从图中确定车位线、车道线、中心车道线和/或静止车辆边界线的类别和位置，进而确定泊车位的空间位置信息。

进一步，所述传感器组件至少包括四路鱼眼摄像头，所述鱼眼摄像头分别设置在所述车辆的前端、后端、左端和右端；或者，至少包括六路广角摄像头，所述六路摄像头分别设置在所述车辆的前端、后端，和左前侧和左后侧各设置一路、右前侧和右后侧各设置一路。

进一步，所述信号处理组件包括：环视图生成模块、泊车位检测模块；所述环视图生成模块，用以将所述摄像头获取的多路图像进行图像拼接，并拼接生成二维地形图(俯视图)；所述泊车位检测模块，用以从拼接图像中检测空泊车位，并融入所述二维地形图。

进一步，所述泊车位检测模块进一步包括：车位线检测子模块和线拟合模块；所述车位线检测子模块，用以检测车位线、车道线和/或中心车道线；所述线拟合模块，用以将识别出的所述车位线、车道线、中心车道线拟合为连续有关联的点状线拟合数据。

进一步，所述泊车位检测模块进一步包括：停滞车辆检测子模块和线拟合模块，所述停滞车辆检测子模块，用以识别并确定所述停滞车辆的保险杠和/或车轮接地点；所述线拟合模块，用以将识别出的所述保险杠和/或车轮接地点拟合为连续有关联的点状线拟合数据。

进一步，所述泊车位检测模块进一步包括：线平滑模块，所述线平滑模块，用以对得到的所述点状线拟合数据进行帧间和帧内的卡尔曼滤波，最终得到平滑稳定的车道线、中心车道线、车位线和/或停滞车辆边界线。

进一步，所述信号处理组件还包括：图线融合模块，所述图线融合模块，用以将平滑稳定的车道线、中心车道线、车位线和/或停滞车辆边界线融合入所述二维地形图。

进一步，所述泊车位，包括：平行泊车位、垂直泊车位或斜列泊车位。

进一步，所述泊车位检测模块进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一垂直/斜列泊车位上所述停滞车辆的保险杆，所述车辆边界线生成子模块，根据所述保险杆的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空垂直/斜列泊车位两侧的所述停滞车辆的保险杆，所述车辆边界线生成子模块，根据所述保险杆的中点位置生成至少一段所述车辆边界线。

进一步，所述泊车位检测模块进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一平行泊车位上所述停滞车辆的前、后所述车轮接地点，所述车辆边界线生成子模块，根据所述车轮接地点的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空平行泊车位两侧的所述停滞车辆的前、后所述车轮接地点，所述车辆边界线生成子模块，根据(二)前、后所述车轮接地点的中点位置生成所述车辆边界线。

进一步，所述泊车位检测模块进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一平行泊车位上所述停滞车辆的前、后所述保险杠，所述车辆边界线生成子模块，根据前、后所述保险杠的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空平行泊车位两侧的前所述停滞车辆的后所述保险杠和后所述停滞车辆的前所述保险杠，所述车辆边界线生成子模块，根据(二)前、后所述保险杠生成所述车辆边界线。

进一步，所述泊车位检测模块进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，识别空平行泊车位两侧的所述停滞车辆的前、后所述车轮接地点，以及，识别空平行泊车位两侧的前所述停滞车辆的后所述保险杠和后所述停滞车辆的前所述保险杠；所述车辆边界线生成子模块，根据前、后所述保险杆的中点和前、后所述车轮接地点的中点位置生成所述车辆边界线。

本发明还提供一种泊车位的检测方法，包括以下步骤：根据环视图像，从图中确定车位线、车道线、中心车道线和/或静止车辆边界线的类别和位置，进而确定所述泊车位的空间位置信息。

进一步，由设置在车身的多路摄像头采集所述车身周边的所述环视图像。

进一步，拼接多路摄像头获取的图像，并生成二维地形图(俯视图)；同步从拼接图像中检测空泊车位，并融入所述二维地形图。

进一步，根据环视图像，从中识别车位线、车道线和/或中心车道线的类别和位置，和/或，根据环视图像，从中识别停滞车辆的(前/后)保险杆以及车轮接地点，进而确定停滞车辆边界线。

进一步，根据所述车轮的接地点或所述保险杆，确定车辆框坐标和尺寸信息；确定所述车辆框与至少设置多路摄像头的检测车的位置关系和角度关系；将所述车辆框坐标、尺寸信息和角度关系映射到所述二维地形图(俯视图)中。

进一步，对从所述拼接图像中检测得到的点状线拟合数据进行帧间和帧内的卡尔曼滤波，最终得到平滑稳定的所述车道线、中心车道线、车位线和/或停滞车辆边界线，融合入所述二维地形图。

进一步，至少识别一垂直/斜列泊车位上所述停滞车辆的保险杆，根据所述保险杆的位置生成所述停滞车辆边界线；或者，识别空垂直/斜列泊车位两侧的所述停滞车辆的保险杆，根据所述保险杆的中点位置生成至少一段所述停滞车辆边界线。

进一步，至少识别一平行泊车位上所述停滞车辆的前、后所述车轮接地点，根据所述车轮接地点的位置生成所述停滞车辆边界线；或者，识别空平行泊车位两侧的所述停滞车辆的前、后所述车轮接地点，根据前、后二所述车轮接地点的中点位置生成所述停滞车辆边界线。

进一步，至少识别一平行泊车位上所述停滞车辆的前、后所述保险杠，根据前、后所述保险杠的位置生成所述车辆边界线；或者，识别空平行泊车位的前所述停滞车辆的后所述保险杠，和，识别所述空平行泊车位的后所述停滞车辆的前所述保险杠，根据前、后二所述保险杠生成所述停滞车辆边界线。

进一步，识别所述空平行泊车位两侧的所述停滞车辆的前、后二所述车轮接地点，以及，识别所述空平行泊车位的前所述停滞车辆的后所述保险杠，和，识别所述空平行泊车位的后所述停滞车辆的前所述保险杠；根据前、后所述保险杆连线的中点和前、后所述车轮接地点的中点位置生成所述停滞车辆边界线。

本发明提出一种基于泊车场景的低速自动搜索车位功能(ASP)，主要有以下几个优点：

(1)使用视觉信息进行自动搜索车位，视觉信息更加精准稳定，且使用鱼眼摄像头，所得到的视觉信息可视范围更广；

(2)在进行泊车时，通过得到静止车辆边界线，对于车辆的行驶轨迹预测和车身控制给出一个非常关键的视觉信息，对于自动搜索车位功能增加了安全保障；

(3)可应用于多种车位类型，包括T型、非字型等车位类型；

(4)利用卡尔曼滤波对于车位线、车道线、中心车道线、静止车辆边界线进行滤波和平滑，使得到的结果更加精确稳定。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为更进一步阐述本申请所采取的技术手段及取得的效果，下面结合附图及较佳实施例，对本申请的技术方案，进行清楚和完整的描述。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明：

图1为本发明第二实施例水平车位下检测示意图；

图2为本发明第一实施例实现流程图；

图3为本发明第三实施例垂直车位下检测示意图；

图4为本发明第四实施例斜列车位下检测示意图；

图5为本发明安装四个摄像头的车辆示意图。

图6为本发明拼接后俯视图的地面划线段的识别和拟合示意图(图中黑色矩形为被覆盖的本(智能)车)；

图7为本发明装置的结构组成示意图；

图8为本发明传感器组件的模块组成示意图；

图9为本发明信号处理组件的模块组成示意图。

附图标记说明

智能泊车系统的泊车位检测装置1000；传感器组件1200；摄像头1210；鱼眼摄像头10；信号处理组件1300；环视图生成模块1310；泊车位检测模块1320；图线融合模块1330。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，以下说明和附图对于本发明是示例性的，并且不应被理解为限制本发明。以下说明描述了众多具体细节以方便对本发明理解。然而，在某些实例中，熟知的或常规的细节并未说明，以满足说明书简洁的要求。本发明的原理图请参考图1所示，本发明的具体判断系统及方法参见下述实施例：

第一实施例

如图2和图5所示，本实施例至少公开一种车辆边界线的算法流程：

(1)当车辆开启自动搜索车位功能后，利用本车的前/后/左/右4四路鱼眼摄像头采集鱼眼图像；

(2)将四路鱼眼图像按照一定的规则拼接成俯视图；

(3)将得到的俯视图送入语义分割网络模型中，识别图中的车道线、中心车道线、车位线，输出类别的和位置信息；

(4)将得到的车道线、中心车道线、车位线送入线拟合模块，按照一定的规则进行线拟合操作；如图6左侧图示，图中在实物划线上有不同大小和颜色的拟合点。

(5)对得到的线拟合数据进行帧间和帧内的卡尔曼滤波，最终得到平滑稳定的车道线、中心车道线、车位线；如图6右侧图示，图中在实物划线上被覆盖有不同大小和颜色的拟合线。

(6)与步骤(1)同时进行的，将本车的鱼眼图像输入到目标检测网络中；

(7)进行检测过程，得到检测图像中可见的车辆框及前、后车轮框的坐标及大小信息；

(8)通过计算车身航向角，确定车辆的航向，按照车辆框的下底边中点为保险杠中点的原则，可确定保险杠中点的位置，根据航向角可区分为前、后保险杠点两个类别；按照前、后车轮框的下底边中点为车轮接地点的原则可确定已停泊车辆的前、后轮的接地点的位置；

(9)将所得到的前后保险杠中点及前后车轮接地点映射到俯视图中；

(10)对所得到的上述关键点利用卡尔曼滤波器进行平滑和滤波，得到最终的前后保险杠中点及前后车轮接地点；

(11)分别连接左右两侧的前后保险杠中点及前后车轮接地点即可得到两侧的静止车辆边界线；

(12)通过上述车位线、车道线、中心车道线、静止车辆边界线的类别与位置，确定车位的位置，同时利用目标检测的结果，确定障碍物的位置与类别；

(13)根据得到的视觉信息，选定目标(空)车位，车身控制系统将车辆自动驶入车位，完成低速自动搜索车位功能，即ASP功能。

1、传感器组件1200：

传感器组件1200包括摄像头1210和无线电定位探测器1220：摄像头位于车辆前侧、后侧、左侧、右侧的四个鱼眼(广角)摄像头，鱼眼摄像头具有观测范围广、图像信息更加丰富的优势。其中，四个摄像头的安装位置应保证四个摄像头采集到的图片覆盖到车辆四周360度区域，而且相邻两摄像头采集到的图片有重叠区域。在实施例中，将前摄像头布置在车辆前方格栅处，左右摄像头布置在左右后视镜处，后摄像头布置在车辆后背门上。

无线电定位探测器1220包括超声波雷达和毫米波雷达。位于车辆两侧的超声波雷达。超声波雷达可以是左、右侧各布置一个，也可以是左、右侧分别布置多个。毫米波雷达可以是左、右侧各布置一个，也可以是左、右侧分别布置多个。

2、环视图生成模块1310

(1)矫正畸变

为了获得较大的视野范围，本发明中位于车身四周的四个摄像头使用鱼眼广角摄像头。鱼眼摄像头采集到的图像存在着较大的畸变，首先需要对其进行校正畸变。

一般，只考虑摄像机的径向畸变和切向畸变，根据标定得到的摄像机畸变参数，利用下式对四个摄像头采集到的图像分别进行校正畸变：

(2)生成四幅鸟瞰图(俯视图/二维地形图)

对矫正畸变后的四幅图像分别进行逆投影变换，将其转换为俯视效果的鸟瞰图。

(3)对鸟瞰图进行环视拼接

由逆透视变换得到四幅俯视效果的鸟瞰图，通过将重叠区域进行对齐，可以将四幅鸟瞰图拼接为环视图，在这个过程中，需设定环视图的视野范围，当前使用的视野范围为自车前方可见5米，车尾后侧可见5米，车身两侧可见范围为4.3米。

1)摄像机模型

摄像机成像模型描述的是物体的成像过程，即任意一点在三维世界坐标系中的坐标到该点所成的像的坐标之间的数学映射关系。

①世界坐标系到摄像机坐标系的变换关系；

②摄像机坐标系到图像坐标系的变换关系。

2)逆透视投影变换

根据某点在三维世界坐标系中的坐标(Xw,Yw,Zw)可以计算得到该点在图像坐标系中的坐标(x,y)，反之则不能。但是如果已知某点三维坐标中的某一维，则可以根据该点图像坐标系中的坐标(x,y)，计算出该点三维坐标的另两维。逆透视变换就是指：建立图像坐标系中的点与三维世界坐标系中已知平面上的点的位置对应关系。

建立如下坐标系：选取车辆几何中心点竖直向下投影在地面上的点为坐标原点Ow；Yw轴方向平行于车辆后轴方向，指向车辆左侧为正；Xw垂直于Yw轴，指向车辆前方为正；垂直于地面向上为Zw轴正方向。将此坐标系作为世界坐标系。现假定Zw＝0，即假定图像中的所有点在三维世界坐标系中都位于地面上，利用四个摄像机的内参矩阵和外参矩阵，对四个摄像机采集到的图像分别进行逆透视变换，得到俯视效果的鸟瞰图。

(4)拼接生成环视图

通过逆透视变换，得到四幅俯视效果的鸟瞰图，相邻摄像头得到的鸟瞰图会有部分重合区域，通过对齐重叠区域，可以将四幅鸟瞰图拼接为环视图。

首先，设定环视图的视野范围。这也就确定了鸟瞰图的缩放因子；

然后，确定拼缝。选取四幅鸟瞰图两两之间的重叠区域内的四条直线作为拼缝。

最后，将四幅鸟瞰图沿着拼缝的位置剪裁、拼接。

3、泊车位检测模块1320

泊车位检测模块1320包括泊车位线检测子模块、停滞车辆检测子模块、泊车位输出子模块。泊车位线检测子模块利用地面泊车位线检测泊车位；停滞车辆检测子模块利用停滞车辆检测泊车位；泊车位输出子模块根据泊车位线检测子模块和停滞车辆检测子模块的检测结果，最终确定出泊车位。

(1)车位线检测子模块

本专利通过利用深度学习算法来识别拼接图中的车位线、车道线、中心车道线等地面标注。

1)数据标注

如图5所示，利用安装有四路鱼眼摄像头10的车辆在不同的停车场内进行视频录制，按照上述环视图生成模块对四路鱼眼视频进行环视拼接，得到一个俯视视角的视频，对该视频进行拆帧处理，得到海量的环视图像；使用人工手动的多边形标注工具，对图像中的车位线、车道线等进行分类标注，最终得到环视图像及其对应的标签图像；

2)设计识别网络模型

本专利采用监督学习策略，利用深度学习算法，设计了一个轻量级且满足识别精度需求的卷积神经网络模型，该卷积神经网络模型通过利用多层卷积网络提取具有可区分性的视觉特征的视觉因子，对环视图中的车位线等信息进行识别。深度卷积神经网络不仅在处理图像上有其独特的局部感知和参数共享等优点，利用海量标注数据有监督的学习网络模型，其自适应和鲁棒性能也是一大优点。

3)模型的训练与迭代

将得到的环视图像及其对应的标签送入设计好的卷积神经网络中，调整模型训练的学习率、优化方式、训练次数等参数，最终使模型收敛到最优值，得到最优的模型；将采集的未标注的俯视图像送入训练好的模型中，检查图像的识别效果，对于效果较差的图像再根据实际情况进行模型的调优和迭代。

4)直线后处理

由于泊车位线有缺损或者地面存在阴影等，可能检测出许多杂乱线段。因此需要利用泊车位线满足的约束条件，对检测出的直线进行处理，以保留库位线对应的线段，删除其他杂乱线段。泊车位线满足的约束条件包括：泊车位线对边互相平行、邻边互相垂直、标准泊车位的尺寸、泊车位线的线宽等，可以选取其中的一条或者几条约束条件对直线进行处理。以上算法提供了直线后处理的一种方法，在其他实施例中也可以选取不同的约束条件。

(2)停滞车辆检测子模块

1)计算第一辆停滞车辆前端轮廓的位置

将全局坐标系定义为以泊车起点处自身车辆后轴中点为原点OG；YG轴方向沿自身车辆在泊车起点处的后轴方向，指向车辆左侧为正；XG轴垂直于YG轴，指向自身车辆前进方向为正。将车辆坐标系定义为以自身车辆后轴中点为原点O；Y轴方向沿自身车辆的后轴方向，指向车辆左侧为正；X轴垂直于Y轴，指向自身车辆前进方向为正。车辆坐标系在全局坐标系中是跟随车辆运动的。定义的全局坐标系和车辆坐标系的示意图。

①停滞车辆侧面轮廓直线

Ⅰ、计算停滞车辆侧面轮廓上的点在全局坐标系中的坐标

利用摄像头传感器，得到自身车辆与停滞车辆之间距离值。当超声波测距传感器返回的距离值未发生正跳变时，利用距离值和超声波测距传感器的安装位置参数，得到侧面轮廓上的点在车辆坐标系中的坐标。

Ⅱ、用侧面轮廓上的点拟合出一条直线

一般，用最小二乘法对侧面轮廓上的点做直线拟合。

②停滞车辆最前点

采用如下方法定义图像坐标系：将原点定义在图像的左上角处，水平向右为x轴正方向，竖直向下为y轴正方向。

③最前点向侧面轮廓直线作垂线

(3)车辆边界线生成子模块

用以根据所述停滞车辆生成所述车辆边界线，绘制于(半)环视图像中的停滞车辆物理的边缘处。

4、人机接口

人机接口包括输出模块和输入模块。输出模块用以显示环视图和检测到的库位，可以通过(触摸)显示屏、平视显示器(HUD)等实现。输入模块用以接受驾驶员输入的各种指令，可以通过触摸屏、语音指令、转向灯、车内按钮等实现。

如果叠加显示在环视图上的泊车位不正确或者不符合驾驶员的意愿，驾驶员可以通过人机接口的输入模块调整泊车位的位置和(或)方向。在驾驶员改变泊车位的位置和(或)方向后，将新的泊车位四个角点坐标输出到智能泊车系统的路径规划模块。

图线融合模块1330，用以将平滑稳定的车道线、中心车道线、车位线和/或停滞车辆边界线融合入所述二维地形图，呈现在显示屏、触摸显示屏或HUD等上。

第二实施例

如图1所示，所述泊车位检测模块1320进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一平行泊车位上所述停滞车辆(如图中标P标志的位置)的前、后所述车轮接地点，所述车辆边界线生成子模块，根据所述车轮接地点的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空平行泊车位(如图中标P标志的位置)两侧的所述停滞车辆的前、后所述车轮接地点，所述车辆边界线生成子模块，根据二前、后所述车轮接地点的中点位置生成所述车辆边界线。

车位线检测子模块，通过利用深度学习算法来识别拼接图中的车位线、车道线、中心车道线等地面标注。

图线融合模块1330，用以将平滑稳定的车道线、中心车道线、车位线和/或(停滞)车辆边界线融合入所述二维地形图，呈现在显示屏、触摸显示屏或HUD等上。

第三实施例

如图3所示，所述泊车位检测模块1320进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一垂直泊车位上所述停滞车辆的保险杆，所述车辆边界线生成子模块，根据所述保险杆的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空垂直泊车位两侧的所述停滞车辆的保险杆，所述车辆边界线生成子模块，根据所述保险杆的中点位置生成至少一段所述车辆边界线。

车位线检测子模块，通过利用深度学习算法来识别拼接图中的车位线、车道线、中心车道线等地面标注。

图线融合模块1330，用以将平滑稳定的车道线、中心车道线、车位线和/或(停滞)车辆边界线融合入所述二维地形图，呈现在显示屏、触摸显示屏或HUD等上。

第四实施例

如图4所示，所述泊车位检测模块1320进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一斜列泊车位上所述停滞车辆的保险杆，所述车辆边界线生成子模块，根据所述保险杆的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空斜列泊车位两侧的所述停滞车辆的保险杆，所述车辆边界线生成子模块，根据所述保险杆的中点位置生成至少一段所述车辆边界线。

车位线检测子模块，通过利用深度学习算法来识别拼接图中的车位线、车道线、中心车道线等地面标注。

图线融合模块1330，用以将平滑稳定的车道线、中心车道线、车位线和/或(停滞)车辆边界线融合入所述二维地形图，呈现在显示屏、触摸显示屏或HUD等上。

第五实施例

所述泊车位检测模块1320进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一平行泊车位上所述停滞车辆的前、后所述保险杠，所述车辆边界线生成子模块，根据前、后所述保险杠的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空平行泊车位两侧的前所述停滞车辆的后所述保险杠和后所述停滞车辆的前所述保险杠，所述车辆边界线生成子模块，根据二前、后所述保险杠生成所述车辆边界线。

车位线检测子模块，通过利用深度学习算法来识别拼接图中的车位线、车道线、中心车道线等地面标注。

图线融合模块1330，用以将平滑稳定的车道线、中心车道线、车位线和/或(停滞)车辆边界线融合入所述二维地形图，呈现在显示屏、触摸显示屏或HUD等上。

第六实施例

所述泊车位检测模块1320进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，识别空平行泊车位两侧的所述停滞车辆的前、后所述车轮接地点，以及，识别空平行泊车位两侧的前所述停滞车辆的后所述保险杠和后所述停滞车辆的前所述保险杠；所述车辆边界线生成子模块，根据前、后所述保险杆的中点和前、后所述车轮接地点的中点位置生成所述车辆边界线。

车位线检测子模块，通过利用深度学习算法来识别拼接图中的车位线、车道线、中心车道线等地面标注。

图线融合模块1330，用以将平滑稳定的车道线、中心车道线、车位线和/或(停滞)车辆边界线融合入所述二维地形图，呈现在显示屏、触摸显示屏或HUD等上。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (22)

1.一种智能泊车系统的泊车位检测装置，其特征在于，包括：传感器组件和信号处理组件；所述传感器组件，设置在车辆周身，用于采集所述车辆的环视图像；所述信号处理组件，根据所述传感器组件提供的所述环视图像，从图中确定车位线、车道线、中心车道线和/或静止车辆边界线的类别和位置，进而确定泊车位的空间位置信息。

2.如权利要求1所述的泊车位检测装置，其特征在于，所述传感器组件至少包括四路鱼眼摄像头，所述鱼眼摄像头分别设置在所述车辆的前端、后端、左端和右端；或者，至少包括六路广角摄像头，所述六路摄像头分别设置在所述车辆的前端、后端，和左前侧和左后侧各设置一路、右前侧和右后侧各设置一路。

3.如权利要求2所述的泊车位检测装置，其特征在于，所述信号处理组件包括：环视图生成模块、泊车位检测模块；所述环视图生成模块，用以将所述摄像头获取的多路图像进行图像拼接，并拼接生成二维地形图；所述泊车位检测模块，用以从拼接图像中检测空泊车位，并融入所述二维地形图。

4.如权利要求3所述的泊车位检测装置，其特征在于，所述泊车位检测模块进一步包括：车位线检测子模块和线拟合模块；所述车位线检测子模块，用以检测车位线、车道线和/或中心车道线；所述线拟合模块，用以将识别出的所述车位线、车道线、中心车道线拟合为连续有关联的点状线拟合数据。

5.如权利要求3所述的泊车位检测装置，其特征在于，所述泊车位检测模块进一步包括：停滞车辆检测子模块和线拟合模块，所述停滞车辆检测子模块，用以识别并确定所述停滞车辆的保险杠和/或车轮接地点；所述线拟合模块，用以将识别出的所述保险杠和/或车轮接地点拟合为连续有关联的点状线拟合数据。

6.如权利要求4或5所述的泊车位检测装置，其特征在于，所述泊车位检测模块进一步包括：线平滑模块，所述线平滑模块，用以对得到的所述点状线拟合数据进行帧间和帧内的卡尔曼滤波，最终得到平滑稳定的车道线、中心车道线、车位线和/或停滞车辆边界线。

7.如权利要求6所述的泊车位检测装置，其特征在于，所述信号处理组件还包括：图线融合模块，所述图线融合模块，用以将平滑稳定的车道线、中心车道线、车位线和/或停滞车辆边界线融合入所述二维地形图。

8.如权利要求1所述的泊车位检测装置，其特征在于，所述泊车位，包括：平行泊车位、垂直泊车位或斜列泊车位。

9.如权利要求1或5所述的泊车位检测装置，其特征在于，所述泊车位检测模块进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一垂直/斜列泊车位上所述停滞车辆的保险杆，所述车辆边界线生成子模块，根据所述保险杆的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空垂直/斜列泊车位两侧的所述停滞车辆的保险杆，所述车辆边界线生成子模块，根据所述保险杆的中点位置生成至少一段所述车辆边界线。

10.如权利要求1或5所述的泊车位检测装置，其特征在于，所述泊车位检测模块进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一平行泊车位上所述停滞车辆的前、后所述车轮接地点，所述车辆边界线生成子模块，根据所述车轮接地点的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空平行泊车位两侧的所述停滞车辆的前、后所述车轮接地点，所述车辆边界线生成子模块，根据二前、后所述车轮接地点的中点位置生成所述车辆边界线。

11.如权利要求1或5所述的泊车位检测装置，其特征在于，所述泊车位检测模块进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，至少识别一平行泊车位上所述停滞车辆的前、后所述保险杠，所述车辆边界线生成子模块，根据前、后所述保险杠的位置生成所述车辆边界线；或者，所述停滞车辆检测子模块，识别空平行泊车位两侧的前所述停滞车辆的后所述保险杠和后所述停滞车辆的前所述保险杠，所述车辆边界线生成子模块，根据二前、后所述保险杠生成所述车辆边界线。

12.如权利要求10或11所述的泊车位检测装置，其特征在于，所述泊车位检测模块进一步包括：车辆边界线生成子模块；所述停滞车辆检测子模块，识别空平行泊车位两侧的所述停滞车辆的前、后所述车轮接地点，以及，识别空平行泊车位两侧的前所述停滞车辆的后所述保险杠和后所述停滞车辆的前所述保险杠；所述车辆边界线生成子模块，根据前、后所述保险杆的中点和前、后所述车轮接地点的中点位置生成所述车辆边界线。

13.一种泊车位的检测方法，其特征在于，包括以下步骤：根据环视图像，从图中确定车位线、车道线、中心车道线和/或静止车辆边界线的类别和位置，进而确定所述泊车位的空间位置信息。

14.如权利要求13所述的检测方法，其特征在于，由设置在车身的多路摄像头采集所述车身周边的所述环视图像。

15.如权利要求13所述的检测方法，其特征在于，拼接多路摄像头获取的图像，并生成二维地形图；同步从拼接图像中检测空泊车位，并融入所述二维地形图。

16.如权利要求15所述的检测方法，其特征在于，根据环视图像，从中识别车位线、车道线和/或中心车道线的类别和位置，和/或，根据环视图像，从中识别停滞车辆的保险杆以及车轮接地点，进而确定停滞车辆边界线。

17.如权利要求16所述的检测方法，其特征在于，根据所述车轮的接地点或所述保险杆，确定车辆框坐标和尺寸信息；确定所述车辆框与至少设置多路摄像头的检测车的位置关系和角度关系；将所述车辆框坐标、尺寸信息和角度关系映射到所述二维地形图中。

18.如权利要求15或16或17所述的检测方法，其特征在于，对从所述拼接图像中检测得到的点状线拟合数据进行帧间和帧内的卡尔曼滤波，最终得到平滑稳定的所述车道线、中心车道线、车位线和/或停滞车辆边界线，融合入所述二维地形图。

19.如权利要求18所述的检测方法，其特征在于，至少识别一垂直/斜列泊车位上所述停滞车辆的保险杆，根据所述保险杆的位置生成所述停滞车辆边界线；或者，识别空垂直/斜列泊车位两侧的所述停滞车辆的保险杆，根据所述保险杆的中点位置生成至少一段所述停滞车辆边界线。

20.如权利要求18所述的检测方法，其特征在于，至少识别一平行泊车位上所述停滞车辆的前、后所述车轮接地点，根据所述车轮接地点的位置生成所述停滞车辆边界线；或者，识别空平行泊车位两侧的所述停滞车辆的前、后所述车轮接地点，根据前、后二所述车轮接地点的中点位置生成所述停滞车辆边界线。

21.如权利要求18所述的检测方法，其特征在于，至少识别一平行泊车位上所述停滞车辆的前、后所述保险杠，根据前、后所述保险杠的位置生成所述车辆边界线；或者，识别空平行泊车位的前所述停滞车辆的后所述保险杠，和，识别所述空平行泊车位的后所述停滞车辆的前所述保险杠，根据前、后二所述保险杠生成所述停滞车辆边界线。

22.如权利要求20或21所述的检测方法，其特征在于，识别所述空平行泊车位两侧的所述停滞车辆的前、后二所述车轮接地点，以及，识别所述空平行泊车位的前所述停滞车辆的后所述保险杠，和，识别所述空平行泊车位的后所述停滞车辆的前所述保险杠；根据前、后所述保险杆连线的中点和前、后所述车轮接地点的中点位置生成所述停滞车辆边界线。

Images