CN113320474A - 基于全景图像及人机交互的自动泊车方法及装置 - Google Patents

Abstract

本发明提供了一种基于全景图像及人机交互的自动泊车方法，其特征在于：步骤1、提供一个人机交互的界面，在驾驶员启动自动泊车后，系统利用安装在车辆上的鱼眼摄像头采集的视频画面生成全景环视图像，并在全景图像中进行空车位检测与识别；步骤2、搜索到停车位时，界面提示驾驶员确认是否可以停车；步骤3、当驾驶员确认是合适的停车位，开始进行路径规划；步骤4、人机交互界面通过CAN网络信号与底层控制模块通讯，假如在自动泊车过程中有危险情况发生，驾驶员可以通过踩刹车立即中止自动泊车，以此来保证安全性。待危险排除后，驾驶员可以通过交互界面继续完成自动泊车。本方案是基于人机交互的自动泊车，驾驶员的作用可以代替部分传感器的作用，因此可以大大减少自动泊车系统的成本。

Description

基于全景图像及人机交互的自动泊车方法及装置

技术领域

本发明属于车辆安全辅助及汽车电子领域，具体涉及一种基于全景图像及人机交互的自动泊车方法。

背景技术

随着社会的快速发展，大城市中汽车的保有量越来越多。研究表明30％-50％的驾驶员需要在拥挤的城市环境中寻找车位。此外，在所有的碰撞事故中约有23％的事故发生在泊车的过程中。因此一个有效的自动泊车系统可以帮助驾驶员安全快捷的完成泊车操作。自动泊车系统一般包括以下几个组成部分：空车位检测，路径规划和路径跟踪。

目前，自动泊车系统中关于空车位检测的方法通常是基于超声波雷达。但是，该方法需要空车位的两侧均停有车辆或其他障碍物，并且超声波雷达具有检测角度小，盲区大等缺点。近年来，越来越多的乘用车装备了全景环视系统。因此，针对这种情况，基于全景环视系统的车位检测无疑成为了未来泊车系统的发展方向。传统的基于直线检测或标志点检测的方法普遍具有鲁棒性不高的缺点，如何在复杂的环境条件下(比如室内反光路面，阴影，标志线不全，昏暗路灯等)更为准确可靠的检测并定位空车位是自动泊车系统中的一大难题。

除了停车位检测需要用到传感器之外，自动泊车系统中其他模块也都基于大量的传感器，如超声波雷达、相机、毫米波雷达、惯导等，致使系统成本较高，所以，目前市场上的自动泊车系统大都搭载在高配昂贵的车型上。降低自动泊车系统的成本，使其能够搭载在中低档车型上，具有更加广阔的市场。考虑到实际泊车过程中驾驶员仍然在车上，利用人机交互来代替大量的传感器实现低成本自动泊车成为可能。

发明内容

本发明要解决的技术问题是提供一种人机交互的自动泊车方法，为自动泊车系统降低成本。该方法利用卷积神经网络在全景视图中进行空车位检测并提供给驾驶员确认，继而规划出一条最优的泊车路径，在驾驶员确保安全的情况下控制车辆实现自动泊车。

本发明为解决上述技术问题所采取的技术方案为提供了一种基于全景图及人机交互的自动泊车方法，其特征在于：

步骤1、提供一个人机交互的界面，驾驶员启动自动泊车后，系统利用安装在车辆上的鱼眼摄像头采集的视频画面生成全景环视图像，并在全景图像中进行空车位检测与识别；

步骤2、搜索到停车位时，界面提示驾驶员确认是否可以停车；

步骤3、当驾驶员确认是合适的停车位，开始进行路径规划，利用从全景检测中得到的精确的车位参数，再结合车辆自身的参数，精准地计算出路径规划中最优的停车路径；当检测到停车位时，直接在人机交互界面上显示车位的方框，不同颜色线条的方框代表系统检测到的停车位是否是合适的停车位，驾驶员通过在界面上操作确认此时的停车位是否能够停车；

步骤4、人机交互界面通过CAN网络信号与底层控制模块通讯，假如在自动泊车过程中有危险情况发生，驾驶员可以通过踩刹车立即中止自动泊车，以此来保证安全性。待危险排除后，驾驶员可以通过交互界面继续完成自动泊车。若一切正常，则驾驶员在界面中看到车辆沿着规划的停车路径成功入位。

进一步地，步骤1中，通过4颗鱼眼摄像头采集视频画面生成的全景图像直接显示在人机交互界面中，驾驶员可以通过全景图像实时观察车辆四周的环境及情况。

本发明还提供了一种基于全景图像及人机交互的自动泊车装置，包括全景环视图像生成单元、车载中控显示单元、服务器处理单元、路径规划模块、底层控制模块；其特征在于：

所述的服务器处理单元连接全景环视图像生成单元并与车载中控大屏双向连接；

全景环视图像生成单元包括4颗方位视场角至少为180°的鱼眼摄像头，前摄像头安装在车辆进气格栅车标下方，两侧摄像头安装车辆后视镜下方，后摄像头安装在牌照架上方，将拍摄到车辆前后左右四副广角图像处理生成显示车辆周围场景的360°无缝拼接的俯视图，并发送至服务器处理单元；

车载中控显示单元用于显示全景图像中的车位检测情况，其中空车位标记为蓝色框，非空车位标记为红色框；

路径规划模块利用车位检测中得到停车位与车辆的位置关系参数以及全景图像中得到避免碰撞的约束条件，根据车辆的轴距、最小转弯半径参数计算得到最优泊车路径；

底层控制模块根据一般自动泊车工况的低速要求设计车辆速度，再利用路径规划模块计算的最优泊车路径确定转向盘的转角，通过can总线传输到车辆的底层控制器，从而完成自动泊车整个过程。

进一步地，全景环视图像生成单元利用安装在车辆上的4颗方位视场角至少为180度的鱼眼摄像头采集的视频画面，通过鱼眼图像畸变校正、角点检测、逆透视变换、图像拼接、图像融合形成全景图像；其中：

鱼眼图像畸变校正是根据各鱼眼摄像头的内部结构和建立的畸变模型，标定得到摄像头参数和畸变矫正参数，得到从鱼眼图像到畸变矫正图像的映射关系；

角点检测是在各个鱼眼摄像头所抓取的图像中，检测标定布角点；

透视变换是根据测量场景得到的理想角点位置以及检测得到的实际角点位置，将来自不同鱼眼摄像头的图像，投影到同一坐标系下变成鸟瞰图，建立由矫正图到鸟瞰图的映射关系；

图像拼接是对来自相邻的摄像头转换得到的鸟瞰图中重叠区域进行特征点匹配，将车厢所有摄像头鸟瞰图拼接成车厢全景鸟瞰图，最后生成整车全景鸟瞰图与各摄像头鱼眼畸变图的映射关系，生成并保存查找表；

图像融合是在全景鸟瞰图中相邻摄像头图像接缝处，划定过渡区域，采用加权融合的方法，消除拼接缝；最终生成全景环视图像。

进一步地，服务器处理单元包括接口模块、图像处理模块。接口模块用于接收全景生成单元传输的全景图像和发送空车位检测结果至车载中控显示单元；图像处理模块包括车位检测子模块和空车位分类子模块；

车位检测子模块利用基于卷积神经网络的检测器检测车位的头部和标志点；然后再根据几何关系对标志点进行配对以确定入口线的两个可见端点，以及确定车位的方向；最后根据车位的类型、车位入口线的两个可见端点、车位的先验知识确定完整的车位；

空车位分类子模块用于将车位检测子模块检测到的车位进行正则化处理，然后利用基于卷积神经网络的分类器确定车位是否为空车位。

本发明的有益效果为：

1、由于本发明是基于人机交互的自动泊车，驾驶员的作用可以代替部分传感器的作用，如驾驶员可以自主判断搜索到的停车位是否可用等，可以大大减少自动泊车系统的成本。

2、由于本发明是基于全景图像实现的空车位检测方法，该方法利用基于卷积神经网络的检测器和分类器来实现空车位的检测，因此不需要像传统的基于超声波的车位识别方法那样需要车位两旁停有车辆，而仅需要有车位标志线。

3、由于本发明可以通过卷积神经网络的分类器直接区分已识别的车位是否是空车位，解决了由于目标停车位相邻停车位上的车辆停驻位置不规则导致寻找停车位失败的问题。

4、面对不同类型的停车位(垂直停车位、平行停车位、斜线停车位)车辆的起始停放位置不同。本发明可识别出不同的停车位类型，使车辆在自动泊车之前能按照规定的要求停放，进而顺利的实现自动泊车。

5、由于卷积神经网络强大的特征提取能力，本发明在不同复杂环境条件下(如室内反光路面，阴影，标志线不全，昏暗路灯等)均可以实现准确的定位并识别出空车位，具有很高的鲁棒性，确保了后期自动泊车的路径跟踪与控制的准确性。

6、由于停车位的定位准确，车辆与停车位的相对关系也是较为精准的，根据这些参数计算得到的最优泊车路径误差也是非常小的，而且由于路径只是一些圆弧、直线等简单线条组成，在自动泊车中更为精确实用。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述系统的总流程图；

图2为本发明实施例所述人机交互的原理图；

图3为本发明实施例所述全景视图中进行空车位检测的流程图；

图4为本发明实施例所述全景视图中进行空车位检测的原理图；

图5为本发明实施例所述全景环视图像生成流程图；

图6为本发明实施例所述完整车位检测流程图；

图7为本发明实施例所述车位头部类型和标志点图；

图8为本发明实施例所述最优路径生成原理图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，该实施例提供一种基于全景图像及人机交互的自动泊车方法，

步骤1、提供一个人机交互的界面，驾驶员启动自动泊车后，系统利用安装在车辆上的鱼眼摄像头采集的视频画面生成全景环视图像，并在全景图像中进行空车位检测与识别。

该步骤中，如图2所示，该实施例人机交互界面与自动泊车系统中其他模块都有关系，并在适当时进行通信显示及控制。通过4颗鱼眼摄像头采集视频画面生成的全景图像直接显示在人机交互界面中，驾驶员可以通过全景图像实时观察车辆四周的环境及情况。

步骤2、搜索到停车位时，界面提示驾驶员确认是否可以停车。

步骤3、当驾驶员确认是合适的停车位，开始进行路径规划，利用从全景检测中得到的精确的车位参数，再结合车辆自身的参数，精准地计算出路径规划中最优的停车路径。

该步骤中，当检测到停车位时，直接在人机交互界面上显示车位的方框，不同颜色线条的方框代表停车位是否是合适的停车位，驾驶员通过在界面上操作可以确认此时的停车位是否可以停车。

接下来系统可以进行路径规划，规划好的最优的停车路径直接显示在人机交互界面中，驾驶员可以在界面中实时观察自动泊车的整个过程。同时界面在这个过程中会提示驾驶员时刻注意周围情况或者突发状况。

步骤4、人机交互界面通过CAN网络信号与底层控制模块通讯，假如在自动泊车过程中有危险情况发生，驾驶员可以通过踩刹车立即中止自动泊车，以此来保证安全性。待危险排除后，驾驶员可以通过交互界面继续完成自动泊车。若一切正常，则驾驶员在界面中看到车辆沿着规划的停车路径成功入位。同时人机交互界面与车载中控大屏双向连接。

参照图3，利用安装在车辆上的4颗方位视场角至少为180°的鱼眼摄像头采集的视频画面生成全景环视图像，再结合多目标检测神经网络对车辆周围的停车位进行定位检测，将检测到的车位进行正则化后送入分类神经网络以确定车位是否为空车位，可以实现在各种恶劣环境条件下得到空车位检测与识别。

参照图4，该实施例还提供了一种基于全景图像的空车位检测系统，包括全景环视图像生成单元、服务器处理单元、车载中控显示单元。

所述的服务器处理单元连接全景环视图像生成单元并与车载中控大屏双向连接。

全景环视图像生成单元包括4颗方位视场角至少为180°的鱼眼摄像头，前摄像头安装在车辆进气格栅车标下方，两侧摄像头安装车辆后视镜下方，后摄像头安装在牌照架上方，将拍摄到车辆前后左右四副广角图像处理生成显示车辆周围场景的360°无缝拼接的俯视图，并发送至服务器处理单元。

车载中控显示单元：用于显示全景图像中的车位检测情况，其中空车位标记为蓝色框，非空车位标记为红色框。

参照图5，全景环视图像生成单元利用安装在车辆上的4颗方位视场角至少为180度的鱼眼摄像头采集的视频画面，通过鱼眼图像畸变校正、角点检测、逆透视变换、图像拼接、图像融合形成全景图像。

其中鱼眼图像畸变校正是根据各鱼眼摄像头的内部结构和建立的畸变模型，标定得到摄像头参数和畸变矫正参数，得到从鱼眼图像到畸变矫正图像的映射关系；角点检测是在各个鱼眼摄像头所抓取的图像中，检测标定布角点；透视变换是根据测量场景得到的理想角点位置以及检测得到的实际角点位置，将来自不同鱼眼摄像头的图像，投影到同一坐标系下变成鸟瞰图，建立由矫正图到鸟瞰图的映射关系；图像拼接是对来自相邻的摄像头转换得到的鸟瞰图中重叠区域进行特征点匹配，将车厢所有摄像头鸟瞰图拼接成车厢全景鸟瞰图，最后生成整车全景鸟瞰图与各摄像头鱼眼畸变图的映射关系，生成并保存查找表；图像融合是在全景鸟瞰图中相邻摄像头图像接缝处，划定过渡区域，采用加权融合的方法，消除拼接缝。最终生成全景环视图像。

所述的服务器处理单元包括接口模块、图像处理模块。

接口模块用于接收全景生成单元传输的全景图像和发送空车位检测结果至车载中控显示单元。

图像处理模块包括车位检测子模块和空车位分类子模块：

参照图6，该车位检测子模块，首先利用基于卷积神经网络的检测器检测车位的头部和标志点；然后再根据几何关系对标志点进行配对以确定入口线的两个可见端点，以及确定车位的方向；最后根据车位的类型、车位入口线的两个可见端点、车位的先验知识确定完整的车位。

本实施例中利用基于卷积神经网络的检测器检测车位的头部和标志点。

参照图7，全景图像采集的车位主要包含两个部分：“T型”或“L型”标志点和车位的头部。将车位的头部分为以下3类：“直角头部”，“锐角头部”和“钝角头部”。采用YOLOv3作为检测器检测上述全景图像中的四种目标。YOLOv3不仅具有很高的检测精度，也具有很好的实时性。YOLOv3在YOLOv2的基础上增加了多尺度预测，这对于标志点这样的小目标检测具有很好的效果。此外，YOLOv3采用了DarkNet-53作为后端去提取特征。DarkNet-53添加了残差网络的结构，具有更强的特征提取能力。在训练的过程中，本实施例首先将检测器的后端DarkNet-53在ImageNet上进行预训练，然后在车位数据集上进一步优化训练。

本实施例利用4个端点来表示一个完整的车位。其中两个可见端点可利用上述网络检测到的车位头部匹配得到，两个不可见端点可以根据车位的类型和先验知识推测得到。

该空车位分类子模块，首先将车位检测子模块检测到的车位进行正则化处理，然后利用基于卷积神经网络的分类器确定车位是否为空车位。

由于全景视图图像中的停车位通常是不完整的并且尺寸不同，因此需要规范化形式来最大化分类性能。利用透视变换技术将停车位统一变形为120×46像素尺寸大小，其中透视变换的源点为停车位的四个边界点，目标点为120×46像素的固定矩形的四个顶点。

本实例利用AlexNet模型来实现车位占据的分类。该AlexNet模型首先在ImageNet上进行预训练，然后在车位数据集中进行微调。

本实例最后利用路径规划模块和底层控制模块将车辆自动泊入所检测的空车位中。

所述的路径规划模块，利用车位检测中得到停车位与车辆的位置关系参数以及全景图像中得到避免碰撞的一些约束条件，接着根据车辆的轴距、最小转弯半径等参数计算得到一条最优的泊车路径。

为了得到路径规划中最优的自动泊车路径，使用圆弧与圆弧或者圆弧与直线相接的方法，如图8所示，在全景图像中检测出车位中心点距离车辆中心点的横坐标与纵坐标以及避免碰撞的约束条件，通过自定义的车辆轴距、最小转弯半径等参数，首先设计出车辆的角速度，再根据泊车的低速标准设计出车辆的线速度，可以计算出最实用的适合自动泊车的最优路径。

所述的底层控制模块，根据一般自动泊车工况的低速要求设计车辆速度，再利用路径规划模块计算的最优路径确定转向盘的转角，通过can总线传输到车辆的底层控制器，从而完成自动泊车整个过程。假如在自动泊车过程中有意外情况发生，驾驶员可以通过踩刹车立即中止自动泊车，以此来保证安全性。待意外排除后，驾驶员可以通过交互界面继续启动自动泊车。若一切正常，则驾驶员在界面中看到车辆沿着规划的停车路径成功入位。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内像。

Claims (5)

1.一种基于全景图像及人机交互的自动泊车方法，其特征在于：

步骤1、提供一个人机交互的界面，驾驶员启动自动泊车后，系统利用安装在车辆上的鱼眼摄像头采集的视频画面生成全景环视图像，并在全景图像中进行空车位检测与识别；

步骤2、搜索到停车位时，界面提示驾驶员确认是否可以停车；

步骤3、当驾驶员确认是合适的停车位，开始进行路径规划，利用从全景检测中得到的精确的车位参数，再结合车辆自身的参数，精准地计算出路径规划中最优的停车路径；在检测到停车位时，直接在人机交互界面上显示车位的方框，不同颜色线条的方框可以代表停车位是否合适可用，驾驶员通过在界面上操作确认此时的停车位是否能够停车；

步骤4、人机交互界面通过CAN网络信号与底层控制模块通讯，假如在自动泊车过程中有危险情况发生，驾驶员可以通过踩刹车立即中止自动泊车，以此来保证安全性。待危险排除后，驾驶员可以通过交互界面继续完成自动泊车。若一切正常，则驾驶员在界面中看到车辆沿着规划的停车路径成功入位。

2.根据权利要求1所述的基于全景图像及人机交互的自动泊车方法，其特征在于：步骤1中，通过4颗鱼眼摄像头采集视频画面生成的全景图像直接显示在人机交互界面中，驾驶员可以通过全景图像实时观察车辆四周的环境情况。

3.一种基于全景图像及人机交互的自动泊车装置，包括全景环视图像生成单元、车载中控显示单元、服务器处理单元、路径规划模块、底层控制模块；其特征在于：

所述的服务器处理单元连接全景环视图像生成单元并与车载中控大屏双向连接；

全景环视图像生成单元包括4颗方位视场角至少为180°的鱼眼摄像头，前摄像头安装在车辆进气格栅车标下方，两侧摄像头安装车辆后视镜下方，后摄像头安装在牌照架上方，将拍摄到车辆前后左右四副广角图像处理生成显示车辆周围场景的360°无缝拼接的俯视图，并发送至服务器处理单元；

车载中控显示单元用于显示全景图像中的车位检测情况，其中空车位标记为蓝色框，非空车位标记为红色框；

路径规划模块利用车位检测中得到停车位与车辆的位置关系参数以及全景图像中得到避免碰撞的约束条件，根据车辆的轴距、最小转弯半径参数计算得到最优泊车路径；

底层控制模块根据一般自动泊车工况的低速要求设计车辆速度，再利用路径规划模块计算的最优泊车路径确定转向盘的转角，通过can总线传输到车辆的底层控制器，从而完成自动泊车整个过程。

4.根据权利要求3所述的基于全景图像及人机交互的自动泊车装置，其特征在于：

全景环视图像生成单元利用安装在车辆上的4颗方位视场角至少为180度的鱼眼摄像头采集的视频画面，通过鱼眼图像畸变校正、角点检测、逆透视变换、图像拼接、图像融合形成全景图像；其中：

鱼眼图像畸变校正是根据各鱼眼摄像头的内部结构和建立的畸变模型，标定得到摄像头参数和畸变矫正参数，得到从鱼眼图像到畸变矫正图像的映射关系；

角点检测是在各个鱼眼摄像头所抓取的图像中，检测标定布角点；

透视变换是根据测量场景得到的理想角点位置以及检测得到的实际角点位置，将来自不同鱼眼摄像头的图像，投影到同一坐标系下变成鸟瞰图，建立由矫正图到鸟瞰图的映射关系；

图像拼接是对来自相邻的摄像头转换得到的鸟瞰图中重叠区域进行特征点匹配，将车厢所有摄像头鸟瞰图拼接成车厢全景鸟瞰图，最后生成整车全景鸟瞰图与各摄像头鱼眼畸变图的映射关系，生成并保存查找表；

图像融合是在全景鸟瞰图中相邻摄像头图像接缝处，划定过渡区域，采用加权融合的方法，消除拼接缝；最终生成全景环视图像。

5.根据权利要求3所述的基于全景图像及人机交互的自动泊车装置，其特征在于：

服务器处理单元包括接口模块、图像处理模块。接口模块用于接收全景生成单元传输的全景图像和发送空车位检测结果至车载中控显示单元；

图像处理模块包括车位检测子模块和空车位分类子模块；

车位检测子模块利用基于卷积神经网络的检测器检测车位的头部和标志点；然后再根据几何关系对标志点进行配对以确定入口线的两个可见端点，以及确定车位的方向；最后根据车位的类型、车位入口线的两个可见端点、车位的先验知识确定完整的车位；

空车位分类子模块用于将车位检测子模块检测到的车位进行正则化处理，然后利用基于卷积神经网络的分类器确定车位是否为空车位。

Images