CN109766757B - 一种融合车辆和视觉信息的泊车位高精度定位方法及系统 - Google Patents

Abstract

本发明涉及一种融合车辆和视觉信息的泊车位高精度定位方法及系统，所述方法包括步骤，通过图像采集模块采集的车辆运动过程图像信息获取视觉里程计信息；通过车辆运动信息推算航位信息，将所述航位信息与视觉里程计信息验证以过滤异常的航位信息，以通过航位信息计算并输出车辆位姿信息；通过车辆位姿信息获取目标车位在全景环视图像的感兴趣检测区域，并通过视觉检测模块对感兴趣检测区域进行车位检测以确定目标车位。本发明通过将车辆的运动信息与视觉里程计信息进行融合以获取车辆位姿信息，同时通过视觉检测模块实时检测目标车位，从而对泊车过程中的目标车位进行高精度定位，大大提高了泊车过程中目标车位的定位精度。

Description

一种融合车辆和视觉信息的泊车位高精度定位方法及系统

技术领域

本发明涉及泊车技术领域，特别是涉及融合车辆和视觉信息的泊车位高精度定位方法及系统。

背景技术

随着汽车保有量的增加，泊车环境越来越复杂，自动泊车技术存在巨大的市场需求，但现有的自动泊车系统感知模块大多只采用多超声波技术，存在场景局限，无法精确定位等缺点。且传统泊车方式只能根据车辆位姿估算目标车位位置，因此，车辆与目标车位的定位不是很准确。而汽车智能化技术的飞速发展使基于摄像头的机器视觉技术用来辅助泊车系统成为可能，为了可以位姿准确地泊入目标车位，以增加视觉模块可有效的填补超声波检测方式的不足，在泊车过程中提高车辆与目标车位的定位精度。

发明内容

本发明为克服上述现有技术所述的不足，提供融合车辆和视觉信息的泊车位高精度定位方法及系统。

为解决上述技术问题，本发明的技术方案如下：

一种融合车辆和视觉信息的泊车位高精度定位方法，包括如下步骤：

通过图像采集模块采集的车辆运动过程图像信息获取视觉里程计信息；

通过车辆运动信息推算航位信息，将所述航位信息与视觉里程计信息验证以过滤异常的航位信息，以通过航位信息计算并输出车辆位姿信息；

通过车辆位姿信息获取目标车位在全景环视图像的感兴趣检测区域，并通过视觉检测模块对感兴趣检测区域进行车位检测以确定目标车位。

进一步的，作为优选技术方案，还包括如下步骤：

当车辆移动距离超过预设距离时，执行对车辆运动信息的复位操作，并在所述复位操作完成前根据视觉里程计信息计算并输出车辆位姿信息。

进一步的，作为优选技术方案，还包括如下步骤：

通过目标车位与图像采集模块之间的位置关系对车辆位姿信息进行修正，并将目标车位及车辆位姿信息实时标注在电子地图上。

进一步的，作为优选技术方案，所述电子地图为以泊车开始时刻车辆的位置作为绝对坐标零点所建立的世界坐标系。

进一步的，作为优选技术方案，所述车辆位姿信息包括车辆在电子地图中的坐标位置和方向。

进一步的，作为优选技术方案，所述视觉里程计信息即为车辆航位信息，所述视觉里程计信息的获取具体包括：

通过根据图像采集模块的单路摄像头获取的车辆运动过程相邻图像间的相似性计算图像特征点从而得到图像采集模块运动信息，即为视觉里程计信息。

进一步的，作为优选技术方案，对感兴趣检测区域进行车位检测包括：

视觉检测模块对感兴趣检测区域内的图像信息进行畸变校正，逆透视变换以生成俯视图；并对所述俯视图中的车位线进行检测，对车位顶点特征进行提取和特征匹配从而确定目标车位。

进一步的，作为优选技术方案，所述车辆运动信息包括：车辆惯性导航信息、车辆档位、轮速以及方向盘转角。

融合车辆和视觉信息的泊车位高精度定位系统，包括车辆信息采集模块、图像采集模块、视觉里程计模块、视觉检测模块以及信息融合模块；

所述信息采集模块、图像采集模块、视觉里程计模块以及视觉检测模块分别与信息融合模块连接，所述图像采集模块分别与视觉里程计模块以及视觉检测模块连接；

所述车辆信息采集模块用于从CAN总线上获取车辆运动信息并传送至信息融合模块；

所述图像采集模块用于采集车辆运动过程图像信息并对图像信息进行处理以得到以车辆为中心的全景环视图并传送至信息融合模块；

所述视觉里程计模块用于根据图像采集模块采集的车辆运动过程图像信息获取视觉里程计信息；

所述视觉检测模块用于对通过车辆位姿信息获取目标车位在全景环视图像的感兴趣检测区域进行车位检测以确定目标车位

所述信息融合模块用于将车辆运动信息与视觉里程计信息进行融合以得到车辆位姿信息。

进一步的，作为优选技术方案，所述车辆运动信息包括惯性导航信息、档位、轮速以及方向盘转角；所述图像采集模块包括安装在车辆前、后、左、右的四路摄像头以及与四路摄像头连接对四路摄像头采集的图像信息进行处理的图像处理单元。

与现有技术相比，本发明技术方案的有益效果是：

通过将车辆的运动信息与视觉里程计信息进行融合以获取车辆位姿信息，同时通过视觉检测模块实时检测目标车位，从而对泊车过程中的目标车位进行高精度定位，大大提高了泊车过程中目标车位的定位精度。同时，通过融合得到的车辆位姿信息建立用于泊车的全局世界坐标系的电子地图，实时确定车辆与目标车位在世界坐标系中位置，为泊车控制模块提供依据，解决了在泊车过程中目标车位仅靠航位推算精度不高的问题。

附图说明

图1为本发明原理框图。

图2为本发明步骤流程图。

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的；相同或相似的标号对应相同或相似的部件；附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征更易被本领域技术人员理解，从而对本发明的保护范围作出更为清楚的界定。

实施例1

一种融合车辆和视觉信息的泊车位高精度定位系统，如图1所示，包括车辆信息采集模块、图像采集模块、视觉里程计模块、视觉检测模块以及信息融合模块。

车辆信息采集模块、图像采集模块、视觉里程计模块以及视觉检测模块分别与信息融合模块连接，图像采集模块分别与视觉里程计模块以及视觉检测模块连接。

在本发明中，

车辆信息采集模块用于从CAN总线上获取车辆运动信息并传送至信息融合模块，即车辆信息采集模块用于采集CAN总线信息中的多种信息，包括惯性导航信息、车辆档位、轮速、方向盘转角等，这些信息即为车辆运动信息。

图像采集模块用于采集车辆运动过程图像信息并对图像信息进行处理以得到以车辆为中心的全景环视图并传送至信息融合模块，其包括安装在车辆前、后、左、右的四路摄像头以及与四路摄像头连接对四路摄像头采集的图像信息进行处理的图像处理单元。

视觉里程计模块用于根据图像采集模块采集的车辆运动过程图像信息获取视觉里程计信息，其原理是利用相邻图像间的相似性计算图像特征点从而来估计图像采集模块的运动信息，即车辆航位信息；而在本发明中，视觉里程计模块仅通过采用图像采集模块的单路摄像头获取的车辆运动过程相邻图像间的相似性计算图像特征点从而得到相应摄像头的运动信息，即为视觉里程计信息，同时为通过图像采集模块获取的车辆航位信息。由于本发明是对车位进行检测，因此，通过图像采集模块的后路摄像头采集的图像计算更为直观，效果更佳。

视觉检测模块用于对目标车位在全景环视图像的感兴趣检测区域进行车位检测以确定目标车位，而感兴趣检测区域是根据车辆位姿信息给目标车位的车位检测所提供的；确定感兴趣检测区域后，视觉检测模块对感兴趣检测区域内的图像信息进行逆透视变换以得到感兴趣检测区域的俯视图，再对该俯视图进行目标车位的视觉检测。

信息融合模块用于将车辆运动信息与视觉里程计信息进行融合以得到车辆位姿信息。最后将车辆位姿信息以及目标车位实时标注在电子地图上。其中，车辆位姿信息包括车辆在电子地图中的坐标位置和方向。

实施例2

一种融合车辆和视觉信息的泊车位高精度定位方法，如图2所示，包括如下步骤：

S10. 通过图像采集模块采集的车辆运动过程图像信息获取视觉里程计信息。

在本步骤中，由于图像采集模块包括安装在车辆前、后、左、右的四路摄像头以及与四路摄像头连接对四路摄像头采集的图像信息进行处理的图像处理单元；因此视觉里程计信息的获取具体包括：

通过根据图像采集模块的单路摄像头获取的车辆运动过程相邻图像间的相似性计算图像特征点从而得到相应摄像头的运动信息，该摄像头的运动信息即为视觉里程计信息，而视觉里程计信息即为车辆航位信息，由于本发明是对车位进行检测，因此，通过图像采集模块的后路摄像头采集的图像计算更为直观，效果更佳。

其中，相邻图像为视觉里程计模块的视觉里程计算法接收的后路摄像头连续帧图像；计算图像特征点具体为，计算具有代表性的特征点，将特征点匹配好后，通过得到的一一对应的像素点集估计后路摄像头的运动。

与此同时，在本步骤中，图像采集模块的图像处理单元还将四路摄像图采集的车辆运动过程图像信息进行处理以得到以车辆为中心的全景环视图。

而本步骤还包括：

通过车辆信息采集模块获取车辆运动信息，其中，车辆运动信息包括车辆档位，轮速，方向盘转角等，其具体为：车辆自身的各种传感器采集与之匹配的车辆的各种信息并传输至CAN总线，启动本发明的定位系统后，从CAN总线上获取所需要的车辆运动信息，而这些车辆运动信息也为CAN总线的信息中的多种。

且在执行本步骤之前，需先以泊车开始时刻车辆的位置作为绝对坐标零点所建立的世界坐标系下的电子地图。

S20. 通过车辆运动信息推算航位信息，将所述航位信息与视觉里程计信息验证以过滤异常的航位信息，以通过航位信息计算并输出车辆位姿信息。

而，进一步的，当车辆移动距离超过预设距离时，执行对车辆运动信息的复位操作，并在所述复位操作完成前根据视觉里程计信息计算并输出车辆位姿信息。

在本步骤是用于将车辆运动信息与视觉里程计信息进行相互融合以得到车辆位姿信息的过程，同时，由于车辆运动信息主要用于推算车辆航位信息，即借助于先前已知位置，车辆档位，轮速，方向盘转角等的数据估计出的车辆当前的速度随时间的变化量来推导出当前位置的过程，因此，随着车辆移动的时间或距离的增加，其推导出的数据的误差也在增加，因此惯性导航系统设定在车辆距离超过预设距离时会有复位操作，而在该复位过程中其视觉里程计信息计算车辆位姿信息。

其中，车辆位姿信息包括车辆在电子地图中的坐标位置和方向。

S30. 通过车辆位姿信息获取目标车位在全景环视图像的感兴趣检测区域，并通过视觉检测模块对感兴趣检测区域进行车位检测以确定目标车位。

获取目标车位在全景环视图像的感兴趣检测区域，即根据泊车位检测参数推算出目标车位可能在以车辆为中心的环视图像上的大致范围。在本步骤，由于已知世界坐标系建立时刻的车辆位姿以及目标车位在全景环视图上的位置，因此，需结合上步骤获取的车辆位姿先预估出目标车位的感兴趣区域，再对该感兴趣区域进行车位检测，而仅对感兴趣检测区域进行车位检测，这样可减少视觉检测模块的计算范围，不仅减少了计算量，而且有效避免了其他干扰线的影响，有效的提高目标车位的检出率和可靠性。

而对感兴趣检测区域进行车位检测包括：

确定感兴趣检测区域后，视觉检测模块对接收到的图像采集模块所采集的图像信息中的感兴趣检测区域内的图像信息进行畸变校正，逆透视变换以生成俯视图，并对俯视图中的车位线进行检测，通过相关的特征识别算法对车位顶点特征进行提取，并进行特征匹配从而确定目标车位。

同时，本步骤还包括，通过目标车位与图像采集模块之间的位置关系对车辆位姿信息进行修正，并将目标车位及车辆位姿信息实时标注在电子地图上。

其位置关系包括目标车位的坐标与后路摄像头间的夹角等情况。

最后，将电子地图上的所有信息实时反馈给下一步泊车控制模块，而在自动泊车过程中实时反馈目标车位信息，有助于泊车控制模块实时修正泊车路径，以便提高泊车最终位置的可靠性和准确性。同时，通过视觉检测模块配合车辆位姿信息在泊车过程中提高了车辆和目标车位的定位精度，且，视觉检测模块实时检测目标车位，从而提高了泊车效率和泊车精度。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种融合车辆和视觉信息的泊车位高精度定位方法，其特征在于，包括如下步骤：

通过图像采集模块采集的车辆运动过程图像信息获取视觉里程计信息；

通过车辆运动信息推算航位信息，将所述航位信息与视觉里程计信息验证以过滤异常的航位信息，以通过航位信息计算并输出车辆位姿信息；

通过车辆位姿信息获取目标车位在全景环视图像的感兴趣检测区域，并通过视觉检测模块对感兴趣检测区域进行车位检测以确定目标车位；

通过目标车位与图像采集模块之间的位置关系对车辆位姿信息进行修正，并将目标车位及车辆位姿信息实时标注在电子地图上。

2.根据权利要求1所述的融合车辆和视觉信息的泊车位高精度定位方法，其特征在于，还包括如下步骤：

当车辆移动距离超过预设距离时，执行对车辆运动信息的复位操作，并在所述复位操作完成前根据视觉里程计信息计算并输出车辆位姿信息。

3.根据权利要求1所述的融合车辆和视觉信息的泊车位高精度定位方法，其特征在于，所述电子地图为以泊车开始时刻车辆的位置作为绝对坐标零点所建立的世界坐标系。

4.根据权利要求3所述的融合车辆和视觉信息的泊车位高精度定位方法，其特征在于，所述车辆位姿信息包括车辆在电子地图中的坐标位置和方向。

5.根据权利要求1所述的融合车辆和视觉信息的泊车位高精度定位方法，其特征在于，所述视觉里程计信息即为车辆航位信息，所述视觉里程计信息的获取具体包括：

通过根据图像采集模块的单路摄像头获取的车辆运动过程相邻图像间的相似性计算图像特征点从而得到图像采集模块运动信息，即为视觉里程计信息。

6.根据权利要求1所述的融合车辆和视觉信息的泊车位高精度定位方法，其特征在于，对感兴趣检测区域进行车位检测包括：

视觉检测模块对感兴趣检测区域内的图像信息进行畸变校正，逆透视变换以生成俯视图；并对所述俯视图中的车位线进行检测，对车位顶点特征进行提取和特征匹配从而确定目标车位。

7.根据权利要求1所述的融合车辆和视觉信息的泊车位高精度定位方法，其特征在于，所述车辆运动信息包括：车辆惯性导航信息、车辆档位、轮速以及方向盘转角。

8.融合车辆和视觉信息的泊车位高精度定位系统，其特征在于，采用权利要求1-7任一项所述的一种融合车辆和视觉信息的泊车位高精度定位方法实时对泊车过程中的目标车位进行高精度定位，所述系统包括车辆信息采集模块、图像采集模块、视觉里程计模块、视觉检测模块以及信息融合模块；

所述车辆信息采集模块、图像采集模块、视觉里程计模块以及视觉检测模块分别与信息融合模块连接，所述图像采集模块分别与视觉里程计模块以及视觉检测模块连接；

所述车辆信息采集模块用于从CAN总线上获取车辆运动信息并传送至信息融合模块；

所述图像采集模块用于采集车辆运动过程图像信息并对图像信息进行处理以得到以车辆为中心的全景环视图并传送至信息融合模块；

所述视觉里程计模块用于根据图像采集模块采集的车辆运动过程图像信息获取视觉里程计信息；

所述视觉检测模块用于对通过车辆位姿信息获取目标车位在全景环视图像的感兴趣检测区域进行车位检测以确定目标车位

所述信息融合模块用于将车辆运动信息与视觉里程计信息进行融合以得到车辆位姿信息。

9.根据权利要求8所述的融合车辆和视觉信息的泊车位高精度定位系统，其特征在于，所述车辆运动信息包括惯性导航信息、档位、轮速以及方向盘转角；所述图像采集模块包括安装在车辆前、后、左、右的四路摄像头以及与四路摄像头连接对四路摄像头采集的图像信息进行处理的图像处理单元。