CN103171552A - 基于avm俯视图的停车辅助系统 - Google Patents

Abstract

本发明涉及一种使用AVM（全景监测）的基于AVM俯视图的停车辅助系统，可包括：摄像机单元，其包括AVM并且使用AVM拍摄并获得车辆周围的图像，且将所获得的图像转换并合成为俯视图像；停车位识别单元，其通过周期性地接收由摄像机单元产生的俯视图像，并且使用图像识别技术比较可按顺序连续的俯视图像，而识别停车位；控制单元，其接收来自车辆的各传感器的车辆行驶信息，并且基于车辆行驶信息，关于由停车位识别单元识别的停车位，确定并产生停车路径；以及停车辅助单元，其接收车辆的转向信息，并将控制单元中产生的停车路径的显示转换成与转向信息对应。

Description

基于AVM俯视图的停车辅助系统

技术领域

本发明涉及基于全景监测（AVM）俯视图的停车辅助系统，且更具体地，涉及一种基于AVM俯视图的停车辅助系统，其通过使用安装在车辆的前、后、左、右部的AVM摄像机拍摄车辆周围的图像，并将所拍摄的图像转换成俯视图模式，以便识别车辆周围的停车分隔标记，并且通过连续图像记录来识别可用停车位以及车辆的移动轨迹，而根据停车轨迹向驾驶者提供最佳停车位置。

背景技术

通常，乘坐在车辆内部的驾驶者的视野被配置成主要面向前侧。因此，由于相当大部分的驾驶者两侧和后侧的视野被车身覆盖，所以两侧和后侧的视野受到限制。

为了解决上述问题，已普遍使用包括镜子的视野辅助装置（例如，后视镜），来补充驾驶者有限的视野范围，并且近年来，包括有拍摄车辆的外部图像并将所拍摄的外部图像提供至驾驶者端的摄像机装置的技术已应用于车辆。

在这些技术当中，目前存在通过安装环绕车辆的多个摄像机而显示环绕车辆的360°，即所有方向的图像的全景监测（AVM）系统。已知的技术配置成通过安装用于拍摄车辆周围区域的多个摄像机，并将由多个摄像机拍摄的环绕车辆的全向图像提供给驾驶者，来解决车辆周围的死区问题。

然而，AVM系统仅提供将车辆周围的图像显示给驾驶者的功能，并且因为驾驶者在停车时，应根据经AVM系统提供的图像直接判断停车情况，所以AVM系统无法辅助停车。

在本背景技术部分中所公开的信息仅用于增强对本发明一般背景的理解，而不应被视为承认或以任何形式暗示该信息形成本领域技术人员已知的现有技术。

发明内容

本发明的不同方面涉及提供一种使用安装在车辆的前、后、左、右部的全景监测（AVM）摄像机的停车辅助系统，且更具体地，涉及一种基于AVM俯视图的停车辅助系统，其使用安装在车辆上的四个摄像机获得车辆周围的图像，通过将所获得的图像转换成俯视图（鸟瞰图）而识别停车环境下的周围停车分隔标记，并且通过当时记录连续的图像而识别可用停车位以及车辆的移动轨迹，从而通过考虑停车轨迹向驾驶者提供最佳停车位置。

在本发明的一方面，使用AVM的基于AVM（全景监测）俯视图的停车辅助系统可包括：摄像机单元，其包括AVM并且使用AVM拍摄并获得车辆周围的图像，且将所获得的图像转换并合成为俯视图像；停车位识别单元，其通过周期性地接收由摄像机单元产生的俯视图像，并且使用图像识别技术比较按顺序连续的俯视图像，而识别停车位；控制单元，其接收来自车辆的各传感器的车辆行驶信息，并且基于车辆行驶信息，关于由停车位识别单元识别的停车位，确定并产生停车路径；以及停车辅助单元，其接收车辆的转向信息，并将控制单元中产生的停车路径的显示转换成与转向信息对应。

基于AVM俯视图的停车辅助系统还可包括超声波传感器单元，其包括超声波传感器并且通过超声波传感器识别停车位，其中超声波传感器单元与停车位识别单元互锁，并且其中停车位识别单元还将超声波传感器单元的数据用于识别停车位。

停车位识别单元使用图像识别技术提取连续图像的特征点，匹配两幅连续图像的特征点，删除不匹配的特征点，并且匹配有效特征点以识别停车位。

控制单元通过将车辆行驶信息与由停车位识别单元识别的停车位相匹配，通过考虑停车轨迹和前后移动的次数，来确定停车位置。

控制单元通过判断周期性地接收到的俯视图像中的差异，来确定在停车位内是否存在障碍物。

根据本发明的示例性实施例，使用AVM系统获得车辆周围的图像，并将图像转换成俯视图像，从而实时地识别车辆周围的情况，并且识别车辆周围甚至任何方向的停车位。

此外，连续地拍摄和记录车辆周围的图像，并将连续的图像相互比较以识别停车位和停车线，而且示出车辆通过的路径，并基于此显示最佳停车位，从而提高停车的可靠性并提高准确性。

另外，向驾驶者提供基于俯视图的图像，并提供且可视化停车过程，从而提高停车辅助系统的稳定性。

本发明的方法和装置具有其他特征和优点，这些特征和优点从文中结合的附图和以下具体实施方式中将清晰可见或在其中得以更详细地阐明，附图和具体实施方式共同用于说明本发明的特定原理

附图说明

图1是示出根据本发明的示例性实施例的基于AVM俯视图的停车辅助系统的配置的框图。

图2示出由AVM拍摄的车辆周围的图像。

图3是示出将车辆周围的图像转换成俯视型图像的虚拟建模的模拟图。

图4示出通过虚拟摄像机建模的转换和合成所获得的俯视型图像。

图5至图8示出停车位识别单元的停车位识别过程。

图9是示出通过重复步骤而搜索和设定停车位的结构的平面图。

图10示出图9的搜索和设定停车位的示例性实施例。

图11示出本发明的另一示例性实施例。

应当理解的是，附图不必要按比例绘制，而是呈现出说明本发明的基本原理的各种特征的某种程度的简化表现形式。本文中所公开的包括例如具体尺寸、方向、位置和形状的本发明的具体设计特征将部分地由特定预期的应用和使用环境来确定。

在图中，贯穿附图的多幅图中，相同的附图标记表示本发明的相同或等同的部件。

具体实施方式

现在将详细参考本发明的各种实施方式，其实例在附图中示出并在以下予以说明。尽管将结合示例性实施方式说明本发明，然而将会理解的是，本说明并非意在将本发明限制于这些示例性实施方式。相反地，本发明意在不仅涵盖这些示例性实施方式，而且涵盖可包括在由所附权利要求所限定的本发明的精神和范围内的各种替换形式、改型、等效形式和其他实施方式。

以下，将参照附图详细说明本发明的示例性实施例。

图1是示出根据本发明的示例性实施例的基于AVM俯视图的停车辅助系统的配置的框图，并且图2示出由AVM拍摄的车辆周围的图像。

根据本发明的示例性实施例的基于AVM俯视图的停车辅助系统包括用于识别车辆周围的停车位的摄像机单元10。

根据本发明的示例性实施例的摄像机单元10可包括公知的全景监测仪（AVM）。

如图2中所示，AVM是提供以下优势的公知的装置：其通过安装多个摄像机装置，通过在车辆的所有方向上拍摄车辆周围的区域而获得图像，并将通过多个摄像机装置拍摄的图像提供给驾驶者，而确保环绕车辆的视野并且解决驾驶者难以看到的死区的问题。

在本发明的示例性实施例中，AVM可优选地包括公知的广角摄像机。因此，可通过AVM在所有方向上，即360°视角拍摄车辆周围的图像。

同时，如上所述，通过AVM拍摄的车辆周围的图像，由控制AVM的控制单元30（可包括在AVM内）进行图3中所示的虚拟摄像机建模，并被转换和合成为俯视图，即鸟瞰图，以便转换成图4中所示的2D平面图像。

因此，AVM的控制单元30可通过对车辆周围区域的图像进行图像处理，通过观看从车辆上方观看的视野内的车辆周围的图像，而获得俯视型图像。

根据本发明的示例性实施例的停车辅助系统使用如上所述获得的俯视型图像，来识别停车位置并辅助停车。

当通过摄像机单元10获得车辆周围的俯视图像时，停车位识别单元20通过俯视图像识别停车位。

图5至图8中示出停车位识别单元20的停车位识别过程。

如图5中所示，控制单元30将AVM所拍摄的图像转换成俯视型，以连续并周期性地获得车辆周围的俯视图像。控制单元30将如上所述获得的车辆周围的俯视图像相互比较。

在此情况下，停车位识别单元20将周期性输入的图像当中的两幅连续的图像相互比较，以识别停车位并识别车辆轨迹。这里，使用公知的图像识别技术。

公知的角点检测技术可用于比较两幅连续的图像。在图像识别过程中，作为提取并识别包括在图像中的物体的角点的公知技术的角点检测技术，被用于判断连续图像之间的差异。

具体地，因为角点信息在例如图像处理和识别领域中的形状或跟踪领域内是重要的参考点，所以根据本发明的示例性实施例，使用角点检测技术提取主特征点，以便识别连续拍摄的车辆周围的俯视型图像。

在本发明的示例性实施例中，可使用角点检测技术中最具代表性的Harris角点检测技术。然而，显然本发明的示例性实施例并不限于此。

如图6中所示，当提取了两幅连续图像的主特征点时，控制单元30相互匹配并比较两个连续的特征点。

公知的归一化互相关（NCC）技术用于匹配两个连续的特征点。

NCC技术是将两幅要相互比较的、根据环境可发生改变的图像归一化，以便相互比较两幅图像的技术，并且本发明的控制单元30使用NCC技术，以便归一化并且比较通过车辆移动而发生改变的两幅连续的图像。

在这种情况下，优选地，控制单元30使用两幅连续图像的特征点周围的7×7的四边形区域内的像素的亮度值作为特征点的描述符，且通过使用NCC技术将图像归一化而将各特征点相互匹配，并可测量两幅图像之间的相似性。

如上所述，当两幅连续的归一化图像的各特征点相互匹配时，如图7中所示，执行删除不匹配特征点的步骤。

在这种情况下，执行通过相似变换模型提取两幅连续图像之间的位移差异和角度差异，并且通过随机抽样一致性（RANSAC）技术删除不匹配的特征点以便仅比较有效的特征点的步骤。RANSAC技术是通过重复操作，从包括虚假信息（本发明的示例性实施例中的不匹配的特征点）的一系列数据的集中预测数学模型因子的公知技术，并且根据本发明的示例性实施例的控制单元30可通过RANSAC技术识别并删除不匹配的特征点。

当如上所述删除不匹配的特征点并选择有效的特征点时，如图8中所示，执行基于预测的有效特征点匹配图像的步骤。即，在连续执行图5至图7的步骤的同时，随着车辆的移动，持续匹配连续的图像，从而识别车辆的移动轨迹并估算车辆的位置。

图9是示出通过重复步骤而搜索和设定停车位的结构的平面图，并且图10示出图9的搜索和设定停车位的示例性实施例。

如上所述，当采用根据本发明的示例性实施例的基于AVM俯视图的停车辅助系统的车辆在停车场中移动时，通过实时地拍摄俯视型图像而比较连续的图像，以便识别停车位。在这种情况下，如图9中所示，当在车辆的俯视图像的范围内识别出停车位时，停车位识别单元20基于连续记录的图像识别车道，以计算道路宽度和停车区域。

在这种情况下，控制单元30可从车辆内设置的各种传感器接收车辆行驶信息，以便产生停车轨迹。在这种情况下，所接收的信息可包括，例如，车速、车轮脉动、SAS等等。

当如图9中所示连续地记录所拍摄的图像时，根据车辆的移动轨迹记录图像，并且如图10中所示，停车位识别单元20基于图像识别车道，并且控制单元30计算停车区域。在这种情况下，可使用不同的图像来判断停车位内的障碍物，并且控制单元30可通过考虑车辆位置与所识别的停车位的相对位置来选择合适的停车位，并向驾驶者显示最佳停车位置且提供所显示的最佳停车位置。即，控制单元30在被选作停车位的候选停车位当中，通过考虑停车轨迹和前后移动的次数，来计算最佳停车位置，并且通过下述停车辅助单元40向驾驶者显示并提供所计算的位置，从而辅助驾驶者停车。

图1中的停车辅助单元40通过如上所述的人机界面（HMI）向驾驶者提供来自控制单元30的停车路径集。

即，如图中所示，停车辅助单元40用于通过接收各种车辆行使信息，即关于档位、车速、MDPS扭矩、SPAS开关等的信息，将如上所述来自控制单元30的停车路径集转换并显示为与行驶信息相对应。

因此，停车辅助单元40可向驾驶者显示并提供，通过由控制单元30计算的停车路径，从当前车辆位置至最佳停车位的车辆移动轨迹，即停车路径。

图11示出本发明的另一示例性实施例。

在本发明的另一示例性实施例中，如图中所示，停车位识别单元20可与包括有使用公知的超声波传感器的SPAS系统的超声波传感器单元50互锁。换言之，当与超声波传感器单元互锁时，在搜索停车位和识别停车位内的障碍物时，超声波传感器单元的数据被用于识别可用的停车分隔以及识别障碍物，从而提高准确性和快速性。在本示例性实施例中，控制单元和停车辅助单元被配置成执行与图1中的控制单元30和停车辅助单元40相同的功能。

虽然已详细说明了根据本发明的示例性实施例的基于AVM俯视图的停车辅助系统，但是仅给出了用以帮助理解本发明的特定实例，而并不意在限制本发明的范围。除了本文中公开的示例性实施例以外，对于本发明相关领域的技术人员而言，显然还能够做出基于本发明的精神的其他变型例。

为了例示和说明的目的，已经给出了关于本发明的具体示例性实施例的前述说明。该说明并非意在穷举或将本发明限制于所公开的确切形式，而且在上述教导的启示之下，显然多种改型和变化是可能的。选择和说明示例性实施例是为了解释本发明的特定原理及其实际应用，从而使本领域技术人员能够实现和利用本发明的各种示例性实施例及其各种替代形式和改型。意在由所附权利要求及其等效形式来限定本发明的范围。

Claims (5)

1.一种使用AVM（全景监测）的基于AVM俯视图的停车辅助系统，包栝：

摄像机单元，其包括所述AVM并且使用所述AVM拍摄并获得车辆周围的图像，并且将所获得的图像转换并合成为俯视图像；

停车位识别单元，其通过周期性地接收由所述摄像机单元产生的俯视图像，并且使用图像识别技术比较按顺序连续的俯视图像，来识别停车位；

控制单元，其接收来自车辆的各传感器的车辆行驶信息，并且基于所述车辆行驶信息，关于由所述停车位识别单元识别的所述停车位，确定并产生停车路径；以及

停车辅助单元，其接收车辆的转向信息，并将所述控制单元中产生的所述停车路径的显示转换成与所述转向信息对应。

2.根据权利要求1所述的基于AVM俯视图的停车辅助系统，还包括：

超声波传感器单元，其包括超声波传感器，并且通过所述超声波传感器识别所述停车位，

其中所述超声波传感器单元与所述停车位识别单元互锁，并且

其中所述停车位识别单元还将所述超声波传感器单元的数据用于识别所述停车位。

3.根据权利要求1所述的基于AVM俯视图的停车辅助系统，其中所述停车位识别单元使用图像识别技术提取连续图像的特征点，匹配两幅连续图像的特征点，删除不匹配的特征点，并且匹配有效特征点以识别所述停车位。

4.根据权利要求1所述的基于AVM俯视图的停车辅助系统，其中所述控制单元通过将所述车辆行驶信息与由所述停车位识别单元识别的所述停车位相匹配，通过考虑停车轨迹和前后移动的次数，来确定停车位置。

5.根据权利要求4所述的基于AVM俯视图的停车辅助系统，其中所述控制单元通过判断周期性地接收到的俯视图像中的差异，来确定在所述停车位内是否存在障碍物。

Images