CN107430815A - 用于自动识别停车区的方法和系统 - Google Patents

Abstract

本发明涉及一种用于自动识别在至少一个街道中的停车区的方法，在该方法中：a)提供计算单元；b)从外部数据存储器中读入以所述至少一个街道的全景图像形式的信息；c)从地图数据库中读入以所述至少一个街道的道路图像形式的信息；d)生成保持全景图像的内部数据库；e)就车辆存在方面对所读入的全景图像进行分析；f)就路牌和交通标志的存在方面对所读入的全景图像进行分析；g)针对至少一个所选街道，从对车辆存在的分析和对路牌和交通标志的存在的分析中查得可预期的存在的禁止长时停车区/禁止临时或长时停车区；h)生成并存储如下数据组，该数据组包含所查得的关于识别出的车辆、路牌的信息以及包含禁止长时停车区/禁止临时或长时停车区和停车区的标志；以及i)在终端设备上对包含在所述数据组中的信息进行可视化。此外，本发明涉及用于实施所述方法的计算机程序产品和系统。本发明提供与在事先选择的地区中的可能的停车区有关的信息。

Description

用于自动识别停车区的方法和系统

技术领域

本发明涉及用于自动识别在至少一个街道中的停车区的方法和系统。

背景技术

随着在狭窄空间上的车辆的数量增加，停车信息变得越来越重要。在过去，人工估算停车空间并且检测停车空间的位置。但是，停车空间的数量和停车空间的位置由于建筑上的措施而持续变化。

在现代轿车中已经安装有超声传感器和照相机，所述超声传感器和照相机能够测量停车空间或停车位并且因此例如能够实现自动停入。按照DE102012201472A1的一种已知方法基于车辆内部的照相机图像来识别停车空间和空闲停车位。

然而，迄今为止的系统具有明显的缺点。为了检测在一个地区中停车空间情况，必须巡视(abfahren)该地区的每条道路至少一次。在此以不同速度巡视这些道路。完全覆盖一个地区是不能被影响的而且是费时的。照相机图像强烈依赖于车辆在道路上所行驶的地方(例如远离路边石)以及光的入射方式。此外，通常仅能拍摄到右边的道路侧。此外，车辆侧的移动是非常耗费计算时间的。

发明内容

因此，本发明的任务是克服已知的缺点并且实现一种方法和一种系统，其能够实现查得在至少一个街道中的停车区。

本发明的主题是一种用于自动识别在至少一个街道中的停车区的方法，在该方法中：

a)提供计算单元；

b)从外部数据存储器中读入以所述至少一个街道的全景图像形式的信息；

c)从地图数据库中读入以所述至少一个街道的道路数据形式的信息；

d)生成保持全景图像的内部数据库，

e)就车辆存在方面对所读入的全景图像进行分析；

f)就路牌和交通标志的存在方面对所读入的全景图像进行分析；

g)针对至少一个所选街道，从对车辆存在的分析和对路牌和交通标志的存在的分析中查得可预期的存在的禁止长时停车区/禁止临时或长时停车区(Park-/Halteverbotszonen)；

h)生成并存储如下数据组，该数据组包含所查得的关于识别出的车辆、路牌的信息以及包含禁止长时停车区/禁止临时或长时停车区和停车区的标志；以及

i)在终端设备上对包含在所述数据组中的信息进行可视化。

如下方法按照本发明是优选的，在该方法中，在b)中读入的全景图像是所述至少一个街道的卫星照片或所述至少一个街道的通过照相机移动而生成的图像。

如下方法也是优选的，在该方法中，所述全景图像包括关于全景图像地理位置、行驶方向、街道名称的信息和/或关于深度图像(Tiefenkarte)的信息，其中，这些信息是历史数据。

此外，如下方法是优选的，在该方法中，在c)中读入的道路数据包括关于道路车道和/或关于道路类型的信息。

如下方法按照本发明是特别优选的，在该方法中，借助计算单元的接口传输以全景图像和道路数据形式的信息，该接口与内部数据库和/或外部数据存储器和/或地图数据库以通信方式连接。

如下方法按照本发明也是优选的，其中，在步骤e)中借助对全景图像的分割来分析车辆识别。

此外，如下方法是优选的，其中，在步骤f)中借助对路牌的形状和颜色的识别来分析交通标志和路牌。

在此，如下方法是优选的，在该方法中，借助图像识别软件进行所述分析。

如下方法按照本发明也是优选的，其中，在步骤i)中对包含在所述数据组中的信息进行可视化，其方式为：在终端设备的单独的显示器上显示所述信息。

按照本发明的方法至少具有下列步骤：

读入卫星图像

为了自动地完全巡视一个城市或地区，建议自动地评估全景图像。为此，在一种优选的实施方案中，从谷歌街景(Google Street View)中提取数据。从谷歌街景中获得由谷歌构建的具有关于图像位置、行驶方向、道路名称和深度图像的信息的全景图像。该系统能够实现在地图、例如谷歌街景中选择局部地区。在此基础上，通过调用谷歌街景应用程序编程界面(API)来连续经过(durchlaufen)从图像到图像的邻接道路。

集成地图数据

地图数据提供道路车道的数量及道路类型。在此基础上可以调节照相机图像的必要的缩放水平或角度。此外，地图数据在适用时、例如当一个道路属于不允许停车的道路类型时进行支持。

进行车辆识别

所使用的方法基于计算机视觉方法。它包括下列步骤：

分割图像

对组成部分如车辆或道路进行分类。基于图像大小、图像中的位置等来估算车辆。

因为涉及学习方法，所以需要已标记图像的数据量作为训练。

进行路牌识别

使用两种方法来识别路牌。一种方法识别形状，而另一种方法专门评估图像的颜色。最终使用识别出的路牌的交集。在此也必须再次使用训练数据用于学习所述方法。

结合识别出的路牌和车辆

为了构建停车数据而需要识别停车区域和禁止临时或长时停车区。虽然基于识别出的车辆可以推断出有效的停车区域，但这由于错误停车者而不是可靠的信息。另一方面，在“不存在”车辆的情况下也不能推断出禁止临时或长时停车区。出于这个原因，将关于识别出的车辆连同识别出的路牌位置的信息相结合。在此，在一种优选的实施方案中，在识别出的路牌的周围分析车辆数量。如果所述车辆数量小于确定的百分比/面积，则识别出禁止临时或长时停车区。

可视化和结果保持

所述系统不仅能够实现对识别出的车辆和路牌进行可视化，而且能够实现对禁止临时或长时停车区和停车区进行标记。此外提供一种系统，该系统自动巡视全景图像中的道路并且识别停放车辆和停车区。

为了可视化尤其是可以使用KML文件。KML是锁眼标记语言(Keyhole MarkupLanguage)的缩写并且是用于地理数据的标记语言。这样的文件适合用于叠加所有类型的地理学地图和用于与其组合。按照本发明从图像识别模块中查得的结果和数据组可以转换成KML文件并且因此对所述结果和数据组连同其它地图数据进行可视化。

此外，本发明实现一种计算机程序产品，该计算机程序产品能被直接加载到计算单元的内部存储器中并且包括软件代码或软件代码的一部分，当在计算单元上执行所述计算机程序产品时，所述软件代码或软件代码的一部分可被执行用于实施按照本发明的方法步骤。

最后，本发明实现一种用于自动识别在至少一个街道中的停车区的系统，该系统包括：

a)至少一个计算单元，

b)至少一个具有全景图像的外部数据存储器，

c)至少一个具有道路数据的地图数据库，

d)至少一个内部数据库，

e)至少一个图像识别软件，该图像识别软件用于分析存在的车辆以及存在的禁止临时或长时停车牌和交通指示牌，以及

f)至少一个用于对信息进行可视化的终端设备。

因此，按照本发明的系统具有下列组成部分：用于全景图像的提供商的以及用于提取在所选区域中的图像的接口；用于地图数据库的接口，以便评估道路数据；数据库及其创建，以便保持图像数据和特征；用于图像识别软件(车辆识别)的接口；用于图像识别软件(路牌识别)的接口；用于结合识别结果的模块以及用于可视化结果和存储数据的模块。

本发明和由此实现的方法以及系统和计算机程序产品具有一系列优点。借助按照本发明的方法在使用按照本发明的系统的情况下，能够自动初始化或自动绘制在一个城市或一个新地区中的停车情况并且报告关于空闲停车区的消息。

附图说明

现在具体说明本发明并且借助附图更详细地阐述本发明。其中：

图1示出按照本发明的方法的一种实施方式的流程图，

图2示出按照本发明的方法的一种示例性结果的视觉图，以及

图3示出按照本发明的系统的一种实施方式的示意图。

具体实施方式

以下实施例更详细地阐述本发明，但不限制本发明的范围。本领域技术人员可以在考虑在此提出的解决方案的情况下发展本发明的其它构造方案，但不偏离本发明的构思和范围。

本发明用于为轿车用户提供关于在确定地点处可预期的停车空间可用性的概况。在此首先规定：告知轿车用户停车空间是否普遍可使用以及在目的地处的何种范围内可使用。查明空闲的停车空间实际是否可用暂时不是本发明的任务。

现在在图1中具体示出本发明的一种实施方式的流程图。在此更详细地阐述和说明该实施方式。

首先确定至少一个街道，应该在该至少一个街道中查得停车区。所述确定可以通过用户、例如打算利用轿车旅行到确定地点的人来实现。但所述确定也可以通过服务提供商或供应商来实现，当服务提供商或供应商应该预先确定在哪个街道提供所述服务时。然后用户(终端客户)可以后续访问这些信息。但所确定的地点不仅可以是一个街道，而且也可以是进一步理解的地区、例如是多个有关联的街道或是一个区(Ortsteil)。用户使用按照本发明的计算机程序产品来确定地点，该计算机程序产品能在任意计算单元上执行。这样的计算单元可以是个人电脑(PC)、手提电脑、笔记本电脑、智能手机等。

当用户通过搜索关键词将确定的位置说明输入到计算单元中时，则计算机程序产品例如呈现地图或地图片断。然后，用户在所显示的地图上选择如下区域，应该针对该区域进行停车区的识别。

现在执行包含在计算机程序产品中的计算机程序，以便查得在由用户选择的区域中的停车区。为此，从外部数据存储器读入所选区域的图像数据。用于图像数据的外部数据存储器可以是外部提供商的数据存储器，该提供商已事先检测并且提供相应的优选以全景图像和/或视频序列形式的图像数据。这些图像数据或视频数据通常是历史数据。

相应的按照本发明合适的数据例如已经通过提供商谷歌以卫星图像和/或照相机移动(Kamerafahrt)的视频拍摄的形式检测和存储。可以通过由谷歌提供的程序、如谷歌地球(Google Earth)或谷歌街景来访问这些数据。也可以使用其它提供商的数据。按照本发明也规定不同提供商的数据的组合。

按照本发明，现在从所选区域的相应的上述图像数据中提取所选区域的图像。在此，这样选择所提取的图像的数量，使得尽可能完整地示出整个所选区域。在此应该避免叠加，以便能够实现精确的评估。这样的叠加区域能够利用已知的图像处理程序来识别并且消除。

在另一步骤中，就车辆方面对所提取的图像进行分析。在此可以事先分割所提取的图像，以便减少数据量。在分析时，首先对组成部分、如车辆或道路进行分类。在此，例如基于图像大小或在图像中的位置来识别车辆。如果鉴定出并识别出各个车辆，则可以查得在图像的相应的分割段中的车辆数量。在此涉及一种学习方法，从而需要已标记图像的数据量用于训练。

在另一步骤中，就路牌方面对所提取的图像进行分析。各种不同的方法适合用于实施路牌识别。一种方法利用路牌的不同形状。这些表明禁止临时或长时停车和/或禁止长时停车的路牌总是圆形的。此外，另一种方法利用路牌的用于其识别和归类的不同颜色设计。这些表示禁止临时或长时停车和禁止长时停车的路牌例如总是设计成蓝色和红色。通过综合这些信息能够实现唯一明确地识别和归类路牌。在此也必须再次使用以相应标记的图像形式的训练数据用于学习。

此外规定：从识别出的且检测出的车辆以及识别出的且检测出的路牌信息中查得有效的停车区。为此需要识别相应的停车区以及禁止临时或长时停车区和禁止长时停车区。由于可能错误地停放的车辆，不能仅从查得的车辆推断出有效的停车区。此外，在街道上缺少车辆不是有效的关于禁止长时停车区的指示。因此更确切地说，识别出的车辆的数据必须与识别出的路牌及其位置结合。这在按照本发明的方法的另一步骤中进行。通过所述结合而唯一明确地查得在相应街道中的停车区。在此，按照本发明在识别出的路牌周围分析车辆数量。如果所述车辆数量小于在事先定义的界限，则识别出禁止临时或长时停车区。按照本发明，这样的界限例如可以由车辆的百分比或由被车辆所占据的面积来查得或确定。

现在将在之前的步骤中查得的停车区转换成数据组并且然后将该数据组存储在数据存储器中。然后将所述数据组与图像数据和/或地图数据的相应的已存在的文件叠加。在图1中所说明的实施方式中将这些数据组转换成KML文件，以便将所查得的且识别出的停车区的数据组与街道地图叠加。那么，这样得到的叠加文件包含相应的在所选街道中可使用的停车区。然后，为系统用户可视化这样叠加的文件并且例如在监视器或屏幕上示出所述文件。

这种按照本发明的可视化在图2中示出。图2示出街道11的俯视图，例如该俯视图由卫星图像产生。在街道11的各侧面可识别出树和其它植被。此外示出位于所述街道11中的车辆12。相应的路牌在该图中未示出。通过虚线表示停车区13。按照本发明，在监视器上可以有色地、例如以绿色标记示出可使用的停车区13。而用阴影线表示的区域14是禁止临时或长时停车区14。所述禁止临时或长时停车区可以在相应的监视器上例如用红色示出。停车区13和禁止临时或长时停车区14是KML文件的特征并且以可视化的方式叠加于最初的全景图像4(卫星图像)。由此产生全景图像的对于用户熟悉的景象，在该景象中可清楚地看出相应的停车区13或禁止临时或长时停车区14。因为所述示图使用历史数据，所以在该情况下不可能推断出实际存在的停车空间。

现在在图3中以示意图的形式示出一种按照本发明的系统1，该系统用于自动识别在至少一个街道中的停车区。所述系统1包括至少一个计算单元2。这样的计算单元可以是个人电脑(PC)、手提电脑、笔记本电脑、智能手机、平板装置或平板电脑等。计算单元2也可以经由远程连接装置与其它输入设备连接。这样的远程连接装置可以是互联网应用或基于云端的计算机系统。

此外，计算单元2包括内部数据库8，在该内部数据库中可存储结果。但该内部数据库8也可以用于存储读入的图像4和地图数据6，以将这些读入的图像和地图数据提供给图像识别软件9或包含该软件的模块以用于进一步的计算和分析。

计算单元2借助接口7获得对具有全景图像4的外部数据存储器3的以及对具有道路数据6的地图数据库5的访问。所述接口7构成使得可以经由任意已知的数据传输路径来实现与计算单元2的连接。这样的数据传输路径例如是LAN或WLAN数据网络、互联网连接或无线电连接。

此外，所述系统1进一步包括用于输出关于可使用的停车区13的信息的终端设备10。在终端设备10和计算单元2之间的连接也如在此已经针对接口7所说明那样构成。使用具有监控器或屏幕的设备作为终端设备10，所述监控器或屏幕适合用于可视地示出由系统1产生的信息。在此，手提电脑、笔记本电脑、智能手机、平板装置和平板电脑是优选的。

当然，所述计算单元2也包括用于执行计算机程序的装置，这些计算机程序包含在按照本发明的计算机程序产品中。借助所述计算机程序在计算单元2上实施按照本发明的方法并且将结果在终端设备10上输出。

当然，按照本发明，所述可视化也可以经由轿车或其它车辆的数据系统的监视器来实现。在许多车辆中存在有数据系统和计算机，所述数据系统和计算机例如用于检测车辆参数以及用于导航。在这样的车辆计算机系统中，可以借助按照本发明的计算机程序产品来实施按照本发明的方法并且例如可以在车载导航仪的屏幕上显示信息。

附图标记列表

1 系统

2 计算单元

3 外部数据存储器

4 全景图像

5 地图数据库

6 道路数据

7 接口

8 内部数据库

9 图像识别软件

10 终端设备

11 街道

12 车辆

13 停车区

14 禁止临时或长时停车区

Claims (11)

1.用于自动识别在至少一个街道中的停车区的方法，在该方法中：

a)提供计算单元；

b)从外部数据存储器中读入以所述至少一个街道的全景图像形式的信息；

c)从地图数据库中读入以所述至少一个街道的道路数据形式的信息；

d)生成保持全景图像的内部数据库，

e)就车辆存在方面对所读入的全景图像进行分析；

f)就路牌和交通标志的存在方面对所读入的全景图像进行分析；

g)针对至少一个所选街道，从对车辆存在的分析以及对路牌和交通标志的存在的分析中查得可预期的存在的禁止长时停车区/禁止临时或长时停车区；

h)生成并存储如下数据组，该数据组包含所查得的关于识别出的车辆、路牌的信息以及包含禁止长时停车区/禁止临时或长时停车区和停车区的标志；以及

i)在终端设备上对包含在所述数据组中的信息进行可视化。

2.根据权利要求1所述的方法，其特征在于，在b)中读入的全景图像是所述至少一个街道的卫星照片或所述至少一个街道的通过照相机移动而生成的图像。

3.根据权利要求2所述的方法，其特征在于，所述全景图像包括关于全景图像地理位置、行驶方向、街道名称的信息和/或关于深度图像的信息，其中，所述信息是历史数据。

4.根据权利要求1所述的方法，其特征在于，在c)中读入的道路数据包括关于道路车道和/或关于道路类型的信息。

5.根据权利要求2至4之一所述的方法，其特征在于，借助计算单元的接口传输以全景图像和道路数据形式的信息，该接口与内部数据库和/或外部数据存储器和/或地图数据库以通信方式连接。

6.根据权利要求1所述的方法，其特征在于，在步骤e)中借助对全景图像的分割来分析车辆识别。

7.根据权利要求1所述的方法，其特征在于，在步骤f)中借助对路牌的形状和颜色的识别来分析交通标志和路牌。

8.根据权利要求6或7所述的方法，其特征在于，借助图像识别软件进行所述分析。

9.根据权利要求1所述的方法，其特征在于，在步骤i)中对包含在数据组中的信息进行可视化，其方式为：在终端设备的单独的显示器上显示所述信息。

10.计算机程序产品，该计算机程序产品能被直接加载到计算单元的内部存储器中并且包括软件代码或软件代码的一部分，当在计算单元上执行所述计算机程序产品时，所述软件代码或软件代码的一部分可被执行用于实施根据上述权利要求之一所述的方法步骤。

11.用于自动识别在至少一个街道中的停车区的系统(1)，该系统包括：

a)至少一个计算单元(2)；

b)至少一个具有全景图像(4)的外部数据存储器(3)；

c)至少一个具有道路数据(6)的地图数据库(5)；

d)至少一个内部数据库(8)；

e)至少一个图像识别软件(9)，该图像识别软件用于分析存在的车辆以及存在的禁止临时或长时停车牌和交通标志；以及

f)至少一个用于对信息进行可视化的终端设备(10)。