CN116438582A - 用于操作停车辅助的方法、计算机程序产品、停车辅助系统、车辆和系统 - Google Patents

用于操作停车辅助的方法、计算机程序产品、停车辅助系统、车辆和系统 Download PDF

Info

Publication number
CN116438582A
CN116438582A CN202180075996.0A CN202180075996A CN116438582A CN 116438582 A CN116438582 A CN 116438582A CN 202180075996 A CN202180075996 A CN 202180075996A CN 116438582 A CN116438582 A CN 116438582A
Authority
CN
China
Prior art keywords
parking
vehicle
roi
region
parking space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180075996.0A
Other languages
English (en)
Inventor
C·Y·纳纳姆博尤
P·莫朗
P·什齐托夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of CN116438582A publication Critical patent/CN116438582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

提出了一种用于操作车辆(100)的停车辅助系统(110)的方法。该方法包括：该方法包括：a)接收(S1)车辆(100)的环境的光学图像(IMG)和表示车辆(100)的环境的数字环境地图(MAP)，所述数字环境地图(MAP)包括至少一个指定停车区(P1‑P7)，b)对于所述至少一个指定停车区(P1‑P7)中的每一个，在所接收到的所述光学图像(IMG)中选择(S2)与相应的指定停车区(P1‑P7)相对应的感兴趣区域(ROI1‑ROI7)，c)在每个所选择的感兴趣区域(ROI1‑ROI7)中，检测(S3)地面上提供的线(PAT)和/或符号(SYM1‑SYM3)，d)基于检测到的线(PAT)和/或符号(SYM1‑SYM3)将多个停车位类别(CLS)中的一个分配(S4)给每个所选择的感兴趣区域(ROI1‑ROI7)，以及E)对于所述至少一个指定停车区(P1‑P7)中的每一个，基于分配给相应的感兴趣区域(ROI1‑ROI7)的停车位类别(CLS)，确定(S5)对应于所选择的感兴趣区域(ROI1‑ROI7)的相应指定停车区(P1‑P7)是否是潜在停车位。

Description

用于操作停车辅助的方法、计算机程序产品、停车辅助系统、 车辆和系统
技术领域
本发明涉及用于操作车辆的停车辅助系统的方法、计算机程序产品、用于车辆的停车辅助系统、包括停车辅助系统的车辆以及包括车辆和外部单元的系统。
背景技术
众所周知，停车辅助系统采用摄像机图像来检测车辆环境中的停车位。例如，这种系统检测和分析画在地面上的线，以检测停车位。
越来越多的特殊用途停车位变得越来越突出，这些停车位专用于某些人群或车辆，例如残疾人停车位、有小孩的家庭停车位、妇女停车位、紧急或紧急情况停车位、电动车辆停车位等等。这些停车位置通常用符号或字母等来表示。为了避免停车罚单或其他更严重的问题，汽车驾驶员必须理解所有各种符号的含义，这可能是复杂的，特别是因为符号的使用可因国家、州甚至地区而异。
DE 10 2017 007 823 A1公开了借助于车载摄像机捕获环境图像，并且基于环境图像检测特殊停车位。此外，检测用于身体有缺陷的人的特殊设备和/或布置在车辆中的儿童座椅，并且从该信息导出至少一个车辆乘客的属性。提供对应于所导出的属性的特殊停车位作为目的地。
发明内容
本发明的一个目的是改进车辆停车辅助系统的操作。
根据第一方面，提出了一种用于操作车辆的停车辅助系统的方法。在第一步骤a)中，接收车辆环境的光学图像和表示车辆环境的数字环境地图。数字环境地图包括至少一个指定停车区。在第二步骤b)中，为包括在环境地图中的所述至少一个指定停车区中的每一个选择接收到的光学图像中对应于相应指定停车区的感兴趣区域。在第三步骤c)中，在每个所选择的感兴趣区域中检测地面上提供的线和/或符号。在第四步骤d)中，基于检测到的线和/或符号，将多个停车位类别中的一个分配给每个所选择的感兴趣区域。在第五步骤e)中，对于所述至少一个指定停车区中的每一个，基于分配给相应感兴趣区域的停车位类别，确定对应于所选感兴趣区域的相应指定停车区是否是潜在停车位。
该方法的优点在于，停车辅助系统可以基于地面上提供的线和/或符号来辨别停车位。特别地，可以将特殊用途的停车位与正常停车位区分开，并且可以检测被标记为非停车区(no-parking areas)的潜在停车位。因此，停车辅助系统的操作得到改善。
车辆环境的光学图像可以由车辆的摄像机检测。优选地，光学图像对应于车辆的全景图像。全景图像可以从车辆上方的鸟瞰视角示出车辆的环境。可以通过合并和/或拼接每个覆盖某个视场的几个图像来获得全景图像。
数字环境地图对应于车辆实际环境的数字表示。基于由布置在车辆上的环境传感器(例如超声波和/或光学传感器单元)检测的传感器信号，环境地图可以由车辆的处理单元(例如ECU(发动机控制单元)等)确定。
提供数字环境地图的处理单元优选地还被配置成检测停车位分界线。这种检测例如基于由光学传感器单元(例如摄像机)检测的光学图像。基于检测到的停车位分界线，处理单元还被配置成指定布置在车辆周围的潜在停车区。潜在停车区是例如由地面上的分界线界定的区，并且是自由的，即该区没有被对象或另一车辆等阻挡。例如，潜在的停车区可以布置在路边停车带或停车场等。当指定停车区时，处理单元不考虑在相应区的地面上提供的不是分界线的线和/或符号。
每个指定的停车区对应于环境的光学图像中的区。因此，对于每个指定停车区，在光学图像中选择相应的感兴趣区域。
然后，分析感兴趣区域中存在的线和/或符号。基于检测到的线和/或符号，多个停车位类别中的一个被分配给每个选择的感兴趣区域。例如，如果没有检测到线或符号，则感兴趣区域可以被分配到“标准停车位”类别，而如果检测到轮椅符号，则感兴趣区域可以被分配到“残疾人停车位”类别。因为相应的感兴趣区域对应于指定停车区，所以分配给感兴趣区域的停车位类别也适用于指定停车区。在这里，“线”可以特指地面上的分界线。例如，就线宽度和颜色而言，分界线可以都具有相似的外观。也就是说，在这种意义上，具有不同于分界线预期外观的线可以被认为是表示符号。
基于所分配的停车位类别，对于所述至少一个指定停车区中的每一个，确定对应于所选择的感兴趣区域的相应指定停车区是潜在停车位。例如，潜在停车位对应于适合于该车辆并且该车辆的驾驶员具有其使用许可的停车位。该步骤可能涉及应用某些过滤标准和/或优先级标准。例如，可以设置在该步骤中过滤掉不能用的停车位，也就是说，它们不被认为是潜在的停车位。这种设置尤其可以是用户定义的和/或可以基于车辆的配置，例如车辆是插电式电动车辆，和/或可以基于检测到的附加设备，例如婴儿座椅等。
因此，该方法具有这样的优点，即所有种类的不同的专用停车位和/或停车禁止区可以被停车辅助系统检测到，并且可以被停车辅助系统过滤掉。这实现了停车辅助系统的更好的操作，因为包括停车辅助系统的车辆的用户不必再次检查他是否被允许使用例如由停车辅助系统建议的停车位来停车。
根据一个实施例，该方法还包括整理所有确定的潜在停车位的整理步骤，选择整理的潜在停车位中的一个的选择步骤，以及将选择的停车位提供给自主驾驶单元以控制车辆在选择的停车位停车的提供步骤。
在该实施例中，执行选择多个潜在停车位中的一个。这在车辆的环境中存在多余一个潜在停车位的情况下尤其有用。该选择可以基于用户交互，或者可以完全自动地执行。
整理步骤包括根据一些排序标准对潜在的停车位进行排序。例如，可以基于车辆到潜在停车位的距离、基于潜在停车位的长度和/或宽度、基于对应于潜在停车位的分配的停车位类别和/或基于一些其他可能的用户定义的标准来执行排序。
选择潜在停车位中的一个的选择步骤可以包括例如通过显示器向车辆用户输出包括潜在停车位的车辆环境的图形表示，并且用户可以通过语音命令、手势、触摸命令等选择潜在停车位中的一个。
自主驾驶单元可以被配置为全自动和/或半自动地控制车辆。全自动控制可以包括例如加速器、制动器、转向、变速箱等的自动控制。半自动可以包括例如转向和变速箱的控制，其中用户必须手动控制加速器和制动器。
根据另一实施例，该步骤还包括接收所述多个类别中的至少一个类别的确定信息的步骤，其中步骤e)另外基于该确定信息。
确定信息包括关于如何确定指定停车区是否是潜在停车位的信息。特别地，确定信息涉及所述多个停车位类别。例如，确定信息可以包括声明所述多个停车位类别中的一个类别(例如“不能用的停车位”或“电动车辆停车位”)不得被认为是潜在的停车位的信息。确定信息可以由车辆的用户提供和/或输入。替代地，车辆制造商可以基于客户相应提供的信息来配置停车辅助系统。
该实施例可以允许车辆的用户根据他的个人情况和需要精确地定义哪些停车位类别是他的潜在停车位，并且因此应该由停车辅助系统确定为潜在停车位，使得用户可以选择使用这些停车位来使用停车辅助系统停放车辆。
根据该方法的另一实施例，确定信息包括所述多个类别中的至少一个类别的优先级信息，其中步骤e)还包括向每个潜在停车位分配优先级的步骤，以及根据分配的优先级对确定的潜在停车位进行排序的步骤。
例如，优先级信息可以包括声明具有最高宽度的“正常停车位”具有最高优先级的信息，以及被安排为路边平行停车位的“正常停车位”具有低优先级的信息。优选地，优先级信息作为数值给出，例如0和100之间的值，对应于停车位的特定属性。停车位的特定属性包括所分配的停车位类别、停车位的几何属性、停车位相对于环境中其他特征的相对布置，例如平行、倾斜或垂直停车、停车位旁边的自由空间等等。当分配优先级时，停车辅助系统可以被配置为基于优先级信息和每个潜在停车位的个体特征来自动确定优先级分数。
根据该方法的另一个实施例，步骤c)还包括检测所检测的线是否类似于多个预定义图案中的一个布置的步骤，其中每个预定义图案对应于至少一个停车位类别。
在该实施例中，检测到的线可以与预定义的图案进行比较。这种预定义图案可以是例如由地方当局或政府提供的图案，用于在当局的权力范围内以统一的方式指定停车位。预定义图案还可以包括未经正式定义的习惯使用的图案。
预定义图案可以通过使用几何描述来定义，例如线的长度、宽度和/或曲率，多个线的相对布置，例如两条线之间的角度、两条线的交点、直到交点的线的长度等等。注意，点在这里也被认为是“线”。
术语“类似地布置”应理解为使得检测到的线可以被确定为代表相应的预定义图案。可以说推断出检测到的线代表相应的预定义图案。
检测到所检测的线被布置成类似于多个预定义图案中的一个可以基于相似性得分，该相似性得分可以基于所检测的线的实际布置和预定义图案中的线的布置之间的比较来计算。
在该实施例中，可以通过使用确定性或基于规则的算法等来执行检测，这可以包括启发式方法。
根据该方法的另一实施例，预定义图案由检测到的线和/或检测到的线的部段的几何特征定义，包括检测到的线的绝对长度和/或绝对宽度、检测到的线和/或检测到的线的部段之间的长度比、检测到的线和/或检测到的线的部段之间的宽度比、检测到的线和/或检测到的线的部段之间形成的角度、检测到的线和/或检测到的线的部段的曲率和/或检测到的线和/或检测到的线的部段之间的距离。
例如,“X”形图案可以被定义为具有长度基本相同的两条线，并且基本在线的中点彼此相交。作为另一个例子，“之字形”线可以被定义为具有至少三条线性延伸线，这些线在它们的末端连接，并且在它们之间包括例如在60-120°范围内的角度。
根据该方法的另一实施例，多个预定义图案中的每一个包括对应于至少一些几何特征的一组值或值区间。
根据该方法的另一实施例，步骤c)还包括提取每个感兴趣区域的检测符号作为图像的步骤，以及使用为分类图像而训练的人工智能来分类图像的步骤。
在该实施例中，地面上提供的符号由人工智能分类，例如神经网络，其被训练用于分类已知符号。特别地，人工智能在已知用于标记停车位的符号上接受了训练。人工智能可以将符号分类成多个预定义类别。优选地，每个类别对应于至少一个停车位类别。
首先，从感兴趣区域提取符号作为图像。这可以包括应用调整大小和/或变换步骤，以便准备包括符号的图像，使得人工智能可以分析它。
人工智能可以被训练来识别(分类)图形符号、数字、字符、单词等等。人工智能还可以考虑图像中的结构的颜色。
根据第二方面，提出了一种计算机程序产品。该计算机程序产品包括指令，当该程序由计算机执行时，该指令使得计算机执行根据第一方面的方法。
诸如计算机程序介质的计算机程序产品可以以诸如存储卡、USB棒、CD-ROM、DVD等存储设备的形式和/或可以从计算机网络等中的服务器下载的数字数据文件的形式提供。例如，这可以通过经由无线网络传输相应的文件来实现。
根据第三方面，提出了一种用于车辆的停车辅助系统。该停车辅助系统包括：接收单元，用于接收车辆的环境的光学图像和表示车辆的环境的数字环境地图，该数字环境地图包括至少一个指定停车区；选择单元，用于为所述至少一个指定停车区中的每一个选择所接收的光学图像中对应于相应指定停车区的感兴趣区域；检测单元，用于在每个所选择的感兴趣区域中检测在地面上提供的线和/或符号；分配单元，用于基于检测到的线和/或符号将多个停车位类别中的一个分配给每个所选择的感兴趣区域；以及确定单元，用于对于所述至少一个指定停车区中的每一个，基于分配给相应的感兴趣区域的停车位类别，确定对应于所选择区域的相应指定停车区是否是潜在停车位。
该停车辅助系统具有与根据第一方面的方法所描述的相同的优点。为根据第一方面的方法建议的实施例和特征也可以以相应的方式形成停车辅助系统的特征和实施例。
停车辅助系统的相应单元，例如接收单元、选择单元、检测单元、分配单元和确定单元可以用硬件和/或软件来实现。当在硬件中实施时，相应的单元可以实现为计算机、CPU(中央处理单元)、ASIC(专用集成电路)或PLC(可编程逻辑控制器)。当在软件中实施时，相应的单元可以被配置为计算机程序产品、函数、算法、例程、程序代码的一部分或可执行对象。此外，每个单元可以实施为车辆的控制单元的一部分，例如ECU(发动机控制单元)等。
根据第四方面，提出了一种车辆，其包括用于检测车辆的环境的光学图像的至少一个摄像机、用于至少部分基于检测到的光学图像来提供表示车辆的环境的环境地图的处理单元、以及根据第三方面的停车辅助系统。
根据一个实施例，车辆还包括通信单元，该通信单元被配置成将对应于指定停车区的所分配停车位类别传送到外部单元。
该实施例具有这样的优点，即由停车辅助系统获得的检测结果可以被提供给附近的其他用户或车辆和/或计划前往相同位置的其他用户或车辆等。具体而言，不具有检测停车位类别的高级功能的车辆也可以在寻找合适的停车位时使用该信息。优选地，车辆的位置信息，例如GPS坐标，与分配的停车位类别一起传送。
通信单元被特别配置为经由调制的电磁信号来传送信息，例如经由蓝牙、Wi-Fi、红外、3G/4G/5G技术等。
根据第五方面，提出了一种系统，该系统包括根据第五方面的实施例的至少一个车辆和车辆外部的外部单元。外部单元被配置用于从车辆接收所传送的分配的停车位类别，并且用于将所接收的停车位类别传送到另外的设备和/或将响应于所接收的所分配停车位类别的控制命令传送到车辆以控制车辆。
外部单元可以被实现为移动设备，例如智能电话，或者它可以被实现为固定设备，例如台式计算机或服务器，或者它可以是另一车辆的通信单元等。
在优选实施例中，通信单元还可以向外部单元传送潜在停车位的列表。然后，用户可以选择潜在停车位中的一个，并且外部单元将该选择作为控制命令发送，以控制车辆在所选择的停车位上自主停车。
已经根据不同的实施例描述了本发明。应当理解，任何一个实施例的一个或多个特征可以与其他实施例的一个或多个特征相结合。此外，任何实施例中的任何单个特征或特征组合可以构成另外的实施例。
附图说明
本发明的其他实施例或方面受制于从属权利要求和下面参考附图描述的示例。
图1示出了车辆的示意图；
图2示出了环境地图的例子；
图3示出了环境的图像的例子；
图4示出了分类的例子；
图5示出了用于操作停车辅助系统的方法的示例的示意框图；
图6示出了停车辅助系统的示例的示意框图；和
图7示出了具有车辆和外部单元的系统的例子。
在附图中，除非另有说明，否则相同的元件用相同的附图标记表示。
具体实施方式
图1示出了车辆100例如汽车的示意图。汽车100包括处理单元105和停车辅助系统110。处理单元105可以实施为发动机控制单元(ECU)。尽管处理单元105和停车辅助系统110在图1中被描述为分离的单元，但是它们可以在单个集成电路中一起实施和/或可以共享资源，例如CPU、RAM等。汽车100还包括多个传感器120、130。例如，传感器120被实现为光学传感器，并且可以包括摄像机、雷达和/或激光雷达等。光学传感器120被配置成检测汽车100的环境的图像，优选地包括深度数据，并输出检测到的图像作为光学传感器信号。传感器130可以被实现为例如超声波传感器，并且被配置为检测到布置在汽车100附近的对象200(见图2或3)的距离，并且输出检测到的距离作为超声波传感器信号。除了图1所示的传感器120、130之外，汽车100可以包括更多和/或其他传感器，例如麦克风、加速度计、用于接收电磁数据信号的天线等。
处理单元105被配置为基于传感器信号，例如通过使用传感器融合技术，来确定环境地图MAP(参见图2)。环境地图MAP对应于汽车100的实际环境的数字表示。处理单元105还可以被配置成检测光学传感器信号中的停车位分界线210(见图2)，并且基于检测到的分界线210在环境地图MAP中指定停车区P1-P7。在这样做时，处理单元105确定两条分界线210之间的空间是空闲的还是被对象200(例如另一辆汽车)阻挡。如果空间被堵塞或阻挡，相应的区不被指定为停车区。
停车辅助系统110可以如图6所示实施，并且被配置为执行如下对应于图2-5所述的处理。
图2示出了车辆100的数字环境地图MAP的例子。数字环境地图MAP包括表示布置在车辆100的环境中的对象的几何对象。具体地，数字环境地图MAP包括表示道路的中心线CL和道路边线的虚线CL、SL，它包括表示车辆100的几何对象100，它包括表示布置在环境中的车辆或其他障碍物的几何对象200，它包括被检测为界定可行驶区的其他线(未标出)，它包括被检测为界定停车区的分界线的停车线PL，并且它包括指定停车区P1-P7。指定停车区P1-P7代表车辆100的潜在停车位。注意，指定停车区P1-P7仅基于检测相应区是空闲还是阻塞而被预选。只有自由的区被指定为停车区P1-P7。例如，停车辅助系统110(见图1、6或7)从处理单元105(见图1)接收数字环境地图MAP。
图3示出了车辆100的环境的光学图像IMG。光学图像IMG对应于图2的数字环境地图MAP。例如，可以至少部分基于图3所示的光学图像IMG来确定数字环境地图MAP。例如，停车辅助系统110(见图1、6或7)从处理单元105接收光学图像IMG。停车辅助系统110在光学图像IMG中选择与数字环境地图MAP(见图2)的指定停车区P1-P7(见图2)相对应的感兴趣区域ROI1-ROI7。从图3中可以看出，相应的感兴趣区域ROI1-ROI7基本上包括光学图像IMG的示出了车辆100可停车的区的部分。
停车辅助系统110为每个感兴趣区域ROI1-ROI7检测地面上提供的线PAT和/或符号SMY1-SYM3。例如，使用图像识别技术进行这种检测。在图3的例子中，在感兴趣区域ROI2中检测到第一符号SYM1，在感兴趣区域ROI3中检测到第二符号SYM2，在感兴趣区域ROI4中检测到第三符号SYM3，并且在感兴趣区域ROI7中检测到线PAT。第一符号SYM1表示“非停车”符号，第二和第三符号SYM2、SYM3表示“不能用的停车”符号，线PAT形成表示“非停车”空间的之字形图案。例如，存在穿过对应于感兴趣区域ROI7的区的入口，该入口将保持没有停放车辆。
基于检测到的线PAT和/或符号SMY1-SYM3，停车辅助系统110将停车位类别CLS(见图4)分配给相应的感兴趣区域ROI1-ROI7。不同停车位类别CLS的数量本身不受限制。分配停车位类别CLS的步骤S4对应于根据可用停车位类别CLS对指定停车区域P1-P7进行分类。
图4示出了一个表格，作为将线条图案和符号分类到特定停车位类别CLS的例子。在本例中，每个CLS类都由数值来标识。在这个例子中，该表包括三列，它们是线条图案/符号、停车位类别CLS和可以为每个停车位类别CLS提供的优先级PRIO。
图4的表格的第一列包括用于标记停车位的已知线条图案和符号的列表。请注意，图4的列表并不详尽，它可以包含更多的其他线条图案或符号和/或线条图案或符号的变体。显而易见，代表“非停车”区的线条图案和符号(在表的第3-7行中举例说明)在本例中均被分配了相同的CLS类别。对于代表其他种类的特定停车位的不同线条图案或符号也可能是这种情况，例如，所有代表“不能用的停车”位(未示出)的各种符号都可以被分配相同的类别CLS。请注意，这不是强制性的，每个不同的线条图案/符号可能会被分配其自己的类别CLS。
在图4的例子中，优先级信息PRIO被进一步分配给每个停车位类别CLS。例如，优先级信息PRIO可以由车辆100(见图1)的用户提供。当停车辅助系统110(见图1)识别出多个潜在停车位时，优先级信息PRIO是有帮助的，以便向用户提供有序列表和/或基于优先级信息PRIO建议优选的停车位。在这个例子中，所有“非停车”区被自动挑选出来，并且不能被选择作为用于停放车辆100的停车位。例如，车辆100是插电式电动车辆，并且车辆100的使用者是有小孩的孕妇。最高优先级PRIO被分配给电动车和孕妇专用停车位。为家庭指定的停车位具有较低的优先级PRIO，但仍然高于传统停车位(没有线条图案/符号的停车位)的优先级PRIO。残疾人停车位具有最低优先级PRIO，因为车辆100的用户不是残疾人，因此这种停车位不应该被停放。
图5示出了用于操作停车辅助系统110(例如图1的车辆100的停车辅助系统110)的方法的示例的示意框图。在第一步骤S1中，接收车辆100的环境的光学图像IMG(见图3)和表示车辆100的环境的数字环境地图MAP(见图2)。数字环境地图MAP包括至少一个指定停车区P1-P7(见图2)。在第二步骤S2中，为包括在环境地图MAP中的所述至少一个指定停车区P1-P7中的每一个选择接收的光学图像IMG中对应于相应指定停车区P1-P7的感兴趣区域ROI1-ROI7(参见图3)。在第三步骤S3中，在每个所选择的感兴趣区域ROI1-ROI7中检测地面上提供的线PAT(见图3)和/或符号SMY1-SYM3(见图3)。
在这个例子中，第三步骤S3包括两个步骤S31和S32。步骤S31包括检测所检测的线PAT是否被布置成类似于多个预定义图案中的一个，例如图4的表格的第一列中所示的线图案，其中每个预定义图案对应于至少一个停车位类别CLS。步骤S31可以通过经典的确定性或基于规则的算法等来执行，该算法还可以包括启发式方法。步骤S32可以包括提取每个感兴趣区域ROI1-ROI7的检测符号SMY1-SYM3作为图像，并使用为分类图像而训练的人工智能对图像进行分类。例如，步骤S32可以由人工神经网络来执行，该人工神经网络在用于标记停车位的分类符号SMY1-SYM3方面被训练。人工神经网络优选地在监督学习方法中被训练。用于训练人工神经网络的训练数据可能因世界上不同的地区、国家和/或县而异。请注意，步骤S3不需要包括所述的两个步骤S31、S32，而是也可以在由单个实体执行的单个步骤中实现。
在第四步骤S4中，基于检测到的线PAT和/或符号SMY1-SYM3，将多个停车位类别CLS(参见图4)中的一个分配给每个所选择的感兴趣区域ROI1-ROI7。在第五步骤S5中，对于所述至少一个指定停车区P1-P7中的每一个，基于分配给相应的感兴趣区域ROI1-ROI7的停车位类别CLS，确定对应于所选择的感兴趣区域ROI1-ROI7的相应指定停车区是否是潜在停车位。
图6示出了停车辅助系统110的示例的示意框图，例如图1的车辆100的停车辅助110。停车辅助系统110可以根据对应于图5解释的方法来操作。停车辅助系统110包括：接收单元111，用于接收车辆100的环境的光学图像IMG(见图3)和表示车辆100的环境的数字环境地图MAP(见图2)，该数字环境地图MAP包括至少一个指定停车区P1-P7(见图2)；选择单元112，用于为所述至少一个指定停车区P1-P7中的每一个选择接收到的光学图像IMG中对应于相应指定停车区P1-P7的感兴趣区域ROI1-ROI7；检测单元113，用于在每个选择的感兴趣区域ROI1-ROI7中检测地面上提供的线PAT(见图3)和/或符号SMY1-SYM3(见图3)；分配单元114，用于基于检测到的线PAT和/或符号SMY1-SYM3，将多个停车位类别CLS(参见图4)中的一个分配给每个所选择的感兴趣区域ROI1-ROI7；以及确定单元115，用于针对所述至少一个指定停车区P1-P7中的每一个，基于分配给相应的感兴趣区域ROI1-ROI7的停车位类别CLS，确定对应于所选择的感兴趣区域ROI1-ROI7的相应指定停车区P1-P7是否是潜在停车位。
具体地，检测单元113可以包括确定性和/或启发式确定单元，用于检测检测到的线PAT是否被布置为类似于多个预定义图案中的一个。此外，检测单元113可以包括人工智能，例如人工神经网络，其被训练用于将符号分类为多个类别之一，每个类别对应于停车位类别CLS。
图7示出了具有车辆100和外部单元310的系统300的例子。车辆100具有图1的车辆100的特征，并且还包括通信单元107。通信单元107可以实施为移动无线电调制解调器或蜂窝调制解调器。外部单元310可以实现为移动设备，例如智能手机，或者它可以是另一车辆的通信单元(未示出)或者固定设备(未示出)。
通信单元107被配置为向外部单元310发送分配的停车位类别CLS。例如，通信单元107可以连接到外部单元并建立对等连接，或者它可以使用预定义频带和/或编码来广播分配的停车位类别CLS，并且外部单元310监听预定义频带并因此可以接收分配的停车位类别CLS。
外部单元可以被配置为向车辆100的通信单元107传输控制命令(未示出)。控制命令可以包括由停车辅助系统确定的多个潜在停车位中的一个的选择。控制命令还可以包括用于多个停车位类别CLS中的至少一个的确定信息，停车辅助系统110可以在确定指定停车区P1-P7(见图2)是否是潜在停车位时使用该信息。
虽然已经结合几个实际例子描述了本技术，但是应当理解，本技术不限于所公开的例子，而是相反，旨在覆盖包括在本技术的精神和范围内的各种修改和等同布置。
附图标记列表
100车辆
105处理单元
107通信单元
110停车辅助系统
111接收单元
112选择单元
113检测单元
114分配单元
115确定单元
120传感器
130传感器
200对象
210分界线
300系统
310外部单元
CL中心线
CLS停车位类别
IMG图形
MAP地图
P1指定停车区
P2指定停车区
P3指定停车区
P4指定停车区
P5指定停车区
P6指定停车区
P7指定停车区
PAT线
PL停车线
PRIO优先级信息
ROI1感兴趣区域
ROI2感兴趣区域
ROI3感兴趣区域
ROI4感兴趣区域
ROI5感兴趣区域
ROI6感兴趣区域
ROI7感兴趣区域
S1方法步骤
S2方法步骤
S3方法步骤
S4方法步骤
S5方法步骤
SL侧线
SYM1符号
SYM2符号
SYM3符号

Claims (13)

1.一种用于操作车辆(100)的停车辅助系统(110)的方法，所述方法包括：
a)接收(S1)所述车辆(100)的环境的光学图像(IMG)和表示所述车辆(100)的环境的数字环境地图(MAP)，所述数字环境地图(MAP)包括至少一个指定停车区(P1-P7)，
b)对于所述至少一个指定停车区(P1-P7)中的每一个，在所接收到的光学图像(IMG)中选择(S2)与相应的指定停车区(P1-P7)相对应的感兴趣区域(ROI1-ROI7)，
c)在每个所选择的感兴趣区域(ROI1-ROI7)中，检测(S3)地面上提供的线(PAT)和/或符号(SYM1-SYM3)，
d)基于检测到的线(PAT)和/或符号(SYM1-SYM3)，将多个停车位类别(CLS)中的一个分配(S4)给每个所选择的感兴趣区域(ROI1-ROI7)，以及
E)对于所述至少一个指定停车区(P1-P7)中的每一个，基于分配给相应的感兴趣区域(ROI1-ROI7)的停车位类别(CLS)，确定(S5)对应于所选择的感兴趣区域(ROI1-ROI7)的相应指定停车区(P1-P7)是否是潜在停车位。
2.根据权利要求1所述的方法，进一步包括：
整理所有所确定的潜在停车位，
选择所整理的潜在停车位中的一个，以及
将所选择的停车位提供给自主驾驶单元，用于控制车辆(100)在所选择的停车位中停车。
3.根据权利要求1或2所述的方法，进一步包括：
接收所述多个停车位类别(CLS)中的至少一个的确定信息，其中步骤e)另外还基于所述确定信息。
4.根据权利要求3所述的方法，其中，所述确定信息包括所述多个停车位类别(CLS)中的至少一个的优先级信息(PRIO)，其中步骤e)还包括：
为每个潜在停车位分配优先级(PRIO)，以及
根据所分配的优先级(PRIO)对所确定的潜在停车位进行排序。
5.根据前述权利要求中任一项所述的方法，其中步骤c)还包括：
检测所检测的线(PAT)是否类似于多个预定义图案中的一个布置，其中每个预定义图案对应于至少一个停车位类别(CLS)。
6.根据权利要求5所述的方法，其中所述预定义图案由所检测的线和/或所检测的线的部段的几何特征定义，包括所检测的线的绝对长度和/或绝对宽度、所检测的线和/或所检测的线的部段之间的长度比、所检测的线和/或所检测的线的部段之间的宽度比、所检测的线和/或所检测的线的部段之间形成的角度、所检测的线和/或所检测的线的部段的曲率和/或所检测的线和/或所检测的线的部段之间的距离。
7.根据权利要求6所述的方法，其中，所述多个预定义图案中的每一个包括对应于至少一些几何特征的一组值或值区间。
8.根据前述权利要求中任一项所述的方法，其中步骤c)还包括：
提取每个感兴趣区域(ROI1-ROI7)的检测符号(SYM1-SYM3)作为图像，以及
使用为分类图像而训练的人工智能来对图像进行分类。
9.一种计算机程序产品，包括指令，当计算机执行程序时，所述指令使计算机执行根据权利要求1至8中任一项所述的方法。
10.一种用于车辆(100)的停车辅助系统(110)，包括：
接收单元(111)，用于接收所述车辆(100)的环境的光学图像(IMG)和表示所述车辆(100)的环境的数字环境地图(MAP)，所述数字环境地图(MAP)包括至少一个指定停车区(P1-P7)，
选择单元(112)，用于针对所述至少一个指定停车区(P1-P7)中的每一个，在所接收的光学图像(IMG)中选择与相应的指定停车区(P1-P7)相对应的感兴趣区域(ROI1-ROI7)，
检测单元(113)，用于在每个所选择的感兴趣区域(ROI1-ROI7)中检测地面上提供的线(PAT)和/或符号(SYM1-SYM3)，
分配单元(114)，用于基于检测到的线(PAT)和/或符号(SYM1-SYM3)将多个停车位类别(CLS)中的一个分配给每个所选择的感兴趣区域(ROI1-ROI7)，以及
确定单元(115)，用于针对所述至少一个指定停车区(P1-P7)中的每一个，基于分配给相应的感兴趣区域(ROI1-ROI7)的停车位类别(CLS)，确定对应于所选择的感兴趣区域(ROI1-ROI7)的相应指定停车区(P1-P7)是潜在停车位。
11.一种车辆(100)，包括用于检测所述车辆(100)的环境的光学图像(IMG)的至少一个摄像机(120)，用于至少部分地基于检测到的光学图像(IMG)提供表示所述车辆(100)的环境的数字环境地图(MAP)的处理单元(105)，以及根据权利要求10的停车辅助系统(110)。
12.根据权利要求11所述的车辆(100)，还包括通信单元(107)，所述通信单元被配置成将对应于指定停车区(P1-P7)的所分配停车位类别(CLS)发送到外部单元(310)。
13.一种系统(300)，包括至少一个根据权利要求12所述的车辆(100)和在所述车辆(100)外部的外部单元(310)，其中所述外部单元(310)被配置用于接收从所述车辆(100)传送的所分配的停车位类别(CLS)，并且用于将对应于指定停车区(P1-P7)的所接收的停车位类别(CLS)传送到另外的设备和/或将响应于所接收的所分配的停车位类别(CLS)的控制命令传送到所述车辆(100)。
CN202180075996.0A 2020-11-10 2021-10-19 用于操作停车辅助的方法、计算机程序产品、停车辅助系统、车辆和系统 Pending CN116438582A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020129520.0A DE102020129520A1 (de) 2020-11-10 2020-11-10 Verfahren zum betreiben eines parkassistenzsystems, computerprogramprodukt, parkassistenzsystem, fahrzeug und system
DE102020129520.0 2020-11-10
PCT/EP2021/078880 WO2022100967A1 (en) 2020-11-10 2021-10-19 Method for operating a parking assistance, computer program product, parking assistance system, vehicle and system

Publications (1)

Publication Number Publication Date
CN116438582A true CN116438582A (zh) 2023-07-14

Family

ID=78269648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180075996.0A Pending CN116438582A (zh) 2020-11-10 2021-10-19 用于操作停车辅助的方法、计算机程序产品、停车辅助系统、车辆和系统

Country Status (7)

Country Link
US (1) US20230415728A1 (zh)
EP (1) EP4244822A1 (zh)
JP (1) JP2023547723A (zh)
KR (1) KR20230084293A (zh)
CN (1) CN116438582A (zh)
DE (1) DE102020129520A1 (zh)
WO (1) WO2022100967A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022213684A1 (de) 2022-12-15 2024-06-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Unterstützung eines Nutzers eines Fahrzeuges beim Einparken des Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
DE102017107700A1 (de) 2017-04-10 2018-10-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen von Parklücken in einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Parkassistenzsystem, Kraftfahrzeug sowie vernetztes System
DE102017007823A1 (de) 2017-08-18 2018-04-19 Daimler Ag Verfahren zum Betrieb einer Fahrerassistenzvorrichtung
DE102018005761A1 (de) 2018-07-20 2020-01-23 Daimler Ag Verfahren zum Parken eines Fahrzeugs
DE102018119897A1 (de) 2018-08-16 2020-02-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren von Daten betreffend eine Parklücke für ein Kraftfahrzeug
KR20200044196A (ko) * 2018-10-10 2020-04-29 주식회사 만도 주차 제어 장치, 주차 제어 방법 및 주차 제어 시스템

Also Published As

Publication number Publication date
KR20230084293A (ko) 2023-06-12
JP2023547723A (ja) 2023-11-13
WO2022100967A1 (en) 2022-05-19
EP4244822A1 (en) 2023-09-20
US20230415728A1 (en) 2023-12-28
DE102020129520A1 (de) 2022-05-12

Similar Documents

Publication Publication Date Title
US9959624B2 (en) Early detection of turning condition identification using perception technology
US11659038B2 (en) Smart vehicle
US11112793B2 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US20230004157A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US20190064805A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US20190064800A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US10295360B2 (en) Assistance when driving a vehicle
CN108241851B (zh) 信息处理装置、信息处理方法以及程序
US20190064803A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
CN108248602B (zh) 信息处理装置、信息处理方法以及记录介质
WO2017177005A1 (en) Multi-modal driving danger prediction system for automobiles
CN106794874A (zh) 用于运行自动引导的无人驾驶的机动车的方法和监控系统
CN110033621B (zh) 一种危险车辆检测方法、装置及系统
US10614320B2 (en) System and method for advanced highway lane detection
CN108242182B (zh) 信息处理装置、信息处理方法以及记录介质
JP7140067B2 (ja) 車両制御装置、車両制御方法、及びプログラム
JP7289760B2 (ja) 電子制御装置
CN111507156B (zh) 利用乘客的关键点检测车辆占有的方法及装置
WO2019046204A1 (en) MIXED-MODE DRIVING OF A VEHICLE HAVING AUTONOMOUS DRIVING CAPABILITIES
US20190064802A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
JP7376992B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN111008553A (zh) 用于监测车辆盲区的方法和装置
CN111284501A (zh) 基于对象识别来管理行驶模型的装置和方法、使用该装置的车辆行驶控制装置
Raja et al. SPAS: Smart pothole-avoidance strategy for autonomous vehicles
CN116438582A (zh) 用于操作停车辅助的方法、计算机程序产品、停车辅助系统、车辆和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination