CN117157228A - 用于操作停车辅助系统的方法、计算机程序产品、停车辅助系统和车辆 - Google Patents

用于操作停车辅助系统的方法、计算机程序产品、停车辅助系统和车辆 Download PDF

Info

Publication number
CN117157228A
CN117157228A CN202280024057.8A CN202280024057A CN117157228A CN 117157228 A CN117157228 A CN 117157228A CN 202280024057 A CN202280024057 A CN 202280024057A CN 117157228 A CN117157228 A CN 117157228A
Authority
CN
China
Prior art keywords
vehicle
distribution
img
mod
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280024057.8A
Other languages
English (en)
Inventor
U·穆罕默德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of CN117157228A publication Critical patent/CN117157228A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/06Automatic manoeuvring for parking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314Parking operations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明涉及一种用于操作车辆(100)的停车辅助系统(110)的方法,该停车辅助系统被设计为在训练模式(MOD0)中捕获和存储待训练轨迹,并且在跟车模式(MOD1)中通过车辆(100)跟随所存储的轨迹。为了确定是否需要更新用于在跟车模式中定向车辆的、所存储的光学特征,比较该光学特征的参数分布。如果所比较的分布的相似性低于预定阈值,则执行更新。

Description

用于操作停车辅助系统的方法、计算机程序产品、停车辅助系 统和车辆
技术领域
本发明涉及一种用于操作停车辅助系统的方法、一种计算机程序产品、一种停车辅助系统以及一种车辆。
背景技术
已知停车辅助系统可以学习待跟随的特定轨迹,其中在训练模式中,沿着稍后要跟随的轨迹手动驾驶车辆。在此训练过程中,经由车辆传感器获取环境数据并存储环境数据,这将使得能够在后续的跟车步骤中定位车辆。这可以例如借助于VSLAM来实现,其中采集并评估摄像头图像,并且由此确定车辆的当前位置。
在这种方法中,重要的是,所存储的环境数据是当前的,否则将无法定位。由于环境会随着时间而改变,例如,由于移动中的对象被移除、添加或重新定位,或者由于周围区域正在进行建筑工作,出现了环境数据会失去其流通性的问题。为了继续成功地进行定位,必须更新所存储的环境数据。
DE 10 2017 115 991 A1公开了一种用于操作机动车辆的驾驶员辅助系统的方法,其中,在驾驶员辅助系统的训练阶段,当驾驶员沿着轨迹手动操纵机动车辆时,该轨迹被存储,并且基于至少一个由机动车辆的摄像头提供的图像,多个对象特征被存储。在驾驶员辅助系统的操作阶段,基于存储的轨迹和存储的对象特征,沿着存储的轨迹半自主地操纵机动车辆。在操作模式中,检测多个对象特征,并且将检测到的对象特征分配给存储的对象特征。基于该分配,决定是否有必要再次存储对象特征和/或轨迹。
发明内容
在此背景下,本发明的目的是改进停车辅助系统的操作。
根据第一方面,提出了一种用于操作车辆的停车辅助系统的方法。该停车辅助系统被配置为在训练模式中捕获和存储待训练轨迹,并且被配置为在跟车模式中通过车辆跟随所存储的轨迹。训练模式包括:
A1)沿着轨迹手动驾驶车辆,
A2)在手动驾驶期间接收车辆环境的至少一个图像,
A3)确定所接收的图像中的多个光学特征,其中每个光学特征由至少一个参数表征,以及
A4)存储包括所确定的特征的数据集。
跟车模式包括:
B1)在跟车操作期间接收车辆环境的至少一个当前图像,
B2)确定所接收的当前图像中的光学特征,
B3)基于所存储的数据集确定至少一个参数的第一分布,并且基于当前图像的所确定的光学特征确定该参数的第二分布,
B4)确定第一分布和第二分布之间的相似性,以及
B5)如果所确定的相似性小于或等于预定的更新阈值,则更新所存储的数据集。
该方法的优点在于,只有在确定了必要更新的统计显著性的情况下,才使用用于在跟车模式中定位车辆的光学特征来更新所存储的数据集。一方面,这避免了即使在环境发生微小变化的情况下也进行更新的可能性,因此不消耗为此所需的计算能力,该计算能力必须由停车辅助系统或车辆的另一计算单元提供。这意味着该处理能力可用于其他进程,这有助于例如增加其他运行进程的安全性、可靠性和/或速度。另一方面,该方法创建了完全基于统计学的可靠度量,以便可靠地评估特定数据集的更新是否有用,即,例如,是否显著地有助于改进车辆的定位。
在训练模式中,车辆被手动移动,特别是由车辆的使用者移动。这意味着用户始终对车辆进行控制。然而,这并不排除使用车辆的远程控制和/或自转向和/或自驾驶系统的可能性,其中甚至可以由车辆提出和/或执行关于行驶方向改变的传感器辅助决策。
所接收的图像尤其是由车载摄像头(例如前置摄像头)接收的图像。其也可以是由来自不同摄像头的多个图像构成的图像和/或在不同时间采集的图像构成的图像。所接收的图像可以特别包括扩展的光谱范围,例如,该图像可以包括近红外范围和UV范围内的光学信息。例如,该图像包含2500nm-150nm之间的光谱信息。此外,该图像可以包含在一个或多个清晰界定的光谱范围内的信息,这些信息是例如使用适当的带滤波器或线滤波器采集的,这可以优化用于确定相应图像中光学特征的对比度。所接收的图像特别是可以以二维像素矩阵的形式表示的数字图像,其中像素矩阵可以包括多个平面,其中每个平面包含例如来自特定光谱范围的信息。例如,在彩色图像的情况下,可以提供对应于所捕获的三个颜色通道的三个层,特别是红色、绿色和蓝色(RGB)。
在图像中确定的光学特征例如具有特定性质,比如相邻像素之间和/或多个像素上的特定对比度,特定形状,比如圆形、角形、细长形、波浪形等。可以使用不同的图像处理方法和/或图像变换来确定该光学特征,并且可以按照不同顺序将这些图像处理方法和/或图像变换进行组合。此外,可以使用神经网络,特别是对图像中可见的对象进行对象分类。
特别地,通过多个参数来表征具体的特征。这些参数特别地包括:该特征在图像中的位置,其中该位置由至少两个坐标定义,例如x值和y值;该特征的“颜色”;该特征的形状;该特征的范围,例如可以由该特征所覆盖的像素的数量来指定;该特征的分类等。例如,可以通过指定具体的特征在特定波长下的强度或对于特定滤光器的强度(亮度信息)来指定该具体的特征的“颜色”。例如,该强度由与像素相关联的像素矩阵条目的值来确定。参数的可能取值的数量的范围从二进制(“0”或“1”)到准连续,没有上限和/或下限。“准连续”是因为在当前情况下数据是以数字方式处理的,这就是参数值被量化的原因,即使相应的参数本身是连续性质。
在单个图像中,优选确定至少50个光学特征和多达5000个光学特征。应该注意的是,更多数量的光学特征需要相应更大数量的存储器来存储数据集。另一方面,虽然定位的精度随着光学特征数量的增加而提高,但是精度的这种提高随着数量的增加而变得平缓。优选地,为每个图像确定100至500个光学特征并将其存储在数据集中。
例如,数据集包括光学特征的列表或表格,每个特征被分配相应的参数值。并非所确定的所有光学特征都必须包括每个可能参数的相应值,它们可以具有将参数标识为“未定义”的值。
图像的接收和光学特征的确定特别地在训练模式和跟车模式中以相同的方式执行,例如,使用相同的图像处理方法。然而,执行单个或多个计算操作时的精度可能会发生变化,例如,这取决于可用的系统资源。不排除在停车辅助系统的使用寿命期间可以添加新的和/或其他图像处理步骤和方法的可能性,作为系统更新等的一部分。执行系统更新后,这些图像和光学特征将再次以相同的方式用于训练模式和跟车模式。这确保了在训练模式和跟车模式中实现相同质量和/或类型的结果。
如果已经为当前所接收的图像确定了光学特征,则在下一步骤中确定至少一个参数的第一和第二分布。在这种情况下所确定的分布特别是概率分布。也可以说,参数值是随机分布在给定图像的所有光学特征中的,因此该参数形成随机变量。该随机变量的分布是给定图像的特征。
所确定的分布可以是一维的,也可以是多维的。例如,二维图像中光学特征的局部分布可以被确定为二维分布。多维分布不限于相同类型的参数(例如位置坐标),而是也可以基于参数“位置坐标”、参数“颜色”和/或其他和/或附加参数来确定多维分布。
通过比较两个分布,可以确定分布的相似性。分布的相似性对应于例如分布的交集、公共集或重叠。在多维分布的情况下,可以针对分布的不同维度(参数)分别确定相似性。
然后,根据所获得的分布的相似性,确定是否更新所存储的数据集。特别地,可以将所获得的相似性与更新阈值进行比较,其中,如果所获得的相似性低于更新阈值,则执行更新。
如果针对多个参数确定了相应的第一和第二分布并且确定了相似性,则可以基于所获得的多个相似性来确定总体相似性。可以在不同程度上考虑不同参数的分布的相似性值。例如,与x位置(水平位置)的分布的相似性相比,可以更大程度地考虑y位置(垂直位置)的分布的相似性,反之亦然。
停车辅助系统被特别设计用于车辆的部分自主或完全自主操作,其中例如在跟车模式中,车辆自动地沿着训练轨迹行驶。半自主驾驶被理解为意指例如停车辅助系统控制转向设备和/或自动档位选择系统。完全自主驾驶被理解为意指例如停车辅助系统额外还控制驱动装置和制动装置。车辆的定向和/或定位尤其是基于所确定的光学特征与所存储的数据集的比较来执行的。根据所确定的光学特征相对于彼此的绝对和/或相对布置,可以确定在训练模式期间车辆的当前位置相对于相应位置的位移或相对位置,并且可以相应地根据训练轨迹并且沿着训练轨迹控制车辆。
根据该方法的一个实施例,光学特征的参数包括图像中每个特征的相应位置、相应特征的分类、相应特征的颜色、相应特征的几何形状、相应特征的对比度值等。
如上所述,参数“颜色”表示例如特定波长处、特定波段内和/或多个波长处的强度(亮度)。此外,参数“颜色”可以包括不同波长处两个或两个以上的强度的比率。
对比度值参数可以包括纯强度对比度,但也可以包括颜色对比度。
具体的光学特征由所分配的或相关联的参数值的规范来唯一地表征。例如,参数值可以排列在参数向量中,其中向量中的位置标识该参数。
根据该方法的另一实施例,基于巴氏(Bhattacharyya)距离和/或KL(Kullback-Leibler)距离来确定第一和第二分布之间的相似性。
根据该方法的另一实施例,对沿着待训练轨迹的多个位置执行步骤A2)-A4),从而为每个位置存储相应的数据集。在跟车模式中,基于某些存储的数据集来执行步骤B3)-B5),在这些数据集中,对应位置与车辆的当前位置的距离小于或等于预定的距离阈值。
在该实施例中,训练轨迹被分配有多个具有所确定的光学特征的数据集,每个数据集都是基于在沿着轨迹的不同位置处捕获的图像而确定的。当前车辆位置是相互比较两个分布是否有意义的有用指标。因为如果现在或过去用于确定该光学特征的图像的位置相差太大,那么,由于图像可能显示环境的不同部分或区域,则假设分布不相似。在这种情况下,执行更新是有害的,可以通过比较位置来可靠地避免这种情况。该实施例也可以被称为用于选择待比较的数据集或分布的选择方法。
车辆的位置尤其可以通过使用比如GPS的位置传感器来确定。替代地或附加地,可以使用里程计来确定相应的位置。应当注意的是,在该示例中,术语“位置”还包括车辆的方位,其可以由磁场传感器确定,例如,相对于地球磁场和/或人工地平线的方位。
在各实施例中,在跟车模式中,仅使用所存储的这样的数据集:与所存储的轨迹的其他数据集相比,该数据集的对应位置与车辆的当前位置的距离最小。
根据该方法的另一实施例,对沿着待训练轨迹的多个位置执行步骤A2)-A4),从而为每个位置存储相应的数据集。在跟车模式中,对存储的所有数据集执行步骤B3)和B4),并且对某些数据集执行步骤B5),这些数据集的第一分布和第二分布之间的相似性高于预定的相似性阈值。
在该实施例中,训练轨迹被分配了具有所确定的光学特征的多个数据集,每个数据集是基于在沿着轨迹的不同位置处捕获的图像确定的。在该实施例中,分布的相似性被用作确定相应分布下的环境的图像是否示出了来自该环境的可比较部分或区域的基础。该实施例尤其可以与基于位置的选择方法相结合。
因此,在该实施例中,存在用于相似性的两个预定阈值:更新阈值和相似性阈值。
根据该方法的另一实施例,预定的相似性阈值所对应的相似性低于预定的更新阈值。
这意味着具有高于相似性阈值、但同时低于更新阈值的相似性的那些数据集被更新。
例如,相似性阈值具有65%-75%之间的值,更新阈值具有80%-95%之间的值。如果相似性在75%-80%之间,则确定需要更新相应的数据集。100%的值意味着两个比较的分布是相同的,0%的值意味着两个比较的分布完全没有交集或共性。
根据该方法的另一实施例,仅对这样的数据集执行步骤B5):与轨迹的所有数据集相比,该数据集的第一分布和第二分布之间的相似性最高。
根据该方法的另一实施例,基于在训练模式中接收的图像的相应时间戳,确定至少一个参数的第一分布的第一随机过程,并且其中,基于在跟车模式中接收的图像的相应时间戳,确定该参数的第二分布的第二随机过程,并且其中,基于该第一随机过程和该第二随机过程之间的相似性,附加地和/或替代地执行步骤B5)。
在该实施例中,沿着轨迹确定参数分布的时间演变,经由车辆速度将该时间演变与车辆沿着该轨迹的位置耦合,并且与更新相关的决定与此相关联。也可以说,在这种情况下,时间被视为附加参数,从而使得例如位置坐标分布的时间演变可以以二维分布的形式表示。
根据该方法的另一实施例,基于步骤B2)中确定的光学特征来执行步骤B5)中的数据集更新。
根据该方法的另一实施例,步骤B5)中的数据集更新包括:用当前数据集替换数据集和/或替换包含在所存储的数据集中的至少一个光学特征和/或更新包含在所存储的数据集中的光学特征的至少一个参数。
根据第二方面,提出了一种包括命令的计算机程序产品,当计算机运行该程序时,该命令促使所述计算机执行根据第一方面的方法。
一种计算机程序产品,例如计算机程序装置,可以例如由网络中的服务器以存储介质的形式提供或供应,该存储介质例如为存储卡、USB棒、CD-ROM和DVD;或者以可下载文件的形式提供或供应。这可以例如在无线通信网络中通过传输包含该计算机程序产品或计算机程序装置的相应文件来进行。
根据第三方面,提出了一种用于车辆的停车辅助系统。该停车辅助系统被配置为在训练模式中捕获和存储待训练轨迹,并且被配置为在跟车模式中通过车辆跟随所存储的轨迹。该停车辅助系统包括:
接收单元,用于在训练模式下当车辆沿着待训练轨迹行驶时接收所述车辆的环境的至少一个图像,
第一确定单元,用于确定所接收的图像中的多个光学特征,其中每个光学特征由至少一个参数表征,以及
存储单元,用于存储包括所确定的光学特征的数据集,
其中,接收单元被配置为在车辆在跟车模式中沿着轨迹行驶时接收车辆环境的至少一个当前图像,并且第一确定单元被配置为确定所接收的当前图像中的光学特征。该停车辅助系统还包括:
第二确定单元,用于基于所存储的数据集确定至少一个参数的第一分布,并且用于基于当前图像的所确定的光学特征确定该参数的第二分布,
比较单元,用于确定第一分布和第二分布之间的相似性,以及
更新单元,用于在所确定的相似性小于或等于预定的更新阈值时更新所存储的数据集。
该停车辅助系统具有与根据第一方面的方法所描述的相同的优点。针对根据第一方面的方法阐述的实施例和定义在作必要的修改后适用于该停车辅助系统。
该停车辅助系统的每个单元可以用硬件和/或软件来实施。在硬件实施的情况下,相应的单元可以是例如计算机或微处理器的形式。在软件实施的情况下,相应单元可以是计算机程序产品、函数、例程、算法、部分程序代码或可运行对象的形式。此外,这里提到的每个单元也可以是车辆的上级控制系统的一部分的形式,例如中央控制系统和/或ECU(发动机控制单元)。
根据第四方面,提出了一种车辆,其具有至少一个用于检测和输出车辆环境的图像的摄像头,并且具有根据第三方面的停车辅助系统。
该车辆例如是汽车或者甚至是卡车。优选地,该车辆包括多个传感器单元,这些传感器单元被配置为捕获车辆的行驶状态并且捕获车辆的周围环境。该车辆的这种传感器单元的示例是图像捕获装置,例如摄像头、雷达(无线电探测和测距)或激光雷达(光探测和测距)、超声波传感器、位置传感器、车轮角度传感器和/或车轮速度传感器。传感器单元分别被配置为向例如停车辅助系统或驾驶员辅助系统输出传感器信号,该停车辅助系统或驾驶员辅助系统基于所捕获的传感器信号执行部分自主或完全自主的驾驶。
本发明的其他可能的实施方式还包括上面或下面关于示例性实施例描述的、没有明确提及的特征或实施例的组合。在这种情况下,本领域的技术人员也将添加单独的方面作为对本发明的相应基本形式的改进或添加。
附图说明
本发明进一步有利的配置和方面是从属权利要求和下面描述的本发明示例性实施例的主题。下面参照附图基于优选实施例更详细地解释本发明。
图1从鸟瞰视角示出了一种车辆的示例性实施例的示意图;
图2示出了其中包含多个光学特征的、所接收的图像的示意图;
图3示出了作为相应参数的相应分布的示例的三个示意图;
图4示出了用于确定相似性的两个分布的比较的示例;
图5示出了一种停车辅助系统的示例性实施例的示意框图;并且
图6示出了一种用于操作停车辅助系统的方法的示例性实施例的示意性流程图。
除非另有说明,图中相同或功能相同的元件具有相同的附图标记。
具体实施方式
图1从鸟瞰视角示出了车辆100的示意图。车辆100例如是布置在环境200中的汽车。汽车100具有例如控制单元形式的停车辅助系统110。此外,汽车100包括前置摄像头120,在该示例中,前置摄像头120布置在挡风玻璃的上边缘上。摄像头120被配置为捕获环境200的图像。所捕获的图像被输出给例如停车辅助系统110,停车辅助系统110接收并进一步处理该图像,如下面参考图2-6详细描述的。
停车辅助系统110被配置为半自主或者甚至全自主地驾驶汽车100。除了图1所示的摄像头120外,车辆100还可以具有各种各样的其他传感器装置。这些传感器装置的示例是超声波传感器、激光雷达、雷达、GPS接收器、加速度传感器、用于接收电磁可传输数据信号的接收器、麦克风等。
图2示出了所接收的图像IMG的示意图,其中包含多个光学特征F1-F8。在该示例中,图像IMG是具有两个空间维度的图像,即:其包括二维像素阵列。在各实施例中,其也可以是具有三个空间维度的图像,额外还包括每个像素的深度信息。图像IMG的每个像素由其在该图像IMG中的相应坐标而唯一地确定,其中该相应坐标是两个位置坐标x、y。坐标x、y涉及图像坐标系(未示出),图像坐标系的原点例如位于图像IMG的其中一个角。因此,所示出的示例性光学特征F1-F8具有两个位置参数,这两个位置参数对应于相应光学特征的x、y坐标。应该注意的是,在该示例中,为了清楚起见,光学特征F1-F8在图像IMG中仅显示为点,但是具体的光学特征也可以具有范围。
除了位置坐标x、y外,光学特征F1-F8还由第三参数p表征,该第三参数例如是光学特征F1-F8的颜色值。在该示例中,具体的光学特征因此可以由三个参数x、y、p的规范唯一地表征。例如,光学特征F1可以由规范F1(x1,y1,p1)表示,其中x1、y1、p1是光学特征F1的相应参数的相应值。
应当注意的是,具体的光学特征F1-F8可以由三个以上的参数来表征。还应该注意的是,在图像IMG中,优选地,确定远多于八个光学特征F1-F8光学特征,例如,确定200至500个光学特征。
特别地,每个光学特征F1-F8是所接收的图像IMG中的特征结构,其可以例如以对比度的形式被确定。
图3示出了作为给定参数x、y、p的相应分布P(x)、P(y)、P(p)的示例的三个示意图。每个分布代表概率分布或频率分布,其中纵轴P表示概率或频率,而相应的横轴x、y、p表示相应参数x、y、p的值。
在该示例中,分布P(x)和P(y)被表示为(准)连续分布,并且分布P(p)被表示为离散分布。由于参数x、y、p可呈现的相应值在由停车辅助系统的确定单元确定的过程中被特别地量化,因此例如所有分布都是离散的,但是也可以被称为准连续分布。这里,数据简化也可以是有利的,其例如以“丢弃”进程的形式执行,其中,位于某个区间内的所有值都被分配给平均值(例如,在参数的位深减小的情况下)。
图4示出了包含参数x的两个分布P1(x)、P2(x)的示意图。图4用于说明两个分布P1(x)、P2(x)的相似性的含义。例如,第一分布P1(x)是参数x的第一分布,其是基于所存储的数据集确定的,而分布P2(x)是同一参数x的第二分布,其是基于所接收的当前图像IMG(参见图2)的所确定的光学特征F1-F8(参见图2)确定的。两个分布P1(x)和P2(x)之间的相似性可以表示为两个分布P1(x)、P2(x)的交集U(P1;P2)。例如,两个分布P1(x)、P2(x)中相等参数值x的数量可以被计数并除以光学特征F1-F8的总数,以确定相似性。有利地,基于巴氏距离和/或KL距离来确定两个分布P1(x)和P2(x)之间的相似性。也可以使用其他已知的相似性度量。
图5示出了一种停车辅助系统110的示例性实施例的示意性框图,例如为图1中车辆100的停车辅助系统。停车辅助系统110被配置为在训练模式MOD0(参见图6)中捕获和存储待训练轨迹,并且被配置为在跟车模式MOD1(参见图6)中通过车辆100跟随所存储的轨迹。停车辅助系统110包括:接收单元111,用于在车辆100在训练模式MOD0中沿着待训练轨迹行驶时接收车辆100的环境200(参见图1)的至少一个图像IMG(参见图2);第一确定单元112,用于确定所接收的图像IMG中的多个光学特征F1-F8(参见图2),其中每个光学特征F1-F8由至少一个参数x、y、p表征(参见图2或图3);以及存储单元113,用于存储包括所确定的光学特征F1-F8的数据集。
接收单元111还被配置为在车辆100以跟车模式MOD1沿着轨迹行驶时接收车辆100的环境200的至少一个当前图像IMG,并且第一确定单元112还被配置为确定所接收的当前图像IMG中的光学特征F1-F8。停车辅助系统110还包括第二确定单元114,用于基于所存储的数据集确定至少一个参数x、y、p的第一分布P(x)、P(y)、P(p)、P1(x)(参见图3或图4),并且用于基于当前图像IMG的所确定的光学特征F1-F8确定参数x、y、p的第二分布P(x)、P(y)、P(p)、P2(x)(参见图3或图4);比较单元115,用于确定第一分布P(x)、P(y)、P(p)、P1(x)和第二分布P(x)、P(y)、P(p)、P2(x)之间的相似性;以及更新单元116,用于在所确定的相似性小于或等于预定的更新阈值时更新所存储的数据集。
图6示出了一种用于操作停车辅助系统110(例如图5中车辆1的停车辅助系统110)的方法的示例性实施例的示意性流程图。该方法包括训练模式MOD0和跟车模式,在训练模式MOD0中,捕获并存储待训练轨迹;在跟车模式中,通过该车辆跟随所存储的轨迹。
训练模式MOD0具体包括步骤S1-S4,其中在第一步骤S1中,沿着轨迹手动驾驶车辆100,在第二步骤S2中,在手动驾驶步骤期间接收车辆100的环境200(参见图1)的至少一个图像IMG(参见图2),在第三步骤S3中,确定所接收的图像IMG中的多个光学特征F1-F8(参见图2),其中相应的光学特征F1-F8由至少一个参数x、y、p(参见图2或图3)表征,并且在第四步骤S4中,存储包括所确定的光学特征F1-F8的数据集。
跟车模式具体包括步骤S5-S9,其中在第五步骤S5中,在跟车过程期间接收车辆100的环境200的至少一个当前图像IMG,在第六步骤S6中,确定所接收的当前图像IMG中的光学特征F1-F8,在第七步骤S7中,基于所存储的数据集确定至少一个参数x、y、p的第一分布P(x)、P(y)、P(p)、P1(x)(参见图3或图4),并且基于当前图像IMG的所确定的光学特征F1-F8确定参数x、y、p的第二分布P(x)、P(y)、P(p)、P2(x)(参见图3或图4),在第八步骤S8中,确定第一分布P(x)、P(y)、P(p)、P1(x)和第二分布P(x)、P(y)、P(p)、P2(x)之间的相似性,并且在第九步骤S9中,如果所确定的相似性小于或等于预定的更新阈值,则更新所存储的数据集。
应当注意的是,用于具体的轨迹的训练模式MOD0具体来说仅执行一次,其中,可以基于训练轨迹、根据需要、经常地执行跟车模式MOD1。
还应当注意的是,跟车模式MOD1可以包括与例如停车辅助系统110对车辆100的控制相关的其他步骤。
尽管已经基于示例性实施例描述了本发明,但是可以以多种方式进行修改。
参考标记列表
100 车辆
110 停车辅助系统
111 接收单元
112 确定单元
113 存储单元
114 确定单元
115 比较单元
116 更新单元
120 摄像头
F1-F8 光学特征
IMG 图像
MOD0 训练模式
MOD1 跟车模式
p 参数
p1-p8 参数值
P 概率
P(p) 概率分布
P(x) 概率分布
P1(x) 第一分布
P2(x) 第二分布
P(y) 概率分布
S1-S9 方法步骤
U(P1;P2) 交集
x 坐标
x1-x8 x位置(参数示例)
y 坐标
y1-y8 y位置(参数示例)。

Claims (13)

1.一种用于操作车辆(100)的停车辅助系统(110)的方法,所述停车辅助系统被配置为在训练模式(MOD0)下捕获和存储待训练轨迹,并且被配置为在跟车模式(MOD1)下通过所述车辆(100)跟随所存储的轨迹,其中所述训练模式(MOD0)包括:
A1)沿着所述轨迹手动驾驶(S1)所述车辆(100),
A2)在手动驾驶期间接收(S2)所述车辆(100)的环境(200)的至少一个图像(IMG),
A3)确定(S3)所接收的图像(IMG)中的多个光学特征(F1-F8),其中每个光学特征(F1-F8)由至少一个参数(x、y、p)表征,以及
A4)存储(S4)包括所确定的光学特征(F1-F8)的数据集,
并且其中所述跟车模式(MOD1)包括:
B1)在跟车过程中接收(S5)所述车辆(100)的环境(200)的至少一个当前图像(IMG),
B2)确定(S6)所接收的当前图像(IMG)中的光学特征(F1-F8),
B3)基于所存储的数据集确定(S7)至少一个参数(x、y、p)的第一分布(P(x)、P(y)、P(p);P1(x)),并且基于所述当前图像(IMG)的所确定的光学特征(F1-F8)确定参数(x、y、p)的第二分布(P(x)、P(y)、P(p);P2(x)),
B4)确定(S8)所述第一分布(P(x)、P(y)、P(p);P1(x))和所述第二分布(P(x)、P(y)、P(p);P2(x))之间的相似性,以及
B5)如果所确定的相似性小于或等于预定的更新阈值,则更新(S9)所存储的数据集。
2.如权利要求1所述的方法,其特征在于,所述光学特征(F1-F8)的参数(x、y、p)包括图像(IMG)中每个特征的相应位置、相应特征的分类、相应特征的颜色、相应特征的几何形状和/或相应特征的对比度值。
3.如权利要求1或2所述的方法,其特征在于,所述第一分布(P(x)、P(y)、P(p);P1(x))和所述第二分布(P(x)、P(y)、P(p);P2(x))之间的相似性是基于巴氏距离和/或KL距离确定的。
4.如权利要求1至3中任一项所述的方法,其特征在于,
在所述训练模式(MOD0)中,对沿着待训练轨迹的多个位置执行步骤A2)-A4),从而为每个位置存储相应的数据集,并且其中
在所述跟车模式(MOD1)中,基于某些存储的数据集执行步骤B3)-B5),这些存储的数据集的相应位置与所述车辆(100)的当前位置的距离小于或等于预定的距离阈值。
5.如权利要求1至4中任一项所述的方法,其特征在于,
在所述训练模式(MOD0)中,对沿着待训练轨迹的多个位置执行步骤A2)-A4),从而为每个位置存储相应的数据集,并且其中
在所述跟车模式(MOD1)中,对所存储的所有数据集执行步骤B3)和B4),并且其中对某些数据集执行步骤B5),这些数据集的第一分布(P(x)、P(y)、P(p);P1(x))和第二分布(P(x)、P(y)、P(p);P2(x))之间的相似性高于预定的相似性阈值。
6.如权利要求5所述的方法,其特征在于,所述相似性阈值对应的相似性低于所述更新阈值。
7.如权利要求5或6所述的方法,其特征在于,仅对以下数据集执行步骤B5):与所述轨迹的所有数据集相比,所述数据集的第一分布(P(x)、P(y)、P(p);P1(x))和第二分布(P(x)、P(y)、P(p);P2(x))具有最大相似性。
8.如权利要求4至7中任一项所述的方法,其特征在于,基于在所述训练模式(MOD0)中接收的图像(IMG)的相应时间戳,确定所述至少一个参数(x、y、P)的第一分布(P(x)、P(y)、P(p);P1(x))的第一随机过程;并且其中基于在所述跟车模式(MOD1)中接收的图像(IMG)的相应时间戳,确定所述参数(x、y、P)的第二分布(P(x)、P(y)、P(p);P1(x))的第二随机过程;并且其中基于所述第一随机过程和所述第二随机过程之间的相似性,附加地和/或替代地执行步骤B5)。
9.如权利要求1至8中任一项所述的方法,其特征在于,基于步骤B2)中确定的光学特征(F1-F8)来执行步骤B5)中的数据集更新。
10.如权利要求1至9中任一项所述的方法,其特征在于,步骤B5)中的数据集更新包括:用当前数据集替换所述数据集和/或替换所存储的数据集中包含的至少一个光学特征(F1-F8)和/或更新所存储的数据集中包含的光学特征(F1-F8)的至少一个参数(x、y、p)。
11.一种包括命令的计算机程序产品,在通过计算机运行程序期间,所述命令使得所述计算机执行如权利要求1至10中任一项所述的方法。
12.一种用于车辆(100)的停车辅助系统(110),其被配置为在训练模式(MOD0)中捕获和存储待训练轨迹,并且被配置为在跟车模式(MOD1)中通过所述车辆(100)跟随所存储的轨迹,其中所述停车辅助系统(110)包括:
接收单元(111),用于在所述训练模式(MOD0)下,当所述车辆沿着所述待训练轨迹行驶时,接收所述车辆(100)的环境(200)的至少一个图像(IMG),
第一确定单元(112),用于确定所接收的图像(IMG)中的多个光学特征(F1-F8),其中每个光学特征(F1-F8)由至少一个参数(x、y、p)表征,以及
存储单元(113),用于存储包括所确定的光学特征(F1-F8)的数据集,
其中所述接收单元(111)被配置为在所述车辆(100)以所述跟车模式(MOD1)沿着所述轨迹行驶时接收所述车辆(100)的环境(200)的至少一个当前图像(IMG),并且所述第一确定单元(112)被配置为在所接收的当前图像(IMG)中确定所述光学特征(F1-F8),
并且其中所述停车辅助系统(110)还包括:
第二确定单元(114),用于基于所存储的数据集确定至少一个参数(x、y、p)的第一分布(P(x)、P(y)、P(p);P1(x)),并且基于当前图像(IMG)的所确定的光学特征(F1-F8)确定所述参数(x、y、p)的第二分布(P(x)、P(y)、P(p);P2(x)),
比较单元(115),用于确定所述第一分布(P(x)、P(y)、P(p);P1(x))和所述第二分布(P(x)、P(y)、P(p);P2(x))之间的相似性,以及
更新单元(116),用于在所确定的相似性小于或等于预定的更新阈值时更新所存储的数据集。
13.一种车辆(100),具有至少一个摄像头(120),用于捕获和输出所述车辆(100)的环境(200)的图像(IMG),并且具有如权利要求12所述的停车辅助系统(110)。
CN202280024057.8A 2021-03-25 2022-03-24 用于操作停车辅助系统的方法、计算机程序产品、停车辅助系统和车辆 Pending CN117157228A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021107523.8 2021-03-25
DE102021107523.8A DE102021107523A1 (de) 2021-03-25 2021-03-25 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug
PCT/EP2022/057727 WO2022200482A1 (de) 2021-03-25 2022-03-24 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug

Publications (1)

Publication Number Publication Date
CN117157228A true CN117157228A (zh) 2023-12-01

Family

ID=81346210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280024057.8A Pending CN117157228A (zh) 2021-03-25 2022-03-24 用于操作停车辅助系统的方法、计算机程序产品、停车辅助系统和车辆

Country Status (7)

Country Link
US (1) US20240158010A1 (zh)
EP (1) EP4313733A1 (zh)
JP (1) JP2024512572A (zh)
KR (1) KR20230160368A (zh)
CN (1) CN117157228A (zh)
DE (1) DE102021107523A1 (zh)
WO (1) WO2022200482A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007051612B4 (de) 2007-10-24 2009-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum automatisierten Vergleichen zweier Sätze von Messwerten
DE102017115991A1 (de) 2017-07-17 2019-01-17 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug mit erneutem Speichern von Trainingsdaten, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017123848A1 (de) * 2017-10-13 2019-04-18 Connaught Electronics Ltd. Automatisches Parken eines Fahrzeugs auf einem Parkplatz
US10845815B2 (en) * 2018-07-27 2020-11-24 GM Global Technology Operations LLC Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
US11679760B2 (en) * 2018-12-10 2023-06-20 Mobileye Vision Technologies Ltd. Navigation in vehicle crossing scenarios
WO2020180887A1 (en) 2019-03-04 2020-09-10 Iocurrents, Inc. Near real-time detection and classification of machine anomalies using machine learning and artificial intelligence

Also Published As

Publication number Publication date
EP4313733A1 (de) 2024-02-07
KR20230160368A (ko) 2023-11-23
DE102021107523A1 (de) 2022-09-29
WO2022200482A1 (de) 2022-09-29
US20240158010A1 (en) 2024-05-16
JP2024512572A (ja) 2024-03-19

Similar Documents

Publication Publication Date Title
CN109941286B (zh) 用于评估车辆行驶表面的方法和设备
CN110979321B (zh) 一种用于无人驾驶车辆的障碍物躲避方法
CN109074069B (zh) 具有改进的视觉检测能力的自主车辆
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
US20190335100A1 (en) Device and Method For Determining A Center of A Trailer Tow Coupler
CN110103953B (zh) 用于辅助车辆的驾驶控制的方法、设备、介质和系统
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8634593B2 (en) Pixel-based texture-less clear path detection
CN107421540B (zh) 一种基于视觉的移动机器人导航方法及系统
US20100098295A1 (en) Clear path detection through road modeling
CN114637023A (zh) 用于激光深度图取样的系统及方法
US9776564B2 (en) Vehicle periphery monitoring device
US20190065878A1 (en) Fusion of radar and vision sensor systems
CN112824997B (zh) 用于局部行进车道感知的方法和系统
CN108725318B (zh) 汽车安全预警方法、装置及计算机可读存储介质
US20230050706A1 (en) Associating perceived and mapped lane edges for localization
CN111968132A (zh) 一种基于全景视觉的无线充电对位的相对位姿解算方法
EP3029602A1 (en) Method and apparatus for detecting a free driving space
EP3555854B1 (en) A method of tracking objects in a scene
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
CN117157228A (zh) 用于操作停车辅助系统的方法、计算机程序产品、停车辅助系统和车辆
US11435191B2 (en) Method and device for determining a highly precise position and for operating an automated vehicle
DE102022125914A1 (de) Fusion von bilddaten und lidar-daten zur verbesserten objekterkennung
US20230264938A1 (en) Obstacle detector and obstacle detection method
CN111066024A (zh) 用于识别车道的方法和装置、驾驶员辅助系统以及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination