CN107066937B - 用于检测车辆的周围环境中的路肩石的设备和方法以及用于车辆的路肩石控制的系统 - Google Patents

用于检测车辆的周围环境中的路肩石的设备和方法以及用于车辆的路肩石控制的系统 Download PDF

Info

Publication number
CN107066937B
CN107066937B CN201710063618.6A CN201710063618A CN107066937B CN 107066937 B CN107066937 B CN 107066937B CN 201710063618 A CN201710063618 A CN 201710063618A CN 107066937 B CN107066937 B CN 107066937B
Authority
CN
China
Prior art keywords
vehicle
line segment
surroundings
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710063618.6A
Other languages
English (en)
Other versions
CN107066937A (zh
Inventor
P·拉卡托什
P·波日戈维科什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN107066937A publication Critical patent/CN107066937A/zh
Application granted granted Critical
Publication of CN107066937B publication Critical patent/CN107066937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于检测车辆(300)的周围环境中的路肩石(330)的方法。在使用图像数据的情况下所述方法具有检测属于所述路肩石(330)的至少一个线段(335)的步骤，所述图像数据从所述车辆(300)的至少一个摄像机装置(105)的接口读取。在此，所述图像数据代表所述车辆(300)的周围环境。所述方法也具有将至少一个线段(335)投影到所述周围环境的地平面上的步骤，以生成投影线段(340)。所述方法还具有根据点相对于所述摄像机装置(105)的位置的态势，相对于所述投影线段(340)的起点(342)的态势相对于所述投影线段(340)的终点(344)的态势将所述车辆(300)周围环境中多个三维三角测量点的至少一个子集分配给至少一个线段(335)的步骤。在此，所述三维三角测量点代表所述车辆(300)的周围环境中的对象点。此外，在使用所分配的点的情况下，所述方法具有确定所述路肩石(330)的侧平面的步骤。

Description

用于检测车辆的周围环境中的路肩石的设备和方法以及用于 车辆的路肩石控制的系统
技术领域
本发明从一种用于检测车辆的周围环境中的路肩石的方法或设置用于在相应的单元中实施所述方法的设备出发。本发明的主题也是一种计算机程序。
背景技术
车辆例如可以装有车辆摄像机。这种车辆摄像机可以构造用于拍摄车辆的周围环境。在周围环境中可能布置有对象，例如以障碍物等的造型的静态对象。
发明内容
在所述背景下，以在此所提出的方案提出一种用于检测车辆的周围环境中的路肩石的方法、和使用所述方法的设置用于在相应的单元中实施所述方法的设备、以及最后相应的设置用于实施所述方法的计算机程序。通过在所述方法的步骤中列举的措施，可以实现设置用于在相应的单元中实施所述方法的设备的有利的扩展方案和改善方案。
根据实施方式，例如可以在使用具有鱼眼镜头的摄像机的情况下实现路肩石检测。在此，可以例如也通过基于近距离摄像机平台的系统实现路肩石检测。尤其可以对车辆执行车辆周围环境中的路肩石的检测，并且附加地或替代地执行关于路肩石相对于车辆的态势(Lage)的控制，其中，例如也基于唯一的摄像机可以生成并且使用路肩石的三维示图。
有利地可以根据实施方式可靠地检测路肩石的位置和造型。这可以尤其也在使用仅仅唯一的车辆摄像机的情况下实现。还可以例如也监控并且控制路肩石与车辆之间的态势关系。因此可以改善车辆引导并且可以提高驾驶安全性。在此，可以准确、可靠并且开销不高地实施路肩石检测或路肩石控制。
提出一种用于检测车辆的周围环境中的路肩石的方法，其中，所述方法具有以下步骤：
在使用图像数据的情况下识别属于路肩石的至少一个线段，所述图像数据从至车辆的至少一个摄像机装置的接口读取，其中，所述图像数据代表车辆的周围环境；
将至少一个线段投影到周围环境的地平面上，以便生成投影线段；
将车辆的周围环境中的多个三维三角测量点的至少一个子集根据点相对于摄像机装置的位置的态势、相对于投影线段的起点的态势和相对于投影线段的终点的态势分配给至少一个线段，其中，所述三维三角测量点相应于车辆的周围环境中的对象点；
在使用经分配的所述点的情况下确定路肩石的侧平面(Flankenebene)。
所述方法例如可以以软件形式或硬件形式或以由软件和硬件构成的混合形式例如在控制设备中实现。所述车辆可以是机动车，尤其是道路运输工具，例如乘用车辆、载货车辆等。至少一个摄像机装置可以具有鱼眼镜头。在分配步骤中，可以将三维三角测量点分配或配属给至少一个线段并且附加地或替代地分配或配属给路肩石。侧平面可以具有所识别的线段。侧平面可以代表路肩石的关于地平面倾斜的面。地平面可以代表车道水平面或相对于车道水平面平行移动的平面。
根据一种实施方式，可以在分配步骤中检查：三维三角测量点是否布置在最大与分离平面相距预定义的距离中。在此，分离平面可以通过摄像机装置的位置、投影线段的起点和投影线段的终点来定义。这种实施方式提供以下优点：可以可靠地辨识潜在地属于路肩石的特征。尤其可以在此丢弃关于第一维的异常点。
也可以在分配步骤中检查：三维三角测量点是否在其投影到分离平面——所述分离平面通过摄像机装置的位置、投影线段的起点和投影线段的终点定义——中时布置在三角形——所述三角形通过摄像机装置的位置、投影线段的起点和投影线段的终点定义——内。这种实施方式提供以下优点：可以可靠且准确地辨识属于路肩石的特征。尤其可以在此丢弃关于第二维和第三维的异常点。
在确定步骤中，还可以根据经分配的所述点是否布置在离周围环境的地平面预定义的距离区间中来确定侧平面。换句话说，当经分配的所述点布置在离周围环境的地平面的预定义的距离区间中时，可以实施确定步骤。在此，也可以使用点的平均距离。这种实施方式提供以下优点：可以进一步更可靠地且更准确地检测路肩石。
对此，在确定步骤中，可以根据在分配步骤中是否已分配预定义的最小数量的点来确定侧平面。换句话说，当在分配步骤中已分配预定义的最小数量的点时，可以实施确定步骤。这种实施方式提供以下优点：可以进一步最小化错误检测。
在确定步骤中，尤其可以在使用经分配的所述点的所计算的质量中心的情况下确定路肩石的侧平面。这种实施方式提供以下优点：可以进一步更可靠地且更准确地确定侧平面的态势。
也可以在识别步骤中使用第一坐标系。在此，可以在投影步骤中、在分配步骤中、以及附加地或替代地在确定步骤中使用第二坐标系。在此，第一坐标系可以具有图像坐标，其中，第二坐标系可以具有世界坐标。这种实施方式提供以下优点：可以实现可靠的路肩石检测，其中，可以使用包括车辆和路肩石的参考框架(Referenzrahmen)。
此外，所述方法可以具有计算车辆与路肩石的在确定步骤中确定的侧平面之间的距离的步骤。可以在使用世界坐标的情况下计算所述距离。尤其可以在计算步骤中计算车辆的至少一个轮子或轮胎与路肩石的在确定步骤中确定的侧平面之间的距离。这种实施方式提供以下优点：实现车辆和路肩石之间的更可靠的距离控制。
在此，所述方法可以具有当在所述计算步骤中计算的距离小于预定义的安全距离时提供警告信号的步骤。这种实施方式提供以下优点：可以提高驾驶安全性并且可以提高驾驶舒适性。
所述方法还可以具有在时间上和附加地或替代地在车辆运动中跟踪至少一个线段、经分配的所述点并且附加地或替代地跟踪侧平面的步骤。跟踪步骤可以在使用图像数据的情况下实现，所述图像数据示出由车辆的摄像机装置时间相继地检测的图像数据。这种实施方式提供以下优点，可以实现路肩石检测的合理性检验以及可以进一步提高探测可靠性。
对此，所述方法可以具有求取车辆的周围环境中的多个三维三角测量点的步骤。在此，所述三维三角测量点相应于车辆的周围环境中的对象点。可以在使用至少一个摄像机装置的图像数据的情况下实施求取步骤。尤其可以在使用运动恢复结构的算法情况下实施求取步骤。这种实施方式提供以下优点：可以获得车辆的周围环境的可靠的并且正确的示图。
在此提出的方案还实现一种设备，所述设备构造用于在相应装置中执行、操控或实施在此提出的方法的一种变型方案的步骤。通过本发明的以装置形式的实施变型方案也可以快速地且高效地解决本发明所基于的任务。
为此，所述设备可以具有用于处理信号或数据的至少一个计算单元、用于存储信号或数据的至少一个存储单元、到传感器或执行器的用于从传感器读取传感器信号或用于向执行器输出数据信号或控制信号的至少一个接口和/或用于读取或输出数据的至少一个通信接口，所述数据嵌入通信协议中。计算单元例如可以是信号处理器、微控制器等，其中，存储单元可以是闪存、EPROM或磁存储单元。通信接口可以构造用于无线地和/或有线地读取或输出数据，其中，可以读取或输出有线数据的通信接口例如电地或光学地从相应的数据传输线路读取所述数据或向相应的数据传输线路中输出所述数据。
设备可以在此被理解为电设备，所述电设备处理传感器信号并且根据传感器信号输出控制和/或数据信号。所述设备可以具有接口，所述接口可以构造为硬件形式的和/或软件形式的。在硬件形式的构造中，接口例如可以是所谓的系统ASIC的一部分，所述系统ASIC包含设备的最不同的功能。但也可以实现的是，接口是单独的集成电路或至少由分立器件构成。在软件形式的构造中，接口可以是软件模块，所述软件模块与其他软件模块一起存在于微控制器上。
在一种有利的构型中，通过设备实现图像数据的处理。为此，所述设备例如可以动用至少一个摄像机装置的传感器信号，如摄像机信号和视频信号。所述设备可以构造用于提供经处理的图像数据，所述经处理的图像数据描述路肩石。
提出用于车辆的路肩石控制的系统，其中，所述系统具有以下特征：
用于提供车辆的周围环境的图像数据的至少一个摄像机装置；
上面所提及的设备的实施方式，所述设备与至少一个摄像机装置能够数据传输地可连接或连接。
在与用于路肩石控制的系统的连接中，可以有利地应用或使用上面所提及的设备的实施方式，以便检测车辆的周围环境中的路肩石。
有利的也是：具有程序代码的计算机程序产品或计算机程序，其可以在机器可读的载体或存储介质——如半导体存储器、硬盘存储器或光学存储器——上存储，并且被用于尤其当程序产品或程序在计算机上或设备上执行时执行、实施和/或操控根据上面所描述的实施方式之一的方法的步骤。
附图说明
在此所提出的方案的实施例在附图中示出并且在接下来的描述中进一步阐述。附图示出：
图1根据一种实施例的系统的示意性示图；
图2根据一种实施例的方法的流程图；
图3具有图1中的系统的车辆的以及车辆的周围环境的示意性示图；
图4在路肩石检测时的图3中的车辆的周围环境的示意性示图；
图5在路肩石检测时的图3或图4中的车辆的周围环境的示意性示图。
在本发明的有利的实施例的接下来的描述中，对于在不同附图中示出的并且类似作用的元素使用同样的或类似的附图标记，其中，不对所述元素做重复的描述。
具体实施方式
图1示出根据一种实施例的系统100的示意性示图。系统100构造用于实施车辆的路肩石控制或路肩石监控。因此，系统100可以在车辆中使用，尤其在机动车或道路运输工具中。
在此，系统100具有用于提供车辆的周围环境的图像数据110的至少一个摄像机装置105。根据在图1中示出的实施例，系统100例如具有仅仅一个摄像机装置105。图像数据110代表车辆的周围环境。摄像机装置105例如是车辆摄像机，所述车辆摄像机可以实施为静止图像摄像机(Standbildkamera)和/或视频摄像机。根据在图1中示出的实施例，摄像机装置105具有鱼眼镜头。摄像机装置105构造用于提供图像数据110。
系统100还具有检测设备120或者说用于检测车辆的周围环境中的路肩石的设备120。检测设备120能够数据传输地与摄像机装置105连接。因此，检测设备120构造用于从摄像机装置105接收或读取图像数据110。
检测设备120构造用于检测车辆的周围环境中的路肩石，在所述车辆中布置有用于使用的系统100。在此，检测设备120构造用于在使用摄像机装置105的图像数据110的情况下检测路肩石。检测设备120具有识别装置122、投影装置124、分配装置126和确定装置128。
求取装置122构造用于使用摄像机装置105的图像数据110。求取装置122例如构造用于从摄像机装置105或从到摄像机装置105的接口读取图像数据110。求取装置122构造用于在使用所读取的图像数据110的情况下识别属于路肩石的至少一个线段。求取装置122也构造用于向投影装置124移交所识别的线段或关于所识别的线段的信息。
投影装置124构造用于将至少一个线段投影到周围环境的地平面上，以生成投影线段。求取装置124还构造用于为分配装置126提供投影线段。
分配装置126构造用于将车辆的周围环境中的多个三维三角测量点的至少一个子集分配给至少一个线段。在此，分配装置126构造用于将所述三维三角测量点根据点相对于摄像机装置105的位置的态势、相对于投影线段的起点的态势和相对于投影线段的终点的态势分配给至少一个线段。在此，所述三维三角测量点相应于车辆的周围环境中的对象点。分配装置126还构造用于将经分配的所述点或关于经分配的所述点的信息继续传递给确定装置128。
确定装置128构造用于在使用经分配的所述点的情况下确定路肩石的侧平面。确定装置128尤其构造用于至少确定路肩石的侧平面。
以下参考接下来的附图还继续阐述检测设备120的工作原理。
图2示出根据一种实施例的用于检测的方法200的流程图。方法200可以实施用于检测车辆的周围环境中的路肩石。在此，用于检测的方法200可以与图1中的检测设备120或类似检测设备关联地实施或可以在使用图1中的检测设备120或类似检测设备的情况下实施。
用于检测的方法200具有识别步骤210，在所述识别步骤中，在使用图像数据的情况下识别属于路肩石的至少一个线段。在此，图像数据由到车辆的至少一个摄像机装置的接口读取并且代表车辆的周围环境。在关于识别步骤210的接下来可实施的投影步骤220中，将在识别步骤210中识别的至少一个线段投影到周围环境的地平面上，以便生成投影线段。
接下来，在分配步骤230中，将车辆的周围环境中的多个三维三角测量点中的至少一个子集根据点相对于摄像机装置105的位置的态势、相对于投影线段的起点的态势和相对于投影线段的终点的态势分配给至少一个线段。三维三角测量点相应于车辆的周围环境中的对象点。在确定步骤240中，在使用在分配步骤230中分配的点的情况下确定路肩石的侧平面。
根据一种实施例，方法200还具有计算步骤250，在所述计算步骤中，计算车辆与在确定步骤240中确定的路肩石的侧平面之间的距离。在可选的另一提供步骤260中，当在计算步骤250中计算的距离小于预定义的安全距离时，提供警告信号。
根据另一实施例，方法200还具有在时间上和/或在车辆运动中跟踪至少一个线段、经分配的所述点和/或侧平面的步骤270。在此，跟踪步骤270可以在确定步骤240或计算步骤250之后实施。
方法200根据一种实施例还具有求取车辆的周围环境中的多个三维三角测量点的步骤。在此，求取步骤280可以在分配步骤230之前实施。
根据一种实施例，在用于检测的方法200中，在识别步骤210中使用第一坐标系，其中，在投影步骤220中、分配步骤230中和/或在确定步骤240中使用第二坐标系。在此，第一坐标系具有图像坐标，其中，第二坐标系具有世界坐标。可选地，也可以在计算步骤250中、跟踪步骤270中和/或求取步骤280中使用第二坐标系。
根据另一实施例，在确定步骤240中，根据经分配的所述点是否布置在离周围环境的地平面的预定义的距离区间中和/或在分配步骤230中是否已分配预定义的最小数量的点来确定侧平面。尤其在确定步骤240中，在使用经分配的所述点的所计算的质量中心(Massenmittelpunkt)的情况下确定路肩石的侧平面。
图3示出具有图1中的系统的车辆300以及车辆300的周围环境的示意性示图。车辆300因此具有图1中的系统。根据一种实施方式，车辆300也可以具有用于路肩石控制的与图1中的系统类似的系统。对于所述系统，在图3中由于示图限制的原因仅仅示出摄像机装置105。
在车辆300的周围环境中布置有路肩石330。通过系统的检测设备，例如识别到路肩石330的多个线段，其中，在图3中示例性地仅仅用附图标记来标记线段335。在此，线段335代表路肩石330的棱边。为了清楚说明的目的，在车辆300的周围环境中还把路肩石的投影340象征性地标记到地面或地平面上。换句换说，示出至少一个投影线段340，所述投影线段代表线段335的投影。投影线段340具有起点342和终点344。在摄像机装置105和起点342之间，第一视线352延伸至起点342。在摄像机装置105和终点344之间，第二视线354延伸至终点344。
换句话说，图3示出车辆300和车辆300的周围环境的示意性俯视图。作为系统的检测设备的线探测算法的输出，得出线段335，所述线段已在路肩石330的棱边上被检测到并且被投影到地面上作为投影线段340。
图4示出在路肩石检测时图3中的车辆的周围环境的示意性示图。在图4的示图中，在此，示出摄像机装置105、路肩石330、线段335、代表路肩石330的从摄像机装置105出发到地面上的投影的投影线段340、起点342、终点344、第一视线352和第二视线354以及路肩石330到地面或地平面上的垂直投影430和点云或者说多个三维三角测量点460。
通过起点342、终点344和摄像机装置105的位置定义或撑开一个三角形。多个三维三角测量点460布置在所述三角形内或所述三角形外。还通过起点342、终点344和摄像机装置105的位置定义或撑开分离平面。
通过图1中的系统的检测设备或通过图2中的方法，为了将三维三角测量点460分配路肩石330的至少一个线段335或投影线段340而执行检查。如下地执行检查：三维三角测量点460在其投影到分离平面中时是否布置在图4所示出的三角形内。因此，根据三角形准则执行检查。分配在三角形内布置的并且因此满足三角形准则的点460，其中，丢弃在三角形外布置的点460。
换句话说，图4示出示意性的前视图，其中，通过三角形代表的分离平面通过起点342、终点344和摄像机装置105的位置定义。从点云中寻找那些足够靠近分离平面的三角测量点460。例如还假定，所述点460位于路肩石330的棱边周围。
图5示出在路肩石检测时的图3或图4中车辆的周围环境的示意性示图。与图4不同的是，在图5中，在此在示意性的侧视图中示出车辆的周围环境。在图5的示图中，在此示出摄像机装置105、路肩石330、投影线段340、多个三维三角测量点460、路肩石330的代表侧平面的、在此竖直的平面530、分离平面570、地平面580和高度h。在此，高度h例如相应于所假定的或所求取的路肩石330的高度或路肩石330的棱边的高度。
在图5的示图中，点460布置在分离平面570的两侧以及示例性地也在分离平面570中。通过图1中系统的检测设备或通过图2中的方法，为了将三维三角测量点460分配给路肩石330的至少一个线段335或分配给投影线段340而执行检查。如下地执行检查，三维三角测量点460是否布置在最大与分离平面570相距预定义的距离中。因此，根据平面距离准则执行检查。分配布置在最大离分离平面570预确定的距离的并且因此满足平面距离准则的点460，其中，丢弃布置在与分离平面570相距大于预确定的距离的其他点460。
换句话说，测量三角测量点460与分离平面570的距离，尤其垂直距离。当存在足够的点460时，可以在路肩石330自己与地平面580平行的假定下重构路肩石330的竖直平面530，从而竖直平面530或者说其侧平面530与地平面580基本上垂直。竖直平面530与车辆的轮胎或轮子之间的距离——尤其垂直距离现在是可测量的。如果例如轮子中的一个与路肩石330太靠近，就可以输出或提供警告信号。
参考图1至图5，接下来，示例性地用仅仅6个或直至6个主步骤描述用于路肩石检测或路肩石控制的示例性算法。
在线探测或线识别的步骤中，借助检测设备120或在实施方法200时识别至少一个线段335。因为路肩石330的结构大多数具有直线，所以所提出的算法充分利用所述事实。
在线投影的步骤中，借助检测设备120或在实施方法200时尤其使用具有鱼眼镜头的经校准的至少一个摄像机或者说摄像机装置105。在此，例如已知摄像机装置105在世界坐标中的位置，从而可以将图像坐标变换为世界坐标。这意思是，已在线识别时计算为图像坐标的线或线段335可以投影到地面或地平面580上并且可以转换成三维世界地图示图。
在三角测量的步骤中或求取三维三角测量点460的步骤中，例如使用如下算法：所述算法根据所谓的运动恢复结构(SfM，Struktur aus Bewegung运动恢复结构)的原理工作。但是存在多种可使用的用于重构作为点云的周围环境的方法。所述云可以具有围绕车辆300的多个三维三角测量点460，所述云使用所提出的算法，以便另外从周围环境中或图像数据110中获得关于路肩石330的棱边的高度h的高度信息。
在分配步骤230中，在使用所获得的输入数据的情况下例如借助平面距离准则(见图5)和三角形准则(见图4)分配或丢弃线段335。
对于平面距离准则给定三个在三维世界中的点。所述三个在三维世界中的点是地面上的投影线段340的开始点342或者说起点342、同样在地面上的投影线段340的终点344以及摄像机位置或者说摄像机装置105的位置。现在可以实现，由所述三个点定义分离平面570并且然后测量或确定点460或者说点云的元素与分离平面570的垂直距离。可以对于可靠的距离考虑最小容差范围。如果距离位于所述容差范围内，则可以分析处理三角形准则，否则，丢弃涉及当前线段335的点460。
三角形准则适合于限界可能的不合适的分配，所述不合适的分配潜在地仍被平面距离准则允许，因为平面示出无限的对象。为此，重新考虑地面上的投影线段340的起点342和终点344并且也考虑摄像机位置，但是现在充分利用以下事实，所述点总是在同一个平面中构造三角形，所述同一个平面定义为分离平面570。感兴趣的是，点云中的如下点460或其在分离平面570上的投影中的如下点460：所述点位于所述三角形的边界内。换句话说，将感兴趣的区域在三维中定义在分离平面570上。
如果三角测量三维点460满足上面所提及的准则，那么所述点460属于当前线段335。将点460的坐标与线段335一起存储，例如在结构(Struktur)中。执行每个线段335与三角测量三维点460之间的检查并且将点460分配给最近的平面，如果多于一个满足所述准则。
当实施所述分配时，那么在决定步骤中决定：点的平均高度h是否足够高以致于视为路肩330。经验法则表明，将越多的点分配给路肩330，则可以存在这种具有所计算的高度h的对象的可靠性越高。可以为一定数量的经分配的所述点460考虑一个下限或最小数量，以便防止错误的结论。
假定，点460的平均高度h位于可以看作路肩石330的预先定义的间隔中。在这种情况中，可以计算投影在分离平面570上的经分配的所述点460的重心或者说质量中心。在路肩石330的上端平行于地平面580并且路肩石330的侧面倾斜于或垂直于地平面580的假设下，路肩石330的一侧的竖直平面530根据分离平面570上的点460和线定义，所述分离平面570延伸通过点460。现在例如可以测量车辆的轮子与所述竖直平面530的垂直距离，并且可以决定：最终值位于阈值以下还是不位于阈值以下。
为了更确定关于路肩石330的存在并且减小可能的错误探测的数量，可以在时间上跟踪对象。对此，可以实施线跟踪或所谓的“Line Tracking”。
如果实施例包括第一特征与第二特征之间的“和/或”连接，那么这应如此理解：所述实施例根据一种实施方式既具有第一特征又具有第二特征而根据另一实施方式要么仅具有第一特征要么仅具有第二特征。

Claims (14)

1.一种用于检测车辆(300)的周围环境中的路肩石(330)的方法(200)，其中，所述方法(200)具有以下步骤：
在使用图像数据(110)的情况下识别(210)属于所述路肩石(330)的至少一个线段(335)，所述图像数据从到所述车辆(300)的至少一个摄像机装置(105)的接口读取，其中，所述图像数据(110)代表所述车辆(300)的周围环境；
将所述至少一个线段(335)投影(220)到所述周围环境的地平面(580)上，以便生成投影线段(340)；
将所述车辆(300)的周围环境中的多个三维三角测量的点(460)的至少一个子集根据所述点(460)相对于所述摄像机装置(105)的位置的态势、相对于所述投影线段(340)的起点(342)的态势和相对于所述投影线段(340)的终点(344)的态势分配(230)给至少一个线段(335)，其中，三维三角测量的所述点(460)相应于所述车辆(300)的周围环境中的对象点；
在使用经分配的所述点(460)的情况下确定(240)所述路肩石(330)的侧平面(530)。
2.根据权利要求1所述的方法(200)，其中，在所述分配步骤(230)中检查，三维三角测量的所述点(460)是否布置在最大与分离平面(570)相距预定义的距离中，其中，所述分离平面(570)通过摄像机装置(105)的位置、所述投影线段(340)的起点(342)和所述投影线段(340)的终点(344)定义。
3.根据权利要求1或2所述的方法(200)，其中，在所述分配步骤(230)中检查：三维三角测量的所述点(460)在其投影到分离平面(570)——所述分离平面通过所述摄像机装置(105)的位置、所述投影线段(340)的起点(342)和所述投影线段(340)的终点(344)定义——中时是否布置在三角形——所述三角形通过所述摄像机装置(105)的位置、所述投影线段(340)的起点(342)和所述投影线段(340)的终点(344)定义——内。
4.根据权利要求1或2所述的方法(200)，其中，在所述确定步骤(240)中，根据经分配的所述点(460)是否布置在离所述周围环境的地平面(580)的预定义的距离区间(h)中来确定所述侧平面(530)。
5.根据权利要求1或2所述的方法(200)，其中，在所述确定步骤(240)中，根据在所述分配步骤(230)中是否已分配预定义的最小数量的所述点(460)来确定所述侧平面(530)。
6.根据权利要求1或2所述的方法(200)，其中，在所述确定步骤(240)中，在使用经分配的所述点(460)的所计算的质量中心的情况下确定所述路肩石(330)的侧平面(530)。
7.根据权利要求1或2所述的方法(200)，其中，在所述识别步骤(210)中，使用第一坐标系，其中，在所述投影步骤(220)中、在分配步骤(230)中和/或在所述确定步骤(240)中，使用第二坐标系，其中，所述第一坐标系具有图像坐标，其中所述第二坐标系具有世界坐标。
8.根据权利要求1或2所述的方法(200)，其具有计算所述车辆(300)与所述路肩石(330)的在所述确定步骤(240)中确定的侧平面(530)之间的距离的步骤(250)。
9.根据权利要求8所述的方法(200)，所述方法具有当在所述计算步骤(250)中计算的距离小于预定义的安全距离时提供(260)警告信号的步骤。
10.根据权利要求1或2所述的方法(200)，其具有在时间上和/或在所述车辆(300)的运动中跟踪所述至少一个线段(335)、跟踪经分配的所述点(460)和/或跟踪所述侧平面(530)的步骤(270)。
11.根据权利要求1或2所述的方法(200)，其具有求取所述车辆(300)的周围环境中的多个三维三角测量的点(460)的步骤(280)，其中，三维三角测量的所述点(460)相应于所述车辆(300)的周围环境中的对象点。
12.一种设备(120)，所述设备设置用于在相应的单元(122，124，126，128)中实施根据上述权利要求中任一项所述的方法(200)的步骤。
13.一种用于车辆(300)的路肩石控制的系统(100)，其中，所述系统(100)具有以下特征：
用于提供所述车辆(300)的周围环境的图像数据(110)的至少一个摄像机装置(105)；
根据权利要求12的设备(120)，所述设备能够数据传输地与至少一个摄像机装置(105)可连接或能够数据传输地与至少一个摄像机装置(105)连接。
14.一种机器可读的存储介质，在所述存储介质上存储有计算机程序，所述计算机程序在计算机上或设备上执行时执行、实施和/或操控根据权利要求1至11中任一项所述的方法(200)的所有步骤。
CN201710063618.6A 2016-01-28 2017-02-03 用于检测车辆的周围环境中的路肩石的设备和方法以及用于车辆的路肩石控制的系统 Active CN107066937B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016201304.1 2016-01-28
DE102016201304.1A DE102016201304A1 (de) 2016-01-28 2016-01-28 Vorrichtung und Verfahren zum Erfassen eines Randsteins in einer Umgebung eines Fahrzeugs sowie System zur Randsteinkontrolle für ein Fahrzeug

Publications (2)

Publication Number Publication Date
CN107066937A CN107066937A (zh) 2017-08-18
CN107066937B true CN107066937B (zh) 2022-01-04

Family

ID=59327586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710063618.6A Active CN107066937B (zh) 2016-01-28 2017-02-03 用于检测车辆的周围环境中的路肩石的设备和方法以及用于车辆的路肩石控制的系统

Country Status (4)

Country Link
US (1) US10275665B2 (zh)
JP (1) JP7033389B2 (zh)
CN (1) CN107066937B (zh)
DE (1) DE102016201304A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018210692B4 (de) * 2018-06-29 2020-07-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bestimmen von Stützpunkten zum Schätzen eines Verlaufs einer Randbebauung einer Fahrbahn, computerlesbares Medium, System, und Fahrzeug
EP3620332B1 (en) * 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
DE102021207834A1 (de) * 2021-07-22 2023-01-26 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren für Kraftfahrzeuge zur Höhenerkennung von erhabenen Objekten
DE102021208827A1 (de) * 2021-08-12 2023-02-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Identifizierung von Kanten von Bordsteinen
DE102022125766A1 (de) 2022-10-06 2024-04-11 Connaught Electronics Ltd. Berechnung von Höheninformationen eines Bordsteins in einer Umgebung einesFahrzeugs

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6978037B1 (en) * 2000-11-01 2005-12-20 Daimlerchrysler Ag Process for recognition of lane markers using image data
CN101052124A (zh) * 2007-04-29 2007-10-10 戴宏 一种机动车、船夜视装置
CN102449673A (zh) * 2009-06-03 2012-05-09 爱信精机株式会社 车辆周边监控方法及车辆周边监控装置
US8411900B2 (en) * 2008-09-17 2013-04-02 Hitachi Automotive Systems, Ltd. Device for detecting/judging road boundary
US8933795B2 (en) * 2010-04-30 2015-01-13 Lg Electronics Inc. Video display apparatus and method
JP2015184900A (ja) * 2014-03-24 2015-10-22 トヨタ自動車株式会社 境界検出装置および境界検出方法
CN204924957U (zh) * 2015-08-24 2015-12-30 四川沃文特生物技术有限公司 全方位的粪便样本检测装置
JP2016009333A (ja) * 2014-06-24 2016-01-18 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5904725A (en) * 1995-04-25 1999-05-18 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP4569837B2 (ja) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
EP2993654B1 (en) * 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US9547795B2 (en) * 2011-04-25 2017-01-17 Magna Electronics Inc. Image processing method for detecting objects using relative motion
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
KR101906951B1 (ko) * 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
US9298993B2 (en) * 2014-02-27 2016-03-29 Xerox Corporation On-street vehicle parking occupancy estimation via curb detection
WO2015177648A1 (en) * 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
KR101632486B1 (ko) * 2014-07-09 2016-06-22 고려대학교 산학협력단 레이저 거리 센서를 이용한 도로의 연석 추출 방법 및 도로의 연석 정보를 이용한 이동 로봇의 위치 측정 방법
US9529087B2 (en) * 2014-07-24 2016-12-27 GM Global Technology Operations LLC Curb detection using lidar with sparse measurements
EP3007099B1 (en) * 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method
JP6412399B2 (ja) * 2014-10-22 2018-10-24 株式会社デンソー 物体検知装置
KR20160054825A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 주행 가능 공간 판단 장치 및 방법
US9870437B2 (en) * 2014-11-24 2018-01-16 Google Llc Systems and methods for detecting and modeling curb curves in complex urban scenes
CN104636763B (zh) * 2014-12-01 2018-10-09 北京工业大学 一种基于无人驾驶车的道路与障碍物检测方法
JP2016120892A (ja) * 2014-12-25 2016-07-07 富士通株式会社 立体物検出装置、立体物検出方法および立体物検出プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6978037B1 (en) * 2000-11-01 2005-12-20 Daimlerchrysler Ag Process for recognition of lane markers using image data
CN101052124A (zh) * 2007-04-29 2007-10-10 戴宏 一种机动车、船夜视装置
US8411900B2 (en) * 2008-09-17 2013-04-02 Hitachi Automotive Systems, Ltd. Device for detecting/judging road boundary
CN102449673A (zh) * 2009-06-03 2012-05-09 爱信精机株式会社 车辆周边监控方法及车辆周边监控装置
US8933795B2 (en) * 2010-04-30 2015-01-13 Lg Electronics Inc. Video display apparatus and method
JP2015184900A (ja) * 2014-03-24 2015-10-22 トヨタ自動車株式会社 境界検出装置および境界検出方法
JP2016009333A (ja) * 2014-06-24 2016-01-18 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
CN204924957U (zh) * 2015-08-24 2015-12-30 四川沃文特生物技术有限公司 全方位的粪便样本检测装置

Also Published As

Publication number Publication date
DE102016201304A1 (de) 2017-08-03
US10275665B2 (en) 2019-04-30
CN107066937A (zh) 2017-08-18
JP7033389B2 (ja) 2022-03-10
JP2017151968A (ja) 2017-08-31
US20170220878A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
CN107066937B (zh) 用于检测车辆的周围环境中的路肩石的设备和方法以及用于车辆的路肩石控制的系统
CN115461258B (zh) 用于自主导航期间对象避让的方法
CN106463064B (zh) 物体识别装置和使用该物体识别装置的车辆行驶控制装置
US10242576B2 (en) Obstacle detection device
KR101887335B1 (ko) 자기 위치 추정 장치 및 자기 위치 추정 방법
KR101900228B1 (ko) 주차 지원 방법 및 장치
US10650271B2 (en) Image processing apparatus, imaging device, moving object device control system, and image processing method
US9360332B2 (en) Method for determining a course of a traffic lane for a vehicle
JP6328327B2 (ja) 画像処理装置及び画像処理方法
CN106537180A (zh) 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
US20180347991A1 (en) Method, device, map management apparatus, and system for precision-locating a motor vehicle in an environment
CN106183979A (zh) 一种根据车距对车辆进行提醒的方法和装置
JP2023164425A (ja) 三次元点群データ生成方法
JP2018048949A (ja) 物体識別装置
CN114648744A (zh) 确定语义无碰撞空间的方法
US20180336695A1 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
CN112400094B (zh) 物体探测装置
JP2018169924A (ja) 学習データ収集装置、学習データ収集システムおよび学習データ収集方法
CN116635919A (zh) 物体跟踪装置以及物体跟踪方法
EP3540643A1 (en) Image processing apparatus and image processing method
JP6756507B2 (ja) 環境認識装置
JP2018092608A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
WO2023175741A1 (ja) 外界認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant