CN114127796A - 用于生成用于机动车辆的成像系统的透视校正的和/或修剪的叠加层的方法 - Google Patents

用于生成用于机动车辆的成像系统的透视校正的和/或修剪的叠加层的方法 Download PDF

Info

Publication number
CN114127796A
CN114127796A CN202080052745.6A CN202080052745A CN114127796A CN 114127796 A CN114127796 A CN 114127796A CN 202080052745 A CN202080052745 A CN 202080052745A CN 114127796 A CN114127796 A CN 114127796A
Authority
CN
China
Prior art keywords
data
image
predicted
path
travel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080052745.6A
Other languages
English (en)
Inventor
L·黑希勒
M·施瓦尔布
F·穆阿拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motherson Innovations Co Ltd
Original Assignee
Motherson Innovations Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motherson Innovations Co Ltd filed Critical Motherson Innovations Co Ltd
Publication of CN114127796A publication Critical patent/CN114127796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope

Abstract

本发明涉及一种用于生成用于机动车辆的成像系统的透视校正的叠加层的计算机实现的方法、一种用于生成用于机动车辆的成像系统的修剪的叠加层的方法、用于执行相应方法的设备以及包括成像系统和这种设备的机动车辆。

Description

用于生成用于机动车辆的成像系统的透视校正的和/或修剪 的叠加层的方法
技术领域
本发明涉及一种用于生成用于机动车辆的成像系统的透视校正的和/或修剪的叠加层的计算机实现的方法、用于执行相应方法的设备以及包括成像系统和这种设备的机动车辆。
背景技术
高级驾驶员辅助系统(ADAS)在当今的机动车辆中变得越来越标准，它们有助于提高机动车辆驾驶员和其它乘客以及道路交通中其它参与者的安全性。其中，在倒车期间连续捕获车辆后方环境图像的后视相机就是这种ADAS的一个示例。环境的相应图像被显示给机动车辆的驾驶员，以便驾驶员意识到例如位于机动车辆后面车辆轨道上的障碍物。这进而防止驾驶员撞到被机动车辆遮挡或以其它方式在驾驶员视野之外的任何物体。尤其是这种ADAS支持避免人员受伤的情况。
在捕获的图像内，通常会显示另外的信息以辅助驾驶员。例如，可能显示车辆和障碍物之间即将发生碰撞的相应警告。
例如在DE 10 2008 049 113 A1中公开了一种方法，该方法涉及通过一组测距传感器测量泊车空间并且通过相机检测泊车空间的面积。表示检测到的泊车空间的图片被投影到相机的图像中。此外，取决于泊车系统的实施方式，为泊车过程计算的目标车道和实际车道被投影。
在WO 2004/024498 A1中，公开了一种包括相机设备和传感器设备的车辆环境设备。传感器设备的测量结果与相机图像组合，使得在合适的显示器中输出由传感器系统检测到的相机视野外的障碍物。
尤其是显示车辆或车辆车轮的相应行驶路径已被证明是当显示为捕获图像上的叠加层以在倒车期间形成组合图像时对驾驶员特别有用的信息。但是，这种叠加层并非在所有情况下都有用，或者在特殊情况下甚至会分散驾驶员的注意力。例如，当叠加层未显示在正确位置时就是这种情况，其结果是基于这种有缺点的信息，驾驶员可能做出可能更加导致危险情况的不适当的决定。
因此，本发明旨在提供这样的方案：该方案解决上述问题并提高提供给车辆的驾驶员和其它乘客以及道路交通中的其它参与者的安全性，但同时易于实施并且在驾驶机动车辆期间使用容易且直观。
发明内容
本发明根据第一方面通过一种计算机实现的方法解决了问题，该方法用于生成用于车辆的至少一个成像系统的表示车辆环境的至少一个2D图像的至少一个透视校正的叠加层，包括以下步骤：接收2D图像中表示的车辆环境的至少一部分的3D数据；至少基于车辆的至少一个转向角确定车辆车轮的至少一个预测的行驶路径，并且该预测的行驶路径当在2D图像中显示为叠加层时与2D图像一起形成组合的2D图像；至少基于预测的行驶路径、基于至少2D图像、基于至少2D图像的一些2D图像数据、基于至少一些3D数据和/或转向角，获得至少一个调整的行驶路径，该调整的行驶路径对应于预测的行驶路径的至少一个透视校正的子区段并且当在2D图像中显示为叠加层时看起来至少逐区域地遵循2D图像中环境的至少一个表面地形和/或尤其是当遵循2D图像中环境的地形时终看起来止于表示车辆无法通过的至少一个地区的至少一个边界的至少一个障碍物处。
尤其提出，获得调整的行驶路径包括以下步骤：至少将预测的行驶路径的子区段分段成至少两个片段；以及至少基于至少隐含地经由2D图像和/或2D图像的相应2D图像数据与至少一个、优选地每个片段相关联的3D数据来确定调整的行驶路径。
优选地，分段的步骤包括以下步骤：将预测的行驶路径的子区段或整个预测的行驶路径划分成尤其是跨预测的行驶路径和/或沿着预测的行驶路径均等分布和/或成矩形形状的至少两个片段。
替代地或附加地，还提出确定调整的行驶路径包括以下步骤：
(i)通过在至少一个组合图像中组合2D图像和预测的行驶路径，至少虚拟地和/或部分地生成组合的2D图像；和/或(ii)尤其是对于每个片段，至少基于组合的2D图像和/或基于2D图像，确定与组合的2D图像和/或2D图像中表示的分别优选地由片段的边界包围的环境部分对应的至少一个3D数据集合。
本发明的方法还可以替代地或附加地特征在于以下步骤：(i)尤其是对于每个片段，至少基于3D数据集合，确定与该片段的3D数据集合对应的环境部分的特定属性的至少一个平均值；和/或(ii)尤其是对于每个片段，尤其是在2D图像和/或组合的2D图像的坐标系中，优选地至少基于尤其是在2D图像和/或组合的2D图像内的片段的位置、3D数据、平均值，和/或片段的扩展，调整片段的形状和/或位置，优选地用于创建当在2D图像中显示为叠加层时的片段的透视校正的外观。
此外，替代地或附加地提出，该方法包括以下步骤：(i)尤其是对于每个片段，优选地基于平均值、基于片段在调整的行驶路径内的位置和/或基于2D图像和/或组合的2D图像中片段与车辆之间的距离，调整片段的阴影，尤其是片段的颜色的色调；和/或(ii)除非所有片段都已被处理和/或调整，否则为尤其是被预测的行驶路径的子区段包含的每个片段重复步骤中的至少一部分，使得获得调整的行驶路径。
替代地或附加地，也优选地，确定调整的行驶路径还包括以下步骤：尤其是对于每个片段，尤其是分别基于该片段的3D数据集合和/或平均值，确定与对应于该片段的3D数据集合的环境部分相关联的至少一个法向量，以及计算法向量和参考向量之间的至少一个角度，尤其是与指向与从至少一个光源发出的至少一个光线对应的方向的参考向量之间的至少一个角度，其中优选地(i)光源是虚拟光源，(ii)从光源发出的(一个或多个)光线是(一个或多个)定向光线，(iii)光源具有方向，(iv)光源具有在2D图像中显示的场景上方的位置，和/或(v)(一个或多个)光线具有与在特定时间，尤其是在处理的时间的至少一个日光方向对齐的方向。
还提出替代地或附加地该方法包括以下步骤：尤其是对于每个片段，优选地基于平均值、基于角度，尤其是基于角度的余弦，和/或在由至少一个最小亮度值和/或至少一个最大亮度值界定的至少一个范围内，调整片段的阴影，尤其是片段的颜色的亮度。
替代地或附加地，也优选地，其中获得调整的行驶路径还包括以下步骤：尤其是至少基于3D数据、预测的行驶路径和/或基于与环境相关的辅助数据，确定预测的行驶路径的子区段，尤其是预测的行驶路径的子区段的靠近车辆的至少一个起点和/或预测的行驶路径的子区段的远离车辆的至少一个终点，其中尤其是(a)预测的行驶路径的子区段的起点对应于预测的行驶路径的起点，(b)3D数据和辅助数据指示环境中可能与预测的行驶路径相交的障碍物，(c)预测的行驶路径的子区段，尤其是终点，是基于沿着预测的行驶路径从近到远与预测的行驶路径相交的第一个障碍物的位置确定的，优选地在与预测的行驶路径相交的第一个障碍物的位置处，(d)如果障碍物具有超过分别涉及扩展、高度、朝向和位置的至少一个预定义阈值的至少一个扩展、至少一个高度、至少一个朝向和/或至少一个位置，那么障碍物被识别为与预测的行驶路径相交，和/或(e)考虑地面的坡度、驾驶坡度的角度和/或车辆的离地间隙来识别相交的障碍物。
本发明还替代地或附加地提出，获得调整的行驶路径还包括以下步骤：基于依赖于2D图像数据、3D数据和/或辅助数据的对象和/或场景分类来调整所确定的预测的行驶路径的子区段。
还优选的是，预测的行驶路径的子区段与整个预测的行驶路径相同；和/或与3D数据集合对应的环境部分的特定属性，尤其是在3D数据的坐标系中，分别是环境部分的尤其相对于至少一个参考坡度的至少一个坡度、尤其相对于至少一个参考朝向的至少一个朝向、尤其相对于至少一个参考高度的至少一个高度、尤其相对于至少一个参考位置的至少一个位置，和/或至少一个扩展。
本发明根据第二方面通过一种计算机实现的方法解决了问题，该方法用于生成用于车辆的至少一个成像系统的表示车辆环境的至少一个2D图像的至少一个修剪的叠加层，包括以下步骤：接收2D图像中表示的车辆环境的至少一部分的3D数据；至少基于车辆的至少一个转向角确定车辆车轮的至少一个预测的行驶路径，并且该预测的行驶路径当在2D图像中显示为叠加层时，与2D图像一起形成组合的2D图像；至少基于预测的行驶路径、基于至少2D图像、基于至少2D图像的一些2D图像数据、基于至少一些3D数据和/或转向角，获得至少一个调整的行驶路径，该调整的行驶路径对应于预测的行驶路径的至少一个修剪的子区段并且当在2D图像中显示为叠加层时看起来终止于表示车辆无法通过的至少一个地区的至少一个边界的至少一个障碍物处。
尤其提出，获得调整的行驶路径包括以下步骤：尤其是至少基于3D数据和/或预测的行驶路径，确定预测的行驶路径的子区段，尤其是预测的行驶路径的子区段的靠近车辆的至少一个起点和/或预测的行驶路径的子区段的远离车辆的至少一个终点；其中优选地，3D数据指示环境中可能与预测的行驶路径相交的障碍物，并且预测的行驶路径的子区段，尤其是终点，是基于沿着预测的行驶路径从近到远与预测的行驶路径相交的第一个障碍物的位置确定的，优选地在与预测的行驶路径相交的第一个障碍物的位置处。
替代地或附加地，也优选地，预测的行驶路径的子区段的起点对应于预测的行驶路径的起点。
此外，替代地或附加地提出，如果障碍物具有超过分别涉及扩展、高度、朝向和位置的至少一个预定义阈值的至少一个扩展、至少一个高度、至少一个朝向和/或至少一个位置，那么障碍物被识别为与预测的行驶路径相交。
优选实施例的特征可能在于，考虑地面的坡度、驾驶坡度的角度和/或车辆的离地间隙来识别相交的障碍物；和/或获得调整的行驶路径还包括以下步骤：基于依赖于2D图像数据、3D数据和/或辅助数据的对象和/或场景分类来调整预测的行驶路径的确定的子区段。
替代地或附加地，根据第一方面和/或根据第二方面的本发明还优选的是，该方法还包括以下步骤：(i)尤其是在车辆的至少一个显示单元上和/或向车辆的驾驶员显示具有调整的行驶路径作为叠加层的2D图像，其中显示单元尤其包括至少一个监视器、至少一个平视显示器、至少一个投影仪和/或至少一个触摸显示器；和/或(ii)还显示调整的行驶路径的至少一个端点的至少一种可视化，尤其是该可视化采用至少一个标记元素的形式，诸如至少一个线形或矩形形状叠加层，其尤其(a)包围定义了调整的行驶路径的终点的相应障碍物的轮廓和/或(ii)与调整的行驶路径的最远的片段对齐。
替代地或附加地，也优选地，(i)该方法还包括接收2D图像数据和/或接收辅助数据的步骤；(ii)2D图像由2D图像数据表示；(iii)2D图像数据是经采样的2D图像数据；(iv)3D数据是经采样的3D数据；(v)辅助数据是经采样的辅助数据；(vi)2D图像数据是从至少一个第一数据源接收的；(vii)3D数据是从至少一个第二数据源接收的；(viii)辅助数据是从至少一个第三数据源接收的；(ix)2D图像数据与相应的3D数据相关联，尤其是经采样的2D图像数据的每个样本与经采样的3D数据的至少一个样本相关联；(x)辅助数据的至少一部分基于3D数据或与3D数据的至少一部分相同。
本发明尤其提出第一数据源、第二数据源和/或第三数据源至少部分地包括(a)至少一个飞行时间(TOF)传感器，(b)至少一个LIDAR传感器，(c)至少一个超声波传感器，(d)至少一个雷达传感器，(e)至少一个相机传感器，尤其是结合借助于至少一种运动恢复重建方法、至少一种场景分类方法和/或至少一种对象分类方法来评估相机传感器的数据，(f)至少一个立体相机，和/或(g)至少两个被布置用于立体视觉的相机传感器，和/或第一、第二和第三数据源中的至少两个、优选地所有数据源至少部分相同。
尤其优选的是，在2D图像中表示的车辆环境的至少一部分是车辆后方或前方的环境；和/或转向角是当前转向角。
本发明根据第三方面通过一种数据处理设备解决了问题，该数据处理设备包括用于执行根据本发明的第一和/或第二方面的任一前述实施例的方法的步骤的装置。
本发明根据第四方面通过包括至少一个成像系统和根据本发明的第三方面的数据处理设备的机动车辆解决了问题。
替代地或附加地，也优选地，机动车辆还包括(a)至少一个飞行时间(TOF)传感器，(b)至少一个LIDAR传感器，(c)至少一个超声波传感器，(d)至少一个雷达传感器，(e)至少一个相机传感器，尤其被调整以借助于至少一种运动恢复重建方法、至少一种场景分类方法和/或至少一种对象分类方法来评估相机传感器的数据，(f)至少一个立体相机，(g)至少两个被布置用于立体视觉的相机传感器，和/或(h)至少一个显示单元。
因此，关于本发明的第一方面，令人惊讶地发现，结合车辆，尤其是机动车辆的环境的3D数据，允许改进显示给驾驶员的相应环境的2D图像内车辆车轮的预测的行驶路径的表示。特别是发现3D数据允许考虑环境的真实地面拓扑，因此，调整预测的行驶路径，使得它看起来遵循环境的地形。这又允许动态地调节预测的行驶路径，使得在每种情况下都可以向驾驶员提供以2D图像上的相应叠加层形式的行驶路径的准确估计。因此，尤其是可以在正确的位置显示叠加层，从而又允许驾驶员容易地识别和解释所显示的车辆周围环境的轮廓。例如，当地面有坡度或行驶路径中有路缘、突起或其它障碍物时，可以适当调整叠加层的路线以适应环境的地形，这允许基于显示做出可靠的决定，这与现有技术的系统形成对比，在现有技术中，在2D图像中提供的信息与在显示预测路径的叠加层中提供的信息不一致。
将预测的行驶路径分段并单独对每个片段进行操作已被证明是一种非常有前途的方法。这允许调整每个片段，尤其是关于它的阴影(这意味着尤其分别是片段颜色的色调和亮度)和它的形状。当用作2D图像中的叠加层时，调整片段有助于和/或本质上表示实现调整的行驶路径的外观。根据所要求保护的主题，已经发现调整片段的方式进而可以基于3D数据集合的平均值是有前途的。这允许结合真实环境的属性(由3D数据(的样本)表示)以在形状和阴影方面适当地调整片段。
如果已知或可获得涉及预测的行驶路径与2D图像(和/或相应的2D图像数据)之间的关系的信息，那么在这方面这特别有用。例如，可能知道或可获得预测的行驶路径的哪个区段将覆盖2D图像的哪个部分，在将在组合的2D图像中执行两者的组合的情况下。当然，没有必要(但是仍然可能)为了操作所提出的方法的目的而实际上创建这样的组合2D图像。已知或可获得一方面预测的行驶路径和2D图像(数据)之间的与另一方面2D图像(数据)和3D数据之间的前述链接就足够。关于这种关系的知识由术语“虚拟组合的2D图像”或“生成虚拟组合的2D图像”来指代。
仍然根据本发明的第一方面，另外还可能的是调整的行驶路径对应于预测的行驶路径的子区段。已发现该优选实施例在支持车辆的驾驶员方面是有前途的，因为这允许在2D图像中显示为叠加层的行驶路径终止于已在车辆环境中检测到并且位于车辆行驶路径中的障碍物处(例如，在倒车期间)。通过使用指示障碍物的3D数据并识别跨越预测的行驶路径的这些障碍物(如果有的话)，可以以高效的方式实现用于进一步处理的预测的行驶路径的相应子区段。通过应用特定阈值，能够仅使用确实允许车辆越过障碍物的障碍物来定位行驶路径的终点。例如车辆的底盘间隙或离地间隙将不允许车辆越过障碍物。例如，在车轮接触障碍物之前，在扰流板或后帷幔(valance)区域中，车轮前面的底盘间隙可能不够。另一种情况是，由于障碍物的宽度与车辆的轴距相比减小，因此跨越障碍物会导致轴之间的起落架撞到障碍物。因此，驾驶员对叠加层直观理解，因此避免了叠加层被误解的关键情况，尤其是理解叠加层指示车辆可能越过障碍物。
例如，地面坡度、行驶坡度的角度和车辆的离地间隙和/或环境中存在的障碍物的评估结果(以及优选地这些障碍物的参数，尤其是与阈值相比)分别单独或组合定义区域是否可通行，并且因此也可以和可选地在确定调整的行驶路径和/或其它信息的过程中使用。
还发现，关于本发明的第二方面，如果仅基于环境的3D数据预测的行驶路径终止于障碍物处(其尤其对应于选择适当的子区段，如上文关于本发明的第一方面所述)但不进一步调整行驶路径的外观，那么它也已经提高了对在2D图像中显示为叠加层的预测的行驶路径的理解。
关于上述本发明的两个方面(上述本发明的第一方面和第二方面)，还发现有利的是，关于障碍物的存在使车辆无法通过路径做出的决定经受了审查。该审查可能基于相同的3D数据，基于该3D数据已经初步确定了预测的行驶路径的子区段。但是替代地或附加地，也可以合并诸如辅助数据之类的其它数据。此类辅助数据可能源自3D数据以外的其它来源。独立于所使用的数据源，对于审查，也可能与初始选择相比选择另一种方法(例如，对象分类和/或场景分类)来做出决定。这是特别有用的，因为这种“另一种方法”可能比最初确定子区段的方法计算成本更高，并且因此，要求这种“另一种方法”仅在完全存在任何障碍(尤其是一个使路径无法通过的障碍物)的情况下执行。但是，如果至少有一个障碍物使车辆无法通过路径，那么可以以更多计算负载为代价对这一决定进行审查。
这允许将先前的决定从例如“不可通过”更改为“可通过”，因为在审查期间，例如可能会发现最初检测到的障碍物只是草，这使得该路径并不会让车辆无法通过。
关于上述本发明的两个方面(上述本发明的第一方面和第二方面)，还令人惊讶地发现，可选地突出显示调整的行驶路径终止处的障碍物可能提高ADAS的可靠性以及驾驶员的理解。突出显示障碍物可以例如通过将相应的矩形或线形形状标记元素显示为叠加层来实现，尤其是该标记元素遵循障碍物或障碍物的至少一些边缘和/或曲率。
根据第一方面和第二方面的本发明可以优选地用于车辆的视觉系统，其包括提供3D数据和2D图像(例如，彩色2D图像)的传感器系统。传感器系统可以包括分别用于3D数据和2D图像的两个单独的传感器。但是，用于3D数据和2D图像两者的通用传感器也是可能的。因此，在这些方法中处理的数据(3D数据、2D图像数据、辅助数据)可能具有相同或不同的来源。尤其是以下设置已被识别为适用于本申请中描述的目的(但是可能存在其它设置)：
1.用于3D和2D数据的一个飞行时间(TOF)传感器。
2.用于3D的一个TOF传感器和用于2D数据的相机传感器。
3.用于2D和3D数据两者的两个相机传感器(立体视觉)。
4.用于2D和3D数据两者的一个相机传感器(结合运动恢复重建)。
5.用于2D和3D数据两者的一个相机传感器(结合场景和/或对象分类)。
6.用于3D数据的一个或多个超声波传感器和用于2D数据的一个相机传感器。
7.用于3D数据的一个激光雷达传感器和用于2D数据的一个相机传感器。
8.用于3D数据的一个雷达传感器和用于2D数据的一个相机传感器。
已经发现，如果所有部署的传感器的外部位置和朝向是已知的，尤其是相对于彼此和/或相对于车辆，那么这特别有用。相应的系统还可以包括用于运行处理所有获取的数据的软件的一个或多个设备(或一般而言硬件)。系统还可以被调整以从车辆接收信号，例如当前转向角。传感器优选地以能够可靠地检测到高于车辆离地间隙的障碍物的方式安装。
总之，2D图像数据、3D数据和/或辅助数据的合并和/或组合允许提供在2D图像中显示为叠加层时的行驶路径(即，转向线)的改进外观(例如，阴影、形状、三维外观和/或终止)。
相应的优选传感器系统可以描述如下(但是仍有许多可能的变型)：
相应的传感器系统可以获取传输到软件的场景的3D信息和2D彩色图像数据。所有部署的传感器的外部位置和朝向可以是已知的。软件可以借助于当前的转向角来确定车辆车轮的预测的行驶路径。例如，该预测的行驶路径可能被纵向相等地分段成四边形区域。对与这些区域相关联的经采样的3D点进行平均以获得平均值。对于每个片段，可以计算(对应环境的)表面法线。片段的基于结构的阴影可能以不同的方式显示。例如，光方向和表面法线之间角度的余弦可能与将用于遮蔽该片段的颜色的亮度成比例(Lambert余弦定律)。对于所有使用的颜色，可能定义了最小和最大亮度级别。实际使用的亮度级别可能由上述角度的余弦定义。所用颜色的色调可能取决于阴影区域与车辆的距离。得到的阴影(着色)区域可能被投影到发送到显示设备的2D图像数据上。
附图说明
下列附图结合一些示例性图示示出了本发明的各方面以用于提高对本发明的理解，其中
图1示出了根据本发明的第一方面的方法的流程图；
图2示出了具有预测的行驶路径形式的叠加层的第一2D图像；
图3示出了具有分段的预测的行驶路径形式的叠加层的第二2D图像；
图4示出了具有入射光线的两个区域的图示；
图5示出了具有调整的行驶路径形式的叠加层的第三2D图像；
图6示出了具有与线形形状的标记元素组合的调整的行驶路径形式的叠加层的第四2D图像；
图7示出了具有与线形形状的标记元素组合的调整的行驶路径形式的叠加层的第五2D图像；以及
图8示出了根据本发明的第二方面的方法的流程图。
具体实施方式
图1示出了根据本发明的第一方面的计算机实现的方法的流程图100，该方法用于生成用于车辆的至少一个成像系统的表示车辆环境的至少一个2D图像的至少一个透视校正的叠加层。
在步骤101中，接收在2D图像中表示的车辆环境的至少一部分的3D数据。环境尤其是车辆的后方。在倒车时向驾驶员显示2D图像允许驾驶员无需向后看即可控制驾驶操作，并且此外，还允许驾驶员特别注意驾驶员的视野中被车身遮挡的那部分环境。
在步骤103中，基于优选地是车辆的当前转向角的转向角确定车辆车轮的至少一个预测的行驶路径。该预测的行驶路径通常可以用作2D图像中的叠加层。如何确定这种常规的预测的行驶路径对于本领域技术人员来说是众所周知的，因此在此无需进一步详细解释。
当预测的行驶路径在2D图像中显示为叠加层时，它与2D图像一起形成组合的2D图像。
图2示出了第一场景的这种组合的2D图像201，其由车辆后方的(第一场景的)环境的2D图像203以及车辆的左侧车轮和车辆的右侧车轮两者的预测的行驶路径205组合而成。如从图2中可以看出，在组合的2D图像201中，预测的行驶路径被静态地投影到2D图像203上，而没有考虑真实的地面地形。
注意的是，通常，不一定需要为正确操作的方法实际生成组合的2D图像。已知或可获得预测的行驶路径与2D图像(和/或相应的2D图像数据)之间的关系也可能就足够。
基于预测的行驶路径、2D图像数据(该2D图像数据表示2D图像)和3D数据，获得调整的行驶路径。该调整的行驶路径对应于预测的行驶路径的至少一个透视校正的子区段。
获得调整的行驶路径包括在步骤105中基于预测的行驶路径和/或3D数据确定预测的行驶路径的子区段。预测的行驶路径的子区段的起点可以对应于预测的行驶路径的起点。可以基于沿着预测的行驶路径从近到远与预测的行驶路径相交的第一障碍物的位置来确定预测的行驶路径的子区段的终点。在这方面，3D数据指示环境中的可能与预测的行驶路径相交的障碍物，并且如果障碍物具有超过分别涉及扩展和位置的至少一个预定义阈值的至少一个扩展和/或至少一个位置，那么障碍物被识别为与预测的行驶路径相交。这意味着3D数据可能指示许多障碍物，但取决于例如阈值和这方面的其它定义，它们之中只有一些或甚至没有一个实际上相交。
当然，如果没有识别出与预测的行驶路径相交的障碍物，那么预测的行驶路径的子区段可能包括整个预测的行驶路径，并且预测的行驶路径的子区段等同于整个预测的行驶路径。但是，确定子区段允许使最终获得的调整的行驶路径终止于例如由于车辆太大而不能被车辆通过的障碍物处。当然，这一步骤也可以看作是可选的，因为叠加层仍然还会看起来像包围大障碍物。但是，借助于确定适当的子区段，可以提高驾驶员对障碍物表示不可通过的区域的理解。
获得调整的行驶路径包括在步骤107中将预测的行驶路径的子区段分段。这又包括将预测的行驶路径(的子区段)划分成片段。在这个实施例中，片段沿着预测的行驶路径(的子区段)均等分布并且是矩形形状的。
图3示出了第二场景的第二组合的2D图像207，其由车辆后方的(第二场景的)环境的2D图像209和预测的行驶路径211组合而成，但以分段的方式。显然，与上述图2中的情况相反，在图3中仅示出了单个预测的行驶路径211。在图3中，仅标记了预测的行驶路径的多个片段213中的两个。
获得调整的行驶路径还包括在步骤109中至少基于经由2D图像的2D图像数据与每个片段相关联的3D数据来确定调整的行驶路径。这在步骤109a(其可以被视为步骤109的子步骤)中通过对于每个片段确定与2D图像(或组合的2D图像)中表示的被片段的边界包围的环境部分对应的3D数据集合来完成。
因此，一旦确定了2D图像中由片段的边界包围的区域，就例如可以确定3D数据集合，因为2D图像数据(表示2D图像)与相应的3D数据相关联。
在步骤109b中(其可以被视为步骤109的子步骤)，对于每个片段，至少基于3D数据集合确定与该片段的3D数据集合对应的环境部分的坡度和高度(即，特定属性)的各自的至少一个平均值。换句话说，在这个实施例中，确定被3D数据覆盖(因此，被2D图像/组合的2D图像中的片段覆盖)的环境部分的两个属性(坡度和高度)的各自的局部平均值。
在步骤109c(其可以被视为步骤109的子步骤)中，对于每个片段，当在2D图像中作为叠加层显示时，调整片段的形状和/或位置以创建片段的透视校正的外观。在这个实施例中，该调整基于平均值，但是也可以替代地或附加地在调整片段的过程中结合例如2D数据、片段的位置或片段的扩展。换句话说，这种调整基本上意味着调整片段的2D样式(其可以被视为预测的行驶路径的一部分)，使得当片段在2D图像中作为叠加层显示时，看起来该片段遵循或包围2D图像的那个区域中的环境的轮廓(即，地形)。
在步骤109d(其可以被视为步骤109的子步骤)中，对于每个片段，确定与对应于该片段的3D数据集合的环境部分相关联的至少一个法向量。该确定基于该片段的3D日期集合和/或平均值(在步骤107b中确定)。换句话说，如果例如确定由3D数据集合表示的(即，由2D图像中的片段覆盖的)环境部分的坡度，那么可以基于该值计算法向量。
仍然在步骤109d中，接下来，计算该法向量与至少一个参考向量之间的至少一个角度。例如，参考向量可以对应于从虚拟光源发出的光线。例如，光线可以是定向的，即光的方向不取决于照明区域的位置。
图4图示了计算角度的情况。存在由两个相邻片段的3D数据表示的环境的两个区域215a和215b。每个区域215a和215b具有法向量217a和217b。此外，存在两条定向光线219a、219b分别照射在区域215a和215b上。显然，光线219a和219b彼此平行，因为假设光线是定向的。在法向量217a和217b分别与光线219a和219b之间分别存在角度221a和221b。当然，与它们对应的环境的真实部分相比，用于确定相应法向量的区域215a和215b可能是简化类型的。例如，区域215a、215b仅通过至少基于平均值的适当平面来近似环境的相应部分。但是也可以附加地或替代地采用其它方法以便确定与由每个片段的3D数据集合表示的环境相关联的法向量。
在步骤109e中(其可以被视为步骤109的子步骤)，对于每个片段，基于在步骤109d中计算的角度的余弦来调整片段的颜色的亮度。
在步骤109f(其可以被视为步骤109的子步骤)中，对于每个片段，基于片段在调整的行驶路径内的位置来调整片段。这在本实施例中可能等同于基于2D图像中片段与车辆之间的距离来设置片段的颜色的色调。即使在2D图像中未示出车辆，本领域技术人员也可以理解，在这种情况下，距离是基于位于2D图像之外的车辆的假设位置来计算的。
对于每个片段重复步骤109a-109f，除非所有片段都已被处理和调整，这然后意味着获得调整的行驶路径。换句话说，每个片段都被调整(例如，它的形状、颜色的色调和颜色的亮度)，使得预测的行驶路径最终被变换成调整的行驶路径。
在这个实施例中调整的行驶路径对应于全部调整的片段。并且如果调整的行驶路径在2D图像中显示为叠加层，那么它看起来至少逐区域地遵循2D图像中环境的至少一个表面地形，并且它也看起来终止于表示车辆可通过的区域的边界的障碍物。
在步骤111中，2D图像与作为叠加层的调整的行驶路径一起显示。此外，还可能以至少一个线形形状标记元素的形式显示调整的行驶路径的终点的至少一种可视化。标记元素然后可以包围限定了调整的行驶路径的终点的相应障碍物的轮廓。如果不存在与预测的行驶路径相交的障碍物，那么可能不显示标记元素。
图5示出了具有调整的行驶路径225形式的叠加层的第三2D图像223。在倒车期间，该表示可能会经受在显示单元上显示给包括相应成像系统的车辆的驾驶员。如从图5中明显看出，调整的行驶路径225看起来遵循环境的地形，尤其是其中地面改变其坡度的由调整的行驶路径225的弯道227指示的环境的地形。此外，很明显，基于相应区段229a-229d的朝向和/或与车辆(其在图4中位于图4底部外部)的距离，针对不同的区段229a-229d对调整的行驶路径的颜色的色调和亮度两者进行调整。单个区段229a-229d可以包括相同阴影和/或形状的一个或多个片段。行驶路径中没有障碍物，使得调整的行驶路径在某个最大长度处结束以显示给驾驶员。
此外，在图5中示出了彩色地图，其被细分为三个部分，其对应于区段229a、区段229b和229c的整体以及最终区段229d。优选地，在图5中所示的彩色地图中，向驾驶员或乘客显示颜色代码。区段229a以红色显示，区段229b和229c以黄色显示和/或区段229d以绿色显示。地图中的这种基本颜色信息可以以方便的方式为车辆的驾驶员指示距车辆/到车辆的特定距离范围。在这个示例中，红色指示非常接近，而另一方面，绿色对应于距离车辆较远。此外，该彩色地图可以通过其色调和/或亮度和/或阴影进行调整，如上文所述和图5中所示，以遵循环境的地形。
图6示出了具有与线形形状标记元素231'相结合的调整的行驶路径225'形式的叠加层的第四2D图像223'。图6中所示的在功能方面类似于上面关于图5所讨论的特征的特征用相同的附图标志但虚线标记并且因此不再详细讨论。标记元素231'提高了路缘233'的可见度。由于路缘233'，调整的行驶路径225'只是预测的行驶路径的子区段，使得调整的行驶路径225'以路缘233'结束。例如，该方法可能已经基于车辆的间隙和/或一个或多个阈值确定路缘233'对于车辆来说是不可通过的。
图7示出了具有与线形形状标记元素231'相结合的调整的行驶路径225”形式的叠加层的第五2D图像223”。图7中所示的在功能方面类似于上面关于图5和/或图6所讨论的特征的特征用相同的附图标志但双虚线标记并且因此不再详细讨论。标记元素231”提高了墙壁235”的可见度。由于墙壁235”，调整的行驶路径225”只是预测的行驶路径的子区段，使得调整的行驶路径225”以墙壁235”结束。因此，优选地，通过在2D图像中遵循环境的地形，预测的行驶路径225”看起来终止于墙壁235”形式的障碍物处。
图8示出了根据本发明的第二方面的计算机实现的方法的流程图300，该方法用于生成用于车辆的至少一个成像系统的表示车辆环境的至少一个2D图像的至少一个修剪的叠加层。
方法300包括步骤301、303、305和307，它们基本上分别对应于上面参考图1的流程图描述的根据本发明的第一方面的方法100的步骤101、103、105和111。
因此，不需要在此再次解释所有这些步骤，而是参考上文提供的关于方法100的相应段落，这些段落经过必要的修改也适用于此处。
因此，流程图300的方法基于预测的行驶路径和车辆环境的3D数据来确定调整的行驶路径，其结果与上述流程图的方法100基本相同，但没有调整预测的行驶路径使得它看起来遵循地形。
权利要求、说明书和附图中公开的特征对于要求保护的发明的不同实施例可能单独地或彼此任意组合地是必要的。
参考标志
100 流程图
101 步骤
103 步骤
105 步骤
107 步骤
109 步骤
109a 步骤
109b 步骤
109c 步骤
109d 步骤
109e 步骤
109f 步骤
111 步骤
201 组合的2D图像
203 2D图像
205 行驶路径
207 组合的2D图像
209 2D图像
211 行驶路径
213 片段
215a，215b 区域
217a，217b 法向量
219a，219b 光线
221a，221b 角度
223，223'，223” 2D图像
225，225'225” 行驶路径
227 弯道
229a，229b，229c，229d 区段
229a'，229b'，229c' 区段
229a”，229b” 区段
231'，231 ” 标记元素
233' 路缘
235” 墙壁
300 流程图
301 步骤
303 步骤
305 步骤
307 步骤

Claims (21)

1.一种计算机实现的方法，用于生成用于车辆的至少一个成像系统的表示车辆环境的至少一个2D图像的至少一个透视校正的叠加层和/或修剪的叠加层，所述方法包括以下步骤：
接收2D图像中表示的车辆环境的至少一部分的3D数据(101)；
至少基于车辆的至少一个转向角确定车辆车轮的至少一个预测的行驶路径，并且当预测的行驶路径在2D图像中显示为叠加层时，与2D图像一起形成组合的2D图像(103)；
至少基于预测的行驶路径、基于至少2D图像、基于至少2D图像的一些2D图像数据、基于至少一些3D数据和/或转向角，获得至少一个调整的行驶路径，该调整的行驶路径对应于预测的行驶路径的至少一个透视校正的子区段和/或修剪的子区段，并且当在2D图像中显示为叠加层时看起来至少逐区域地遵循2D图像中环境的至少一个表面地形和/或尤其是当遵循2D图像中环境的地形时看起来终止于表示车辆无法通过的至少一个地区的至少一个边界的至少一个障碍物处。
2.如权利要求1所述的计算机实现的方法，其中获得调整的行驶路径包括以下步骤：
至少将预测的行驶路径的子区段分段成至少两个片段(107)，以及
至少基于至少隐含地经由2D图像和/或2D图像的相应2D图像数据与至少一个、优选地每个片段相关联的3D数据来确定调整的行驶路径(109)，
其中，优选地，分段的步骤包括以下步骤：
将预测的行驶路径的子区段或整个预测的行驶路径分成尤其是跨预测的行驶路径和/或沿着预测的行驶路径均等分布和/或成矩形形状的至少两个片段。
3.如前述权利要求中的任一项所述的计算机实现的方法，其中确定调整的行驶路径包括以下步骤：
(i)通过在至少一个组合的图像中组合2D图像和预测的行驶路径，至少虚拟地和/或部分地生成组合的2D图像；和/或
(ii)尤其是对于每个片段，至少基于组合的2D图像和/或基于2D图像，确定与组合的2D图像和/或2D图像中表示的分别优选地由片段的边界包围的环境部分对应的至少一个3D数据集合(109a)。
4.如前述权利要求中的任一项所述的计算机实现的方法，其中确定调整的行驶路径包括以下步骤：
(i)尤其是对于每个片段，至少基于3D数据集合，确定与该片段的3D数据集合对应的环境部分的特定属性的至少一个平均值；(109b)，和/或
(ii)尤其是对于每个片段，尤其是在2D图像和/或组合的2D图像的坐标系中，优选地至少基于尤其是在2D图像和/或组合的2D图像内的片段的位置、3D数据、平均值，和/或片段的扩展，调整片段的形状和/或位置，优选地用于创建当在2D图像中显示为叠加层时的片段的透视校正的外观；(109c)。
5.如前述权利要求中的任一项所述的计算机实现的方法，其中确定调整的行驶路径包括以下步骤：
(i)尤其是对于每个片段，优选地基于平均值、基于片段在调整的行驶路径内的位置和/或基于2D图像和/或组合的2D图像中片段与车辆之间的距离，调整片段的阴影，尤其是片段的颜色的色调(109f)；
和/或
(ii)除非所有片段都已被处理和/或调整，否则为尤其是被预测的行驶路径的子区段所包含的每个片段重复步骤中的至少一部分，使得获得调整的行驶路径。
6.如权利要求3至5中的任一项所述的计算机实现的方法，其中确定调整的行驶路径还包括以下步骤：
尤其是对于每个片段，尤其是分别基于该片段的3D数据集合和/或平均值，确定与对应于该片段的3D数据集合的环境部分相关联的至少一个法向量，以及计算法向量和参考向量之间的至少一个角度，尤其是与指向与从至少一个光源发出的至少一个光线对应的方向的参考向量之间的至少一个角度，其中优选地(i)光源是虚拟光源，(ii)从光源发出的(一个或多个)光线是(一个或多个)定向光线，(iii)光源具有方向，(iv)光源具有在2D图像中显示的场景上方的位置，和/或(v)(一个或多个)光线具有与在特定时间，尤其是在处理的时间的至少一个日光方向对齐的方向(109d)。
7.如权利要求3至6中的任一项所述的计算机实现的方法，其中确定调整的行驶路径还包括以下步骤：
尤其是对于每个片段，优选地基于平均值、基于角度，尤其是基于角度的余弦，和/或在由至少一个最小亮度值和/或至少一个最大亮度值界定的至少一个范围内，调整片段的阴影，尤其是片段的颜色的亮度(109e)。
8.如前述权利要求中的任一项所述的计算机实现的方法，其中
获得调整的行驶路径还包括以下步骤：尤其是至少基于3D数据、预测的行驶路径和/或基于与环境相关的辅助数据，确定预测的行驶路径的子区段，尤其是预测的行驶路径的子区段的靠近车辆的至少一个起点和/或预测的行驶路径的子区段的远离车辆的至少一个终点，其中尤其是(a)预测的行驶路径的子区段的起点对应于预测的行驶路径的起点，(b)3D数据和辅助数据指示环境中可能与预测的行驶路径相交的障碍物，(c)预测的行驶路径的子区段，尤其是终点，是基于沿着预测的行驶路径从近到远与预测的行驶路径相交的第一个障碍物的位置确定的，优选地在与预测的行驶路径相交的第一个障碍物的位置处，(d)如果障碍物具有超过分别涉及扩展、高度、朝向和位置的至少一个预定义阈值的至少一个扩展、至少一个高度、至少一个朝向和/或至少一个位置，那么障碍物被识别为与预测的行驶路径相交，和/或(e)考虑地面的坡度、驾驶坡度的角度和/或车辆的离地间隙来识别相交的障碍物(105)。
9.如前述权利要求中的任一项所述的计算机实现的方法，其中获得调整的行驶路径还包括以下步骤：基于依赖于2D图像数据、3D数据和/或辅助数据的对象和/或场景分类来调整所确定的预测的行驶路径的子区段。
10.如前述权利要求中的任一项所述的计算机实现的方法，其中预测的行驶路径的子区段与整个预测的行驶路径相同；
和/或
与3D数据集合对应的环境部分的特定属性，尤其是在3D数据的坐标系中，分别是环境部分的尤其相对于至少一个参考坡度的至少一个坡度、尤其相对于至少一个参考朝向的至少一个朝向、尤其相对于至少一个参考高度的至少一个高度、尤其相对于至少一个参考位置的至少一个位置，和/或至少一个扩展。
11.如权利要求1所述的计算机实现的方法，其中获得调整的行驶路径包括以下步骤：
尤其是至少基于3D数据和/或预测的行驶路径，确定预测的行驶路径的子区段，尤其是预测的行驶路径的子区段的靠近车辆的至少一个起点和/或预测的行驶路径的子区段的远离车辆的至少一个终点；
其中优选地，3D数据指示环境中可能与预测的行驶路径相交的障碍物，并且预测的行驶路径的子区段，尤其是终点，是基于沿着预测的行驶路径从近到远与预测的行驶路径相交的第一个障碍物的位置确定的，优选地在与预测的行驶路径相交的第一个障碍物的位置处(305)。
12.如权利要求11所述的计算机实现的方法，其中：
预测的行驶路径的子区段的起点对应于预测的行驶路径的起点。
13.如权利要求11或12所述的计算机实现的方法，其中：
如果障碍物具有超过分别涉及扩展、高度、朝向和位置的至少一个预定义阈值的至少一个扩展、至少一个高度、至少一个朝向和/或至少一个位置，那么障碍物被识别为与预测的行驶路径相交。
14.如权利要求11至13中的任一项所述的计算机实现的方法，其中：
考虑地面的坡度、驾驶坡度的角度和/或车辆的离地间隙来识别相交的障碍物；
和/或
获得调整的行驶路径还包括以下步骤：基于依赖于2D图像数据、3D数据和/或辅助数据的对象和/或场景分类来调整预测的行驶路径的确定的子区段。
15.如前述权利要求中的任一项所述的计算机实现的方法，其中所述方法还包括以下步骤：
(i)尤其是在车辆的至少一个显示单元上和/或向车辆的驾驶员，显示具有调整的行驶路径作为叠加层的2D图像，其中显示单元尤其包括至少一个监视器、至少一个平视显示器、至少一个投影仪和/或至少一个触摸显示器(111，307)；
和/或
(ii)还显示调整的行驶路径的至少一个终点的至少一种可视化，尤其是该可视化采用至少一个标记元素的形式，诸如至少一个线形或矩形形状的叠加层，其尤其(a)包围定义了调整的行驶路径的终点的相应障碍物的轮廓，和/或(ii)与调整的行驶路径的最远的片段对齐。
16.如前述权利要求中的任一项所述的计算机实现的方法，其中
(i)所述方法还包括接收2D图像数据和/或接收辅助数据的步骤；
(ii)2D图像由2D图像数据表示；
(iii)2D图像数据是经采样的2D图像数据；
(iv)3D数据是经采样的3D数据；
(v)辅助数据是经采样的辅助数据；
(vi)2D图像数据是从至少一个第一数据源接收的；
(vii)3D数据是从至少一个第二数据源接收的；
(viii)辅助数据是从至少一个第三数据源接收的；
(ix)2D图像数据与相应的3D数据相关联，尤其是经采样的2D图像数据的每个样本与经采样的3D数据的至少一个样本相关联；
(x)辅助数据的至少一部分基于3D数据或与3D数据的至少一部分相同。
17.如权利要求16所述的计算机实现的方法，其中
第一数据源、第二数据源和/或第三数据源至少部分地包括(a)至少一个飞行时间(TOF)传感器，(b)至少一个LIDAR传感器，(c)至少一个超声波传感器，(d)至少一个雷达传感器，(e)至少一个相机传感器，尤其是结合借助于至少一种运动恢复重建方法、至少一种场景分类方法和/或至少一种对象分类方法来评估相机传感器的数据的相机传感器，(f)至少一个立体相机，和/或(g)至少两个被布置用于立体视觉的相机传感器，
和/或
第一、第二和第三数据源中的至少两个、优选地所有数据源至少部分相同。
18.如前述权利要求中的一项所述的计算机实现的方法，其中
2D图像中表示的车辆环境的至少一部分是车辆后方或前方的环境；
和/或
所述转向角是当前转向角。
19.一种数据处理设备，包括用于执行前述权利要求中的任一项所述的方法的步骤的装置。
20.一种机动车辆，包括至少一个成像系统和根据权利要求19所述的数据处理设备。
21.如权利要求20所述的机动车辆，其中所述机动车辆还包括(a)至少一个飞行时间(TOF)传感器，(b)至少一个LIDAR传感器，(c)至少一个超声波传感器，(d)至少一个雷达传感器，(e)至少一个相机传感器，尤其被调整以借助于至少一种运动恢复重建方法、至少一种场景分类方法和/或至少一种对象分类方法来评估相机传感器的数据的相机传感器，(f)至少一个立体相机，(g)至少两个被布置用于立体视觉的相机传感器，和/或(h)至少一个显示单元。
CN202080052745.6A 2019-07-22 2020-07-22 用于生成用于机动车辆的成像系统的透视校正的和/或修剪的叠加层的方法 Pending CN114127796A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019119788 2019-07-22
DE102019119788.0 2019-07-22
PCT/EP2020/070649 WO2021013878A1 (en) 2019-07-22 2020-07-22 Method for generating a perspective-corrected and/or trimmed overlay for an imaging system of a motor vehicle

Publications (1)

Publication Number Publication Date
CN114127796A true CN114127796A (zh) 2022-03-01

Family

ID=72039556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080052745.6A Pending CN114127796A (zh) 2019-07-22 2020-07-22 用于生成用于机动车辆的成像系统的透视校正的和/或修剪的叠加层的方法

Country Status (4)

Country Link
US (1) US20220262127A1 (zh)
EP (1) EP4004877A1 (zh)
CN (1) CN114127796A (zh)
WO (1) WO2021013878A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114258358A (zh) * 2019-08-20 2022-03-29 丹尼尔·图洛克 车辆的视觉辅助工具

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10241464A1 (de) 2002-09-06 2004-03-18 Robert Bosch Gmbh Vorrichtung zur Umfelderfassung eines Fahrzeugs
DE102008049113A1 (de) 2008-09-26 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Unterstützung eines Einparkvorgangs
CN201402413Y (zh) * 2009-03-30 2010-02-10 德尔福技术有限公司 车辆的操控辅助设备
US20180067494A1 (en) * 2016-09-02 2018-03-08 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system

Also Published As

Publication number Publication date
US20220262127A1 (en) 2022-08-18
WO2021013878A1 (en) 2021-01-28
EP4004877A1 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
US10870449B2 (en) Vehicular trailering system
CN109427199B (zh) 用于辅助驾驶的增强现实的方法及装置
US10131276B2 (en) Vehicle sightline guidance apparatus
US9940528B2 (en) Driver assistance system for vehicle
JP6145497B2 (ja) ビジュアルシステム
US7482909B2 (en) Night vision device
US8354944B2 (en) Night vision device
US9760782B2 (en) Method for representing objects surrounding a vehicle on the display of a display device
US10878253B2 (en) Periphery monitoring device
US20090187333A1 (en) Method and System for Displaying Navigation Instructions
US11449070B2 (en) Vehicle assist system
CN112105891A (zh) 被动红外线引导系统
US10713509B1 (en) Parking assist system with parking spot occupancy readout
KR20180085718A (ko) 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치
US20210070288A1 (en) Driving assistance device
CN113710530A (zh) 用于运行自主交通工具中的驾驶员信息系统的方法和驾驶员信息系统
JP4762491B2 (ja) 道路の屈曲部を検出するための方法およびこの方法を実施するためのシステム
US11292339B2 (en) Method for displaying safety-relevant information on a display device of a vehicle
CN114127796A (zh) 用于生成用于机动车辆的成像系统的透视校正的和/或修剪的叠加层的方法
JP6620175B2 (ja) 距離算出装置及び車両制御装置
CA3020813C (en) Mobile body surroundings display method and mobile body surroundings display apparatus
Reed Intersection kinematics: a pilot study of driver turning behavior with application to pedestrian obscuration by a-pillars
KR102664001B1 (ko) 중첩되지 않는 카메라 뷰로부터 획득된 이미지들을 조화시키는 방법
CN111612939B (zh) 智能行驶轨迹投影探测系统及方法
JP2023109519A (ja) 表示制御装置および表示制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination