CN111414796A - 模拟成像系统中的虚拟车辆的自适应透明 - Google Patents

模拟成像系统中的虚拟车辆的自适应透明 Download PDF

Info

Publication number
CN111414796A
CN111414796A CN202010004785.5A CN202010004785A CN111414796A CN 111414796 A CN111414796 A CN 111414796A CN 202010004785 A CN202010004785 A CN 202010004785A CN 111414796 A CN111414796 A CN 111414796A
Authority
CN
China
Prior art keywords
vehicle
image
virtual
detected object
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010004785.5A
Other languages
English (en)
Inventor
大卫·M·赫尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111414796A publication Critical patent/CN111414796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了“模拟成像系统中的虚拟车辆的自适应透明”。在显示面板上将车辆周围的视觉场景显示给所述车辆的乘员，作为来自所述车辆外部的可调整视角的虚拟三维图像。根据外部图像数据和叠加在所述图像数据的一部分上的虚拟车辆图像，组合对应于所述车辆外部的虚抛物面上的选定的有利点的模拟图像。检测在所述车辆周围的相应位置处的易受潜在撞击的对象。对于在所述模拟图像中具有被所述车辆图像遮蔽的对应图像数据的检测到的对象，将遮掩比率量化。当所述检测到的对象具有高于遮掩阈值的遮掩比率时，将所述车辆图像的对应边界区渲染为在所述模拟图像中至少部分地透明，以使所述对应图像数据清晰。

Description

模拟成像系统中的虚拟车辆的自适应透明
技术领域
本发明总体上涉及环绕机动车辆的虚拟场景的车载显示或远程监视，并且更具体地，涉及显示外部环绕视图，包括车辆本身的虚拟表示。
背景技术
环视相机系统在本领域中是已知的，用于从车辆外部的视角角度为车辆的驾驶员提供机动车辆周围的环境和对象的合成视图。为了提供真实感，将车辆本身的虚拟图像添加到合成视图。驾驶员典型地可以从在围绕车辆360°范围内的位置并且通常在处于或高于车辆高度的高度处的视角进行选择(或者可以自动地选择视角)。得到的可移动模拟图像既提供娱乐价值又提供情景感知功能，以增强安全性。
环视相机系统使用安装在车辆上的相机来收集沿着车辆的每一侧的外向图像。基于选定的视角，将来自相机图像的显示图像拼接在一起并且放置在虚拟包络上。根据如从每个可能的视角(例如，等距视角)将看到的车辆的外观来存储表示车辆的外观和几何形状的3D模型。将车辆3D模型放置在适当的位置，使得模拟图像基于环绕车辆3D模型的拼接图像包络而准确地显示车辆与环境和附近对象的关系。此后，可以将虚拟相机放置在场景内，以向车辆乘员或远程观看者(诸如远程自主车辆接管界面)提供视图。
模拟视图的潜在问题在于虚拟汽车图像是不透明的，并且可能会干扰对在虚拟汽车的另一侧的行人、对象和其他车辆的检测。此类对象将在原始相机数据中看到，但由于将虚拟汽车放置在图像上而被遮挡。因此，当这样的对象被遮蔽时，可能难以仅从模拟图像显示跟踪此类对象。
发明内容
本发明维持某些“被遮挡”对象的可见性，否则这些对象将因为虚拟汽车放置在模拟图像上而被遮挡。使用借助对相机图像的分析的公知的对象检测方法(例如，神经网络计算机视觉算法，有时被称为语义分割)和/或基于诸如雷达和超声波检测器的其他远程感测技术来检测行人、汽车以及其他潜在危险的对象。
根据对象的类型、相对运动和撞击的可能性对检测到的对象进行分类。正在移动或可能开始移动的对象可以被视为增加的危险(例如，通过检测对象的像素区质心在帧之间的显著平移和/或使用传感器融合)。可以使用附加计算机视觉算法(常规或神经网络算法)来检测突出对象的潜在撞击的特征(例如，检测打开倒车灯的附近的汽车)。对象分类本身可以指示增加的危险类别(例如，被检测为儿童而不是成人的行人)。主车辆还可以基于转向角度、占用的挡位和其他因素来预测主车辆本身的可能未来运动。此外，也可以估计对象与主车辆未来运动轨迹的相交。然后可以使用这些因素来确定何时修改所显示的视图。
对于每个感兴趣对象，确定与该对象相对应的映射到投影表面上以产生环绕视图变换的像素在虚拟汽车置于图像上之后将可见还是被遮挡。评估被遮挡对象的整体遮挡程度。例如，这可以包括识别虚拟汽车的与从选定的视角到对象的像素的射线相交的像素。这个评估可以基于像素遮掩的总计数、百分比遮掩或某一其他方法(例如，使用常规神经网络来“复制”人类感知以及对象识别来验证是否识别对象具有某一遮蔽量)。修改虚拟车辆图像的相交像素，以在被遮蔽的对象处或附近提供更改的透明。汽车的线框或柔和表示在应用透明之后仍然可见。虚拟车辆的透明区段的细节水平可以根据透明区段的大小(例如，虚拟汽车表面的相交的百分比)而更改。
是否使车辆模型的一部分透明的决定还可以取决于对象的未被车辆模型遮挡的部分的可见性或可感知性。例如，行人可能被遮蔽一半，但是考虑到人的衣服与图像背景之间的对比度差异(例如，色调、色度、纹理等)，可能会或可能不会容易感知到行人。在这个实施例中，当人的上半部在对比度方面不太可见时，那么用对应的透明区段来渲染车辆模型，但是如果与背景产生高度对比，则将不存在透明。
在特定情况下，可以采用对模拟图像的其他修改或覆盖。例如，当被遮蔽的对象大小较小时，可以在图像中的对象周围放置高亮框以提高识别度。另一个示例解决了穿着浅色衣服的人可能会出现在银色车辆的后面而使颜色融合在一起的情况。颜色(色度、饱和度、强度)和强度梯度的比较可以用于检测对比度不足。响应于对比度不足，可以再次在对象周围放置高亮框或边界。另一个示例将是创建景深效果，其中被渲染的场景的部分出现在焦点中，而其他部分出现在焦点外。这个效果可以用于高亮场景中的对象。
本发明优选地监视感兴趣对象的运动并评估对象与车辆撞击的概率。当存在明显的相对运动时，那么可以扩大虚拟车辆图像的透明区段以暴露对象的运动路径。当撞击的概率变高时，那么可以将视角(即，虚拟相机位置和视角)警告到移动对象及其运动路径更直接可见时的位置。在其他情况下，主车辆本身的当前或预期的运动可能导致危险。类似地，虚拟车辆的部分可以被制成透明，以更好地查看附近的对象、当前车轮角度或虚拟路径线，它们可以在图像中增强以作为对驾驶员的指导。在另一个示例中，虚拟相机视图可以基于当前相对运动(诸如车辆的预期路径)而显示对象的未来路径线，以便指导用户。此类对象路径线可以类似地被主车辆的虚拟3D模型遮挡。在此类情况下，主车辆3D模型的部分可以被制成透明，以维持这些线的可见性。
在本发明的一个优选方面，提供了一种用于向车辆的乘员显示所述车辆周围的视觉场景的方法。根据外部图像数据和叠加在所述图像数据的一部分上的虚拟车辆图像，组合对应于所述车辆外部的虚抛物面上的选定的有利点的模拟图像。检测在所述车辆周围的相应位置处的可能易受潜在撞击的对象。对于在所述模拟图像中具有被所述车辆图像遮蔽的对应图像数据的检测到的对象，将遮掩比率量化。当所述检测到的对象具有高于计算的遮掩重要阈值的遮掩比率时，将所述车辆图像的对应边界区渲染为在所述模拟图像中至少部分地透明，以使所述对应图像数据清晰。
附图说明
图1是车辆的俯视平面图，示出了具有对应的视野和检测区域的相机和远程传感器。
图2是示出用于投影相机图像并限定对应的视角的抛物面的图。
图3是具有投影的二维图像的虚抛物面和从其得出模拟环绕图像的虚拟车辆图像的透视图。
图4是示出车辆附近的人的图，其中车辆上的外向相机具有完全包围该人的视野。
图5是示出车辆外部的用于生成模拟图像的视角的图，其中人的大部分因插入虚拟车辆图像而被遮蔽。
图6是虚拟车辆图像，在该虚拟车辆图像内，某一区已被渲染为透明的。
图7示出了图6的虚拟车辆图像，其中有对象出现在透明区中。
图8是另一虚拟车辆，其中透明区被放大以显示对象及其运动路径。
图9是另一虚拟车辆，其中透明区中的对象被高亮框环绕。
图10是示出用于执行本发明的车辆设备的一个实施例的框图。
图11是示出用于收集与外向图像和感兴趣的附近对象相关的数据的一个优选实施例的流程图。
图12是示出本发明的一种优选方法的第一部分的流程图。
图13是列出根据各种对象类型的本发明的阈值的表。
图14是示出图12的方法的第二部分的流程图。
具体实施方式
参考图1，车辆10(诸如乘用车)具有由安装在围绕车辆10的周边的各个点处的相机11构成的相机阵列。例如，相机11可以集成到侧视镜总成和/或前后外部照明单元中。相机11提供相应的视野13-18，从而导致360°全覆盖环绕车辆10的外向外部图像数据。车辆10还具有各种主动式远程传感器，诸如发射和接收雷达信号19以用于检测附近对象并进行分类的前后雷达单元12。其他主动式传感器包括超声波和激光传感器，所有这些传感器在机动车辆领域都用于障碍物检测、自适应巡航控制、车道跟踪、停车辅助以及其他高级特征。此类传感器，特别是它们的输出或其融合，可以用于通过显示危险的指示(诸如接近度)来进一步增强虚拟视图。这些指示可能类似地被虚拟车辆模型的位置和相应的相机视野遮蔽。
图2示出了虚抛物面20，该虚抛物面在图像处理器或控制器中以数字方式表示，以用于从来自相机的二维图像数据合成模拟三维视图。处理从相机收集的图像，并且然后将其投影到抛物面20的相应部分上。图像处理的示例包括失真校正、相机之间的白平衡标准化、渐晕校正以及其他单相机和多相机计算机视觉算法，以改进投影的图像。可以选择各种虚拟有利点21和22，以便提供视角将对应的三维模拟图像显示给车辆的驾驶员。为了在模拟图像中提供背景，还将虚拟车辆表示放置在抛物面20上的顶点处。更具体地，图3示出了抛物面20，其中外向图像数据23使用从相机收集的图像数据拼接到表面20上，所有这些数据都共享实际车辆的有利点。在从投影的相机数据组合的虚拟表示中，虚拟车辆图像24虚拟地放置在抛物面20的顶点处，从而相对于相机数据与实际车辆的取向相匹配。表面20上的任何期望点可以被选择作为有利点，以生成表示车辆和周围场景(包括车辆附近的对象)的“鸟瞰图”或等距图的模拟图像。
如图4所示，车辆10上的具有视野14的相机11捕获附近对象25(在此示例中，人或行人)和周围场景或背景的图像。人25完全落在视野14内。然而，可以从人25的至少一部分将被遮蔽的有利点生成模拟图像。例如，图5示出了可以用来生成模拟图像的具有视野27的有利点26。归因于车辆10、人25和有利点26的相对放置，从有利点26遮蔽了人25的主要部分。例如，从有利点26延伸到人25的射线(即，视线)28与车辆10相交，并且归因于车辆10的不透明性，针对有利点26生成的模拟图像中遮挡了人25的图像。
图6示出了虚拟车辆图像24，其中车辆图像24的区段30被渲染为透明的。边界区30以适当的大小和位置与车辆图像24相交，以使位于车辆图像24后面的感兴趣对象在驾驶员的模拟显示中清晰。图7显示了如在来自相机的拼接在一起的外部图像数据内看到的感兴趣对象31。在该示例中，对象31是儿童，其由于添加了车辆图像24的透明或至少部分地透明的区段而变得可见。为了获得良好的可见性，边界区30可以包括横跨车辆图像24且宽度略大于对象31的宽度的完整竖直条带。通过透明，诸如车辆结构的边缘的某些特征仍然可以在车辆图像24中以柔和的外观看到。在一些实施例中，可以通过生成车辆的分解图来获得透明效果。
如图8所示，本发明可以包括监视车辆与感兴趣对象之间的相对运动，以便向驾驶员传达正在进行的运动的方向和路径。因此，被示为行人的感兴趣对象35由扩展的边界区32界定，其中透明度不仅使行人35清晰，而且使行人35遵循的运动路径清晰。优选地，路径指示符36也可以以示出沿着运动路径的方向和速度的方式覆盖在模拟图像上。例如，路径指示符36可以是具有高亮颜色并且具有与对象速度成比例的大小的箭头。
每当模拟图像中的对象的表观大小特别小时，本发明可以进一步高亮在车辆图像的透明边界区内已经清楚的感兴趣对象。如图9所示，使虚拟车辆图像24上的透明区段37透明，以暴露感兴趣对象38(被示为消防栓)，其中对象38所占据的图像区域足够小以至于它可能被疏忽。为了提高对象38的可见性，高亮框39覆盖在车辆图像24上环绕对象38的图像数据。例如，高亮框可以包括区别的亮色。此外，基于当前车轮取向和挡位(行驶或倒车)的车辆的潜在未来轨迹可以用于确定因碰撞风险而需要对车辆运动、对象运动或两者的组合高亮的感兴趣对象。
在适当时(如下所解释)，将叠加在来自相机的外部图像数据上的虚拟车辆图像的一部分渲染为至少部分地透明，使得可以在其当前位置看到原本被遮蔽的对象，从而使驾驶员在模拟图像中感知到该对象。为了维持模拟图像的效果并且为了避免从不代表任一种实际危险的对象分散注意力，仅在特定条件下利用透明区段的添加，如下所解释。换句话说，并不是每个检测到的对象都将被视为感兴趣对象。
更具体地，当可能与车辆发生撞击时，检测到的对象是感兴趣的。因此，距车辆足够远的对象可以被忽略，因为与车辆交互的机会将很低。根据一个优选实施例，易受潜在撞击的感兴趣对象由在车辆的预定距离(例如，约5米)内的对象构成。另外，可以考虑车辆和对象运动并计算碰撞时间。可以考虑车辆周围的附加安全包络，例如以下情况：行人沿着车辆平行行走，但由于车轮运动的变化超过某个阈值而可能会发生未来的碰撞。此外，在人类驾驶员感知的盲点内的对象在虚拟相机图像中可以接收附加优先高亮。
除了需要对象的某一接近度之外，将虚拟车辆图像的区段渲染为透明的决定还可以取决于被车辆图像遮蔽的对象与对象的整个区域相比的比例。如果对象几乎是可见的，那么模拟图像可能在车辆不被渲染为透明的情况下对驾驶员更有帮助。然而，决定中使用的隐藏对象区域与整个对象区域的比率取决于所考虑对象的类型，如下所述。
在图10中示出了用于实践本发明的车辆设备，其中控制器40连接到触摸屏显示器41。控制器40可以包括在车身控制模块(BCM)或车辆电子系统内的任何其他合适的模块中，或者可以是独立模块，以用于执行本文针对模拟车辆及其环境的外部视图所述的各种功能。触摸屏显示器41可以优选地由安装到车辆的仪表盘或仪表板上的显示面板构成。触摸屏显示器41可以从用户接收用于为生成的模拟图像选择视角的手动输入。诸如按钮开关或其他操作员控件的附加操作员输入件41可以由驾驶员或其他车辆乘员用来指定环绕观察系统的操作。控制器40连接到相机阵列和其他远程传感器，以接收相机图像数据和与感测到的对象相关的其他数据。控制器40连接到车辆多路复用总线，以接收各种车辆数据，诸如转向角度和车辆速度，以便表征车辆运动。
图11示出了本发明的优选方法的一部分，其中连续地收集图像数据和对象感测数据。在步骤45中，激活虚拟查看器功能。在步骤46中，收集传感器数据，包括来自相机阵列的外向图像数据。当虚拟查看器特征被激活时，在步骤47中，本发明连续地监视以指导检测和识别感兴趣对象。对象跟踪功能可以包括在步骤48中融合传感器数据，以及在步骤49中对对象进行定位和分类。对对象的定位可以例如确定车辆与对象之间的距离，使得出于将虚拟车辆图像渲染为透明的目的，可以忽略在大于预定距离的距离处的对象。对对象的分类优选地包括各种对象类型，其包括行人对象类型、自行车对象类型、摩托车对象类型以及汽车对象类型。对象类型还可以包括延伸的对象，诸如路沿。行人对象类型优选地进一步分解成单独的成人行人类型和儿童行人类型。在步骤50中，确定感兴趣对象的当前运动和可能的未来运动，并且在步骤51中确定主车辆的当前运动和可能的未来运动。返回到步骤46以连续监视附近的对象。
使用收集的图像数据，在步骤52中，将来自相机的二维图像映射到三维投影表面上。该方法进行到点A(步骤53)并且进行到图12所示的方法。基于用户输入，在步骤54中选择要用于组合模拟图像的期望视野(FOV)。该选择优选地包括选择具有特定方位(即，相对于参考方向的角度)和高度的有利点(其可以提前设定)。有利点对应地映射到二维图像已经投影到的虚抛物面上。在步骤55中，组合对应于如从选定的FOV/有利点看到的投影图像数据的外观并且使虚拟车辆图像叠加在投影图像数据的一部分上的模拟图像。
在步骤56中，识别任何被遮掩的对象(即，至少部分地被虚拟车辆图像遮挡)。识别优选地包括将检测到的感兴趣对象的“遮掩比率”量化，其中遮掩比率表征对象的被遮掩的外观表面积的百分比。量化遮掩比率可以包括生成多条射线(每条射线将有利点与覆盖检测到的对象的规则网格上的相应点连接)，并且然后确定在虚拟车辆图像放置在模拟图像中之后射线中的与虚拟车辆图像重合(即，穿过)的部分。替代地，可以通过以下方式来执行遮掩比率的量化：在叠加虚拟车辆图像之前对模拟图像中的表示检测到的对象的第一数量的像素进行计数，然后在叠加虚拟车辆图像之后，对检测到的对象中被遮蔽的第二数量的像素进行计数，并且然后将第二数量除以第一数量。代替仅在逐像素语义分割中对像素进行计数，可以替代地使用更复杂的分析来量化遮掩。例如，可以使用以下类型的加权函数：
c1*像素_被遮掩*接近度+c2*像素_被遮掩*相对_向量+c3*像素_被遮掩*类别_加权_因子+b1
其中c1、c2、c3和b1是可校准的常数。
在步骤57中，将遮掩比率与根据对象类别或类型分配的遮掩阈值进行比较。图13示出了对象类别62和对应的遮掩阈值63的示例。因此，当检测到的对象被分类为成年行人时，那么其遮掩比率与70％的阈值进行比较。类似地，当对象分类类型是儿童行人时，那么遮掩阈值由40％遮挡构成。当遮掩比率小于遮掩阈值时，那么不将虚拟车辆图像渲染为透明，并且该方法进行到点B(步骤61)。如果遮掩比率大于遮掩阈值，则在步骤58中，根据用户偏好(诸如透明的类型或强度)使虚拟车辆图像的对应部分透明。
在步骤59中，执行检查以确定已经通过透明暴露(清晰)的对象的图像大小是否足够大到易于辨别。例如，可以根据对象图像(例如，整个对象而不只是与透明重合的那部分)的外部边界内的像素的数量来确定图像大小。取决于对象类型，可以使用相应的像素计数或像素区域来限定“高亮像素截止”66，如图13所示。当对象的图像数据的像素区域(如投影到模拟图像中)小于高亮阈值时，那么在步骤60中，可以将高亮框覆盖在模拟图像上环绕该图像数据，使得对象对驾驶员来说更明显。高亮框可以具有高对比度、亮色以增强其可见性。从点B，该方法进行到图14。
图14示出了与对象运动相关的方法的一部分。可以使用已知的科技和技术(例如，传感器融合、多普勒雷达、光流、立体相机或单眼深度CNN)来确定检测到的对象和车辆两者的运动。例如，主动式传感器可以直接测量相对运动。另外，诸如转向角度、车轮旋转和挡位选择的车辆数据可以用于预测即将发生的移动。例如，基于对象和/或主车辆的运动，可以根据相应对象的运动路径在预定时间段内在模拟图像中将如何而预测此路径。在步骤70中执行检查，以确定任何被跟踪的对象是否具有大小大于预定运动阈值(例如，对应于模拟图像中的某一跨度的像素)的被遮蔽的运动路径。基于模拟图像中的运动路径的表观长度，在步骤71中，可以使虚拟车辆图像的附加部分透明，以便示出运动路径。另外，将对应于运动路径的诸如路径线或箭头的路径指示符覆盖在模拟图像上，使得驾驶员可以容易确定对象的前进地方。优选地，路径指示符可以覆盖在扩大的边界区内，该扩大的边界区已经被制成透明的以使运动路径清晰。更具体地，优选地确定与检测到的对象在预定时间之后的预测位置相对应的清晰运动路径的图像大小。此外，预定时间可以具有根据分类的对象类型选择的值，如图13的列64所示。例如，当对象类型为儿童行人时，那么要考虑的运动路径的图像大小对应于运动6秒后达到的行进距离，而附近汽车的运动路径的图像大小对应于运动3秒后的行进距离。
在步骤72中，基于当前运动或最有可能的未来运动以及碰撞之前的时间确定是否预测到任何实际撞击。如果没有预测到撞击，则该方法在步骤73处结束。如果预期到撞击，那么在步骤74中执行检查，以确定撞击是否将在当前视野内可以看到的点处发生。如果是的话，那么在步骤75中，优选地将导致撞击的路径线覆盖在图像上，并且如果需要的话，可以增加虚拟车辆图像的透明区段。当在当前视野中将看不到撞击时，那么在步骤76中执行检查，以确定是否有可用/可期望的更好的视野。
用于检测是否有可用的更好的视野的测试可以优选地包括对可能发生撞击的实际概率进行评估。此概率乘以“重要因子”以使视野移位，如图13的列65所示。如果撞击概率乘以重要因子大于预定阈值，那么将有利点调整到虚抛物面上的备选位置，在该备选配置，撞击和感兴趣对象的遮掩比率减小。如果有更好的视野可用，那么在步骤77中，移动选定的视野，并且该方法返回到点A。如果否的话，那么该方法在步骤73处结束。
根据实施例，所述对象类型包括较大的行人和较小的行人，并且其中针对所述较小的行人选择的所述遮掩阈值具有低于针对所述较大的行人的第二值的第一值。
根据实施例，所述控制器通过以下方式将所述遮掩比率量化：在叠加所述虚拟车辆图像之前，对所述模拟图像中的表示所述检测到的对象的第一数量的像素进行计数；在叠加所述虚拟车辆图像之后，对所述检测到的对象中的被遮蔽的第二数量的像素进行计数；以及将所述第二数量除以所述第一数量。
根据实施例，所述控制器确定所述模拟图像中的与所述检测到的对象相对应的图像数据的像素区域，并且其中如果所述像素区域小于高亮阈值，则所述控制器环绕所述检测到的对象的所述图像数据覆盖高亮框；其中所述控制器根据包括行人对象的多个对象类型对所述检测到的对象进行分类，并且其中所述高亮阈值具有根据所述分类的对象类型选择的值。
根据实施例，所述控制器确定所述检测到的对象与所述车辆之间的相对运动；其中所述控制器将所述相对运动与运动阈值进行比较；并且当所述相对运动大于所述运动阈值时，那么所述控制器扩大边界区以使所述检测到的对象的运动路径清晰，并且将对应于所述运动路径的路径指示符覆盖在所述模拟图像上，其中所述清晰的运动路径的图像大小对应于所述检测到的对象在预定时间之后的预测位置，并且其中所述预定时间具有根据所述分类的对象类型选择的值。
根据实施例，所述控制器：检测所述检测到的对象与所述车辆之间的撞击的概率；将所述撞击概率乘以与所述分类的对象类型相关联的重要因子；以及将所述有利点调整到所述虚抛物面上的备选位置，在所述备选位置，所述检测到的对象的所述遮掩比率降低。

Claims (15)

1.一种向车辆的乘员显示所述车辆周围的视觉场景的方法，所述方法包括：
根据外部图像数据和叠加在所述图像数据的一部分上的虚拟车辆图像，组合对应于所述车辆外部的虚抛物面上的选定的有利点的模拟图像；
检测在所述车辆周围的相应位置处的易受潜在撞击的感兴趣对象；
对于在所述模拟图像中具有被所述车辆图像遮蔽的对应图像数据的检测到的对象，将遮掩比率量化；
当所述检测到的对象具有高于遮掩阈值的遮掩比率时，将所述车辆图像的对应边界区渲染为在所述模拟图像中至少部分地透明，以使所述对应图像数据清晰。
2.如权利要求1所述的方法，其中易受潜在撞击的所述感兴趣对象由在距所述车辆预定距离内的对象构成。
3.如权利要求1所述的方法，其中将所述遮掩比率量化的所述步骤包括：
在叠加所述虚拟车辆图像之前，对所述模拟图像中的表示所述检测到的对象的第一数量的像素进行计数；
在叠加所述虚拟车辆图像之后，对所述检测到的对象中的被遮蔽的第二数量的像素进行计数；以及
将所述第二数量除以所述第一数量。
4.如权利要求1所述的方法，其中将所述遮掩比率量化的所述步骤包括：
在所述有利点与所述检测到的对象之间生成多条射线；以及
确定所述射线中的与所述模拟图像中的所述车辆图像重合的部分。
5.如权利要求1所述的方法，所述方法还包括以下步骤：
根据包括行人对象的多个对象类型对所述检测到的对象进行分类；
其中根据所述分类的对象类型来选择所述遮掩阈值。
6.如权利要求5所述的方法，其中所述对象类型包括较大的行人和较小的行人，并且其中针对所述较小的行人选择的所述遮掩阈值具有低于针对所述较大的行人的第二值的第一值。
7.如权利要求1所述的方法，所述方法还包括以下步骤：
确定所述模拟图像中的与所述检测到的对象相对应的图像数据的像素区域；以及
如果所述像素区域小于高亮阈值，则环绕所述检测到的对象的所述图像数据覆盖高亮框。
8.如权利要求7所述的方法，所述方法还包括以下步骤：
根据包括行人对象的多个对象类型对所述检测到的对象进行分类；
其中所述高亮阈值具有根据所述分类的对象类型选择的值。
9.如权利要求1所述的方法，所述方法还包括以下步骤：
确定所述检测到的对象与所述车辆之间的相对运动；
将所述相对运动与运动阈值进行比较；
当所述相对运动大于所述运动阈值时，那么扩大所述边界区以使所述检测到的对象的运动路径清晰。
10.如权利要求9所述的方法，所述方法还包括以下步骤：将对应于所述运动路径的路径指示符覆盖在所述模拟图像上。
11.如权利要求9所述的方法，其中所述清晰运动路径的图像大小对应于所述检测到的对象在预定时间之后的预测位置，其中所述预定时间具有根据所述分类的对象类型选择的值。
12.如权利要求9所述的方法，所述方法还包括以下步骤：
检测所述检测到的对象与所述车辆之间的撞击概率；
将所述撞击概率乘以与所述分类的对象类型相关联的重要因子；以及
将所述有利点调整到所述虚抛物面上的备选位置，在所述备选位置，所述检测到的对象的所述遮掩比率降低。
13.一种车辆设备，所述车辆设备包括：
安装到车辆的相机阵列，所述相机阵列提供环绕所述车辆的外部图像数据；
显示面板，所述显示面板用于向所述车辆的乘员显示车辆周围的视觉场景；以及
控制器，所述控制器被适配为：
根据所述外部图像数据和叠加在所述图像数据的一部分上的虚拟车辆图像，组合对应于所述车辆外部的虚抛物面上的选定的有利点的模拟图像；
检测在所述车辆周围的相应位置处的对象；
对于在所述模拟图像中具有被所述虚拟车辆图像遮蔽的对应图像数据的检测到的对象，将遮掩比率量化；以及
当所述检测到的对象具有高于遮掩阈值的遮掩比率时，将所述车辆图像的对应边界区渲染为在所述模拟图像中至少部分地透明，以使所述对应图像数据清晰。
14.如权利要求13所述的车辆设备，所述车辆设备还包括多个主动式远程传感器，所述多个主动式远程传感器提供传感器数据以用于检测所述检测到的对象并进行分类。
15.如权利要求13所述的车辆设备，其中所述控制器对在距所述车辆预定距离内的感兴趣对象进行分类，其中根据包括行人对象的多个对象类型对所述检测到的感兴趣对象进行分类，并且其中根据所述分类的对象类型来选择所述遮掩阈值。
CN202010004785.5A 2019-01-07 2020-01-03 模拟成像系统中的虚拟车辆的自适应透明 Pending CN111414796A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/240,961 US10896335B2 (en) 2019-01-07 2019-01-07 Adaptive transparency of virtual vehicle in simulated imaging system
US16/240,961 2019-01-07

Publications (1)

Publication Number Publication Date
CN111414796A true CN111414796A (zh) 2020-07-14

Family

ID=71104297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010004785.5A Pending CN111414796A (zh) 2019-01-07 2020-01-03 模拟成像系统中的虚拟车辆的自适应透明

Country Status (3)

Country Link
US (1) US10896335B2 (zh)
CN (1) CN111414796A (zh)
DE (1) DE102020100080A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348958A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 关键帧图像的采集方法、装置、系统和三维重建方法
CN113272177A (zh) * 2018-11-15 2021-08-17 法雷奥开关和传感器有限责任公司 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统
CN114187803A (zh) * 2021-12-17 2022-03-15 山东万正网络科技有限公司 一种驾驶员培训中车辆基础部件模拟教学的方法及系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760092B2 (en) * 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
US11050932B2 (en) * 2019-03-01 2021-06-29 Texas Instruments Incorporated Using real time ray tracing for lens remapping
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
US11663377B2 (en) * 2019-09-27 2023-05-30 Woven Planet North America, Inc. Sensor arrangement validation using simulated environments
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
US11442464B2 (en) * 2020-03-25 2022-09-13 Mitsubishi Electric Research Laboratories, Inc. Bird's eye view map based recognition and motion prediction for autonomous systems
US11551429B2 (en) 2020-06-05 2023-01-10 Uatc, Llc Photorealistic image simulation with geometry-aware composition
US11423674B2 (en) * 2020-10-22 2022-08-23 Ford Global Technologies, Llc Vehicle occupant gaze detection
JP7559535B2 (ja) * 2020-12-14 2024-10-02 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
KR20230086979A (ko) * 2021-12-09 2023-06-16 현대자동차주식회사 차량 및 차량의 제어방법
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
US20230368527A1 (en) * 2022-05-10 2023-11-16 Google Llc Object Filtering and Information Display in an Augmented-Reality Experience
GB2621979A (en) * 2022-08-23 2024-03-06 Continental Automotive Gmbh Method and device for generating an outsider perspective image and method of training a neural network
US11948227B1 (en) * 2023-04-18 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Eliminating the appearance of vehicles and/or other objects when operating an autonomous vehicle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
US9280202B2 (en) 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
CN105556956B (zh) * 2013-09-19 2019-01-22 富士通天株式会社 图像生成装置、图像显示系统、图像生成方法以及图像显示方法
US10055643B2 (en) 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
MX2019000060A (es) 2016-07-13 2019-04-01 Sony Corp Dispositivo generador de imagenes, metodo para la generacion de imagenes, y programa.
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113272177A (zh) * 2018-11-15 2021-08-17 法雷奥开关和传感器有限责任公司 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统
CN112348958A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 关键帧图像的采集方法、装置、系统和三维重建方法
CN114187803A (zh) * 2021-12-17 2022-03-15 山东万正网络科技有限公司 一种驾驶员培训中车辆基础部件模拟教学的方法及系统

Also Published As

Publication number Publication date
US10896335B2 (en) 2021-01-19
US20200218910A1 (en) 2020-07-09
DE102020100080A1 (de) 2020-07-09

Similar Documents

Publication Publication Date Title
US10896335B2 (en) Adaptive transparency of virtual vehicle in simulated imaging system
CN109427199B (zh) 用于辅助驾驶的增强现实的方法及装置
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
JP4872245B2 (ja) 歩行者認識装置
US7592928B2 (en) Image display device and method
CN104185009B (zh) 前方路缘观察系统中的增强的俯瞰视图生成
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
EP2544449B1 (en) Vehicle perimeter monitoring device
EP2660104A2 (en) Apparatus and method for displaying a blind spot
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
KR102130059B1 (ko) 디지털 백미러 제어 유닛 및 방법
US20110157184A1 (en) Image data visualization
KR20080020956A (ko) 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템
EP3456574B1 (en) Method and system for displaying virtual reality information in a vehicle
US10846833B2 (en) System and method for visibility enhancement
CN107133587B (zh) 障碍物距离判定图像生成方法与装置
US20190141310A1 (en) Real-time, three-dimensional vehicle display
JP6880252B2 (ja) 自動車両および自動車両の環境領域の少なくとも１つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両
CN109987025B (zh) 用于夜晚环境的车辆驾驶辅助系统及方法
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
KR20130065268A (ko) 사각 지대 표시 장치 및 방법
US11425364B2 (en) Head-up display system for vehicle
WO2008037473A1 (en) Park assist system visually marking up dangerous objects
US12091029B2 (en) Method and driver assistance system for providing visual information about a first vehicle in an environment of a second vehicle, computer program and computer-readable medium
JP7371419B2 (ja) 運転支援システムおよび運転支援プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination