CN118163811A - 用于向车辆乘员显示信息的方法和系统 - Google Patents

Abstract

一种用于向车辆的乘员显示信息的计算机实现的方法，该方法包括由计算机硬件组件执行的以下步骤：确定与由安装在车辆上的至少一个雷达传感器捕获的雷达响应相关联的数据；确定数据的可视化；以及向车辆的乘员显示可视化。

Description

用于向车辆乘员显示信息的方法和系统

技术领域

本公开涉及用于向车辆的乘员显示信息的方法和系统。

背景技术

车辆的乘员，特别是驾驶员，依赖于他们在车辆环境中观察到的情况。然而，在一些情况下，例如在弱光或黑暗期间，人眼在观察环境方面劣于相机等技术手段。

因此，需要提供用于向车辆的乘员显示信息的增强的方法和系统。

发明内容

本公开提供了根据独立权利要求的计算机实现的方法、计算机系统和非暂时性计算机可读介质。在从属权利要求、说明书和附图中给出了实施例。

在一个方面，本公开涉及一种用于向车辆的乘员显示信息的计算机实现的方法，该方法包括由计算机硬件组件执行(换言之：实施)的以下步骤：确定与由安装在车辆上的至少一个雷达传感器捕获的雷达响应相关联的数据；确定数据的可视化；并向车辆的乘员显示可视化。

确定可视化可以被理解为准备并确定要显示的数据的布局、设计、颜色、布置和任何其他视觉属性。显示可视化可以被理解为例如使用显示设备来实际呈现所确定的可视化。

利用本文描述的方法，可以提供使用基于雷达信号的数据的夜视系统。

应当理解，虽然使用与雷达响应相关联的数据描述了各种实施例，但是也可以使用除了雷达传感器之外的传感器到传感器。例如，数据可以与激光雷达数据或红外数据相关联。

该数据可以是处理雷达数据(例如处理雷达响应)的方法的输出。该方法可以是经过训练的机器学习方法，例如人工神经网络。例如，该方法可以是RadorNet或RadorNet的后继者，例如出于所有目的通过引用并入本文的US2022/0026568 A1中所描述的。

根据实施例，可视化包括车辆的周围环境的环绕视图。使用雷达，可以提供车辆(例如自车辆)的周围视图，而不管照明和不利的天气的条件。

根据实施例，至少一个雷达传感器可以包括一种系统，该系统包括在不同位置处提供的雷达传感器。根据实施例，至少一个雷达传感器包括四个雷达传感器。例如，四个角雷达可以使能自车辆周围的360°视图。

根据实施例，至少一个雷达传感器用于L1功能或L2功能或L3功能或L4功能或L5功能。例如，用于常见L1/L2/L3/L4/L5功能的雷达除了用于L1或L2或L3或L4或L5功能之外，还可以支持夜视。L1(1级)功能可以指驾驶辅助功能，其中驾驶员的手可能必须保持在方向盘上，并且这些功能也可以指共享控制。L2(2级)功能可以指驾驶员的手可以离开方向盘的驾驶辅助功能。L3(3级)功能可以指驾驶员的眼睛可以脱离实际交通情况的驾驶辅助功能。L4(4级)功能可以指驾驶员的注意力可以脱离实际交通情况的驾驶辅助功能。L5(5级)功能可以指方向盘完全可选的驾驶辅助功能，即可以随时在没有任何用户交互的情况下驾驶。

根据实施例，计算机实现的方法还包括基于驾驶情况确定触发因素，其中基于触发因素确定可视化。例如，可以基于触发因素来触发可视化的不同方面。一个方面可以例如是可视化是否涉及行人或另一车辆等的危险情况。例如，诸如车速或档位选择之类的触发因素可用于确定驾驶情况，从而使视图从正面动态改变为360°概览，以改善驾驶员体验。

根据实施例，驾驶情况包括雾情况、雨情况、雪情况、交通情况、交通拥堵情况、黑暗情况或与其他道路使用者相关的情况中的至少一种。例如，与其他道路使用者相关的情况可以包括快速摩托车驶入车道之间。当相应情况发生时，可以触发触发因素。例如，触发因素可以在环境光低于预定阈值时触发。根据各种实施例，可以提供一系列触发步骤(例如在日落期间)。

根据实施例，基于相机(例如用于确定雾、雨或雪)、雨传感器、车辆到车辆通信、天气预报、时钟、光传感器、导航系统或基础设施到车辆通信中的至少一种来确定触发因素。例如，当使用基础设施到车辆通信时，可以从沿道路提供的基础设施向车辆提供沿道路的气象站；说明性地，例如，桥梁可以告诉车辆桥梁结冰了。

根据实施例，可视化包括导航系统的信息。这可以允许可视化提供与导航指令相结合的视图(例如，可视化数据可以沿着路线或沿着“驾驶地平线”突出显示)。

根据实施例，数据包括基于雷达响应的对象信息。对象检测可以根据需要显示对驾驶员和其他人危险的对象实例。对象的大小、取向、速度和航向可用于改进可视化。

根据实施例，可视化可以基于对象的距离来确定。例如，较远的对象可以与较近的对象不同地进行可视化。此外，可以基于情况有多危险来提供不同的可视化。

根据实施例，数据包括基于雷达响应的分割数据。根据实施例，数据包括基于雷达响应的分类数据。然后可以基于分割数据和/或基于分类数据来确定可视化。例如，分割可以用于突出显示危险类别，并且还可以提供环境中障碍物的无类别概览。

“无类别”可以指不需要与特定任务的绑定。“占用”类别可以覆盖对象检测器针对其所训练的所有类别以及更多类别。因此，语义分割可以具有额外的信息，其可以判断路径是否被占用，而不是具体知道阻塞对象是什么。对象检测可以具有预先定义的类别，然后对其进行训练。然而，可能不希望在对象检测器中具有太多类别，因为决策边界可能没有被充分定义。当仅考虑基于单元的分类时，可以提供可以覆盖更广泛范围的对象的空闲/占用决策。

例如，停放的汽车和/或人行道和/或自由空间和/或道路边界可以被分类为停放的汽车和/或人行道和/或自由空间和/或道路边界的相应类别，并且对象可以被示出为分割的彩色图像。

根据实施例，该方法包括基于分类来确定对象的高度。分类结果(例如ML方法的分类结果)可用于生成伪高度以实现更好的可视化。伪高度可以是对象平均高度的估计；例如，汽车的平均高度可以约为1.6m，行人的平均高度可以约为1.7m。因此，可视化可以基于高度。

类别还可以用于提供除高度之外的其他属性的估计，例如形状。例如，汽车可以在水平方向上具有较长的形状，而行人可以在垂直方向上具有较长的形状。在另一实施例中，可以使用雷达传感器来测量和估计对象的2D形状以提供。

根据各种实施例，可以提供基于类别的表示。例如，如果检测到汽车，则可以提供该汽车的模型。如果另外测量或估计形状，则可以针对形状调整模型。

根据实施例，可视化包括驾驶员警报。例如，可以处理驾驶员警报生成和对象实例/分割结果以在某些情况下向驾驶员发出警报。

例如，可以以渐进的方式提供驾驶员警报。例如，可以提供各种级别的警报，其中如果警报情况持续或者如果用户对警报没有反应，则提供后续级别的警报。例如，在第一级警报中，可以在显示器上提供警报，随后是以不同颜色提供的第二级警报，随后是第三级警报，例如声音警报，例如使用音频系统，然后是使用座椅振动器的第四级警报。

根据实施例，可视化被显示在增强现实显示器中。增强现实显示器可以将可视化覆盖在HUD(平视显示器)上并且具有周围环境。

根据实施例，基于将数据与其他传感器数据组合来确定可视化。其他传感器数据可以包括至少一个地图。例如，雷达数据可以与其他传感器数据或地图(例如来自在线地图服务的地图)相组合，以创建图像并向驾驶员显示图像。

另一方面，本公开涉及一种计算机系统，所述计算机系统包括被配置为执行本文描述的计算机实现的方法的若干个或所有步骤的多个计算机硬件组件。计算机系统可以是车辆的一部分。

计算机系统可以包括多个计算机硬件组件(例如处理器，例如处理单元或处理网络，至少一个存储器，例如存储器单元或存储器网络，以及至少一个非暂时性数据存储器)。应当理解，可以提供另外的计算机硬件组件并将其用于在计算机系统中执行计算机实现的方法的步骤。非暂时性数据存储器和/或存储器单元可以包括计算机程序，用于指示计算机例如使用处理单元和至少一个存储器单元来执行本文描述的计算机实现的方法的若干或所有步骤或方面。

在另一方面，本公开涉及一种车辆，包括本文描述的计算机系统和至少一个雷达传感器。

另一方面，本公开涉及一种包括指令的非暂时性计算机可读介质，所述指令当由计算机执行时，使得计算机执行本文描述的计算机实现的方法的若干个或所有步骤或方面。计算机可读介质可以被配置为：光学介质，例如光盘(CD)或数字多功能盘(DVD)；磁性介质，例如硬盘驱动器(HDD)；固态硬盘(SSD)；只读存储器(ROM)，例如闪存；或类似物。此外，计算机可读介质可以被配置为可经由数据连接(例如互联网连接)访问的数据存储装置。计算机可读介质可以例如是在线数据存储库或云存储。

本公开还涉及一种用于指示计算机执行本文描述的计算机实现的方法的若干个或所有步骤或方面的计算机程序。

附图说明

下面结合附图来描述本发明的示例性实施例和功能，附图示意性地示出：

图1A是根据各种实施例的具有自行车警报的示例图像的可视化的图示；

图1B是根据各种实施例的具有行人警报的示例图像的可视化的图示；

图1C是根据各种实施例的具有行人警报的示例图像的可视化的图示；

图2是根据各种实施例添加的具有各种对象的伪高度的3D显示的图示；

图3是根据图2场景的相机视图的各种实施例的图示；

图4示出了根据各种实施例的用于向车辆的乘员显示信息的方法的流程图；

图5是示出根据各个实施例的用于向车辆的乘员显示信息的方法的流程图；以及

图6是具有多个计算机硬件组件的计算机系统，其被配置为执行根据各种实施例的用于向车辆的乘员显示信息的计算机实现的方法的步骤。

具体实施方式

常用的夜视显示器可以采用红外(IR)灯和IR相机来为驾驶员提供远光束照明区域之外的增强视野。它们还可以突出显示活体对象、人类/动物和其他发热结构。巧合的是，这些活体对象可能对驾驶员是危险的，因此对于安全驾驶非常重要。

常用的夜视系统可以包括行驶方向上的强大IR光束和观察这些照明区域的IR相机。生成的IR图像可以在驾驶舱中进行处理和显示，以给予驾驶员周围环境和发热结构的更好概貌。

然而，常用的夜视系统可能会遇到以下一种或多种问题。IR系统可能仅面向前方，并且因此可能具有有限的操作范围。IR系统可能很昂贵，例如每辆车高达1000美元。在使用强大的IR灯时，能耗可能会很高。可能需要额外的组件，这可能会增加安装成本。常用的系统可能无法直接检测运动。不利的天气条件可能会限制系统性能，并且常用的系统可能具有有限的范围并且可能取决于温度差异。

根据各种实施例，可以提供方法和系统，其可以使用放置在车辆周围的多个雷达并且可以提供从雷达响应(例如低水平雷达数据)到最终分割或检测输出的端到端架构。例如，可以提供使用分割和对象检测的基于低水平雷达数据的夜视。

根据各种实施例的方法和系统可以集成来自机器学习(ML)方法(例如ML网络)的占用信息、分割和对象检测，以生成3D(三维)图像表示以显示驾驶员轮廓、周围环境的分类和速度并突出显示特殊对象实例。

特殊对象实例可能对驾驶员有潜在危险，并且可以拥有分类、大小、取向和速度信息，以便后续描述的方法向驾驶员生成警报。特殊对象可以是例如行人、骑自行车者、动物或车辆。

对于分割和占用确定，可以提供的是可以向每个单元分配速度并且可以将其分类为多个类别之一。例如，多个类别可以包括：占用_静止(occupied_stationary)(例如，对于包括静止对象的单元)、占用_移动(occupied_moving)(例如，对于包括移动对象的单元)、自由、行人、骑自行车者、动物、车辆。例如，占用_静止和占用_移动类别可以是其他类别的超集(superset)。例如，所有行人、骑自行车者、动物或车辆都可以出现在占用_移动类别中。如果存在其他对象正在移动但没有被行人、骑自行车者、动物或车辆覆盖，则它们可以包括在占用_移动类别中。

机器学习可以为检测到的对象添加分类，并且还可以改进杂乱环境中的检测/分割性能。然后，这些信息可以用于改进可视化，例如即使传感器无法检测高度以实现分割图的3D表示，也可以基于2D(二维)分类结果添加先验高度信息。

根据各种实施例，雷达传感器数据可以与相机图像组合或者与来自其他传感器的信息融合，以使用适当的方法利用附加信息生成环境的增强地图。例如，雷达图像可以与相机图像组合，这有助于通过距离、速度和分类信息(例如框或分割)来增强相机视图。

根据各种实施例，可以提供图像表示的可视化。

占用/分割信息可以作为鸟瞰视图(BEV)网格图，而对象检测可以作为边界框的列表。根据各种实施例，这些3D对象和分割/占用网格可以合并在3D视图中，以给予驾驶员对周围环境和针对自车辆的潜在危险对象的更好了解。这可以使导航更容易，并指出可能的危险，特别是在能见度低的环境和恶劣的天气条件下。特别是在低能见度环境和恶劣天气条件下，例如雪路，除了方便功能外，还可以提供安全方面的益处。机器学习(ML)可以实现分割和检测中类别的区分，并且该知识可以用于显示检测/分割的类别的3D模型。例如，如果检测到行人，则可以在视图中的位置处显示3D模型，其具有从ML模型获得的航向。

根据各种实施例，为了避免分心，可以选择颜色和视图以具有清晰的含义并且易于解释。显示器可以位于驾驶舱内或使用增强现实嵌入平视显示器中。

在根据各种实施例的夜视显示器中，这可以通过为驾驶员选择多个视图来实现。驾驶员可能具有有限的视野，专注于与安全驾驶相关的区域。根据各种实施例，2D BEV可以转变成3D视图，并且3D视图中的视角可以与驾驶员对周围环境的视图对齐，以实现观看前窗外部和根据各种实施例的视图的容易转换。静态的、不在驾驶员路径中或被认为不危险的对象可以用中性配色方案绘制。与此相反，行驶路径中或其他危险对象中的VRU(弱势道路使用者)对象可以被突出显示。ML可以实现在分割和检测中对类别的区分，这可以使警报级别的这些分离成为可能。

根据各种实施例，可以利用对象或分割单元的类别、速度、航向来生成对驾驶员的警报。基于目标和自我速度以及航向，可以计算碰撞时间。利用分类信息，可以增强这一点，例如对于人行道上的行人来说，他们在碰撞路径上行走但很可能在红绿灯处停下来。因此，可以生成多个警报类别，例如由于有关类别的知识，在碰撞路径上但很可能不会发生碰撞的对象可以以与特定碰撞不同的方式被显示。ML可以实现在分割和检测中对类别的区分，这可以使警报级别的这些分离成为可能。警报的其他示例可用包括：道路上的VRU(弱势道路使用者)；VRU位于可能干扰自我轨迹的轨迹上；VRU位于正面/背面/侧面/一般感兴趣区域的任何位置；行驶轨迹上的未知对象；未知对象轨迹与自我轨迹交叉；自我轨迹朝向占据的区域；自车辆危险地接近于其他对象。

根据各种实施例，相应像素/对象可以被突出显示，如下文将描述的。

根据各种实施例，警报可以被显示，或者置于夜视视图的固定区域中，在该固定区域中它们不妨碍视野(这样，只要场景包含潜在危险的对象，就可以向驾驶员发出警报)，或者每个对象可以基于计算的警报级别/分类得到其自己的通知。可以基于警报级别来修改在检测到/分割的对象的位置处显示的3D对象，例如行人的3D模型会增加其亮度或配色方案，以便对于驾驶员而言更易感知。然后，警报标志可以出现在相应对象之上。这样，不仅可以向驾驶员发出警报，还可以显示危险所位于的位置。警报可以是闪烁的对象/像素、颜色变化、背景颜色变化、位于图像中或对象/像素之上的警报标志、显示自我轨迹和目标轨迹的交点的箭头。

图1A示出了根据各种实施例的具有自行车警报104的示例图像的可视化102的图示100。自车辆106也在可视化102中示出。

图1B示出了根据各种实施例的具有行人警报154的示例图像的可视化152的图示150。自车辆156也在可视化152中示出。

可以看出，与图1A的自行车警报104相比，行人警报154设置在不同位置提供。例如，警报(例如自行车警报104或行人警报154)可以在取决于针对警报的对象的类型(例如自行车或行人)的地点或位置处提供。

根据实施例，位置可以取决于对象所在的位置。例如，可以在对象的边界框之上提供警报标志。

图1C示出了根据各种实施例的具有行人警报174的示例图像的可视化172的图示170，其中行人警报174在行人的边界框之上提供。自车辆176也在可视化172中示出。

应当理解，可以显示多于一个的边界框，并且相应地，可以显示多于一个的警报标志(例如，一个警报标志针对一个边界框，其表示潜在危险或濒临危险的对象)。

根据实施例，取决于针对警报的对象的类型，警报信号可以显示在边界框之上(如图1C所示)和显示器的预定位置处(如图1A和图1B所示)两者。

根据各种实施例，可以生成场景的3D表示。使用(低成本)雷达传感器，即使没有良好的高度分辨率和辨别力，分割或检测的分类结果也可用于基于对象的类别和先验知识来查找关于对象高度的信息。图2中示出了一个示例。使用ML可以增加信息内容并且可以改善驾驶员的可解释性(interpretability)。

图2示出了根据各种实施例添加各种对象的伪高度的3D显示器202的图示200。

显示行人206、移动车辆204以及移动自行车208的分割信息。还示出了自车辆210。应当理解，框204、206、208可以显示给或可以不显示给驾驶员。

除了上述信息之外，图2还包括激光雷达线，其没有更详细地描述并且可以在或可以不在显示器中提供给驾驶员。

根据各种实施例，可以将多个类别添加到语义分割以使每个像素具有可用的信息，可以提供如图2所示的伪3D地图。

图3示出了根据图2的场景的相机视图302的各种实施例的图示300，包括用于突出显示危险的伪3D点云。应当理解，可以使用来自检测的边界框来代替3D点云。“伪3D点云”中的“伪”可以指来自2D BEV语义分割的点云。可以基于分类结果和先验知识来分配高度并且因此分配第三维度。

类似于图2，但在不同的视图中，图3中显示了行人(由框306所示)、移动车辆(由框304所示)和移动自行车(由框306所示)的分割信息。308)。应当理解，框304、306、308可以显示给或可以不显示给驾驶员。

根据各种实施例，3D场景表示可以覆盖在相机图像上并显示在汽车中或用在平视显示器(HUD)中，从而实现如图3所示的增强现实。相机还可以用于对相机图像运行分割/检测，并使用网络融合雷达和相机网络的结果，以生成更令人信服的场景表示。将深度信息和雷达的分割/检测结果以及具有其分割/检测的图像进行融合可以导致可生成真实的3D地图。

根据各种实施例，可以使用3D场景重建，例如以获得自车辆的当前周围环境的视觉上更令人愉悦或视觉上简化的表示。经济高效的角雷达可以提供2D点云和对象列表，并具有基于分类结果确定的伪高度。前置雷达可以提供3D点云和对象列表，使用机器学习可以增加高度分辨率，并且与2D情况一样，可以启用所有网格点的分类。使用框类别和这些框内点的高度信息或具有伪高度的3D点云/2d点云，神经网络(例如GAN(生成对抗网络)/NerF(神经辐射场))可以生成基于雷达分割/检测的相机图像，如场景视图。结合真正的3D雷达点云可以显著改善视觉印象，并且可以启用新功能，例如在桥梁、标志或树枝太低的情况下发出高度警报。

根据各种实施例，可以基于触发因素来提供视图改变。例如，基于自速度(换言之：基于车辆的速度)，驾驶员感兴趣的视图和区域可以改变。例如，当以高于预定阈值(例如30公里/小时)的速度向前行驶时，前视图(如图1所示)可以是最具信息性的(informative)并且因此可以被选择作为图示。当行驶较慢时，随着碰撞时间的增加，可以对远距离处的对象失去一些兴趣，但车辆周围的对象可以变得更加重要(例如，试图从后面超车的摩托车一辆，或者紧随其后的骑自行车者)。当停下来时，以车辆附近(例如40m)的自车辆中间为中心的鸟瞰视图可以是最令人感兴趣的并且被选择作为可视化。当挂倒档时，视图可以围绕车辆后部为中心。

根据各种实施例，基于速度，可视化可以逐渐从面向前方的远距离视图移动到鸟瞰视图。可以按如下方式提供逐步过渡：

1)将焦点从车辆前方的某处移动到自车辆的中间。这些步骤可以离散化，例如每30kph或在30kph 50khp 100kph处触发。

2)随着速度的增加，将焦点从车辆中心移动到前方，例如根据焦点＝min(高_速_焦_点(high_speed_focal_point)，速度*步长速度(step size speed))。

3)随着速度降低而降低相机，从BEV视图变为过肩视图，例如根据相机高度＝min(高_速_相机_高度(high_speed_camera_height)，低_速_相机_高度(low_speed_camera_height)–速度*步_长_高度(step_size_height))。

在上面的等式中，Low_speed_camera_height可以大于high_speed_camera_height。当速度慢时，相机可以处于鸟瞰视图，而当速度快时，相机可以处于“过肩视图”，并且因此要低得多。

图4示出了说明根据各种实施例的用于向车辆乘员显示信息的方法的流程图400。数据402可以例如由块412a至426(由虚线框404说明性地概括)来处理，以提供对可视化的确定。然后可视化可以显示在显示器406上。

例如，可以从处理雷达数据的方法提供分割408和框输出410。分割408和框输出410可以是与根据各种实施例用于可视化的雷达响应相关联的数据。

分割408和/或框输出410可以被提供以进行进一步处理，例如置信度缩放(其可以在置信度缩放阿尔法模块412a和置信度缩放颜色模块412b中提供，置信度缩放阿尔法模块412a提供对阿尔法映射的缩放，置信度缩放颜色模块412b提供对颜色映射的缩放)，和/或提供给类别决策414、和/或警报生成424和/或框渲染426。

类别决策414可以基于置信度来确定类别，例如利用最高置信度获胜策略。

取决于类别和/或取决于输出是颜色映射还是阿尔法映射，置信度缩放412a/b可以将置信度从0不同地缩放到1。例如，对于网格中的n个像素，利用三个类别网络输出置信度可以等于/>这是归一化的S形函数(sigmoid)。在示例中，可以使用softmax。缩放可以基于多个类别来完成。例如，可以基于像素中存在的所有占用类别来缩放占用分数。对于无类别(class free)，可以将置信度设置为0以用于以后的映射。对于阿尔法通道，可以单独缩放置信度。

置信度缩放412a/b的输出可以被提供给阿尔法映射416和/或颜色映射418。

类别决策414的输出可以被提供给阿尔法映射416和/或颜色映射418和/或高度查找420。

阿尔法映射416可以采用从阿尔法缩放模块412a缩放的置信度，例如使用获胜类别作为阿尔法值。阿尔法缩放模块412a(其也可以被称为置信度缩放阿尔法模块)和置信度缩放颜色模块412b可以被组合在置信度缩放模块中。

颜色映射418可以采用从阿尔法缩放模块缩放的置信度，例如使用获胜类别作为阿尔法值。然后可以采用置信度来索引离散/连续颜色图以获得rgb(红、绿、蓝)值。

高度查找420可以基于类别决策从表中查找先验高度。例如，汽车的平均高度(可以称为伪高度)可以是1.6m，行人可以是1.7m，自行车可以是2.0m，自由空间可以是0m，占用空间可以是0.5m。

阿尔法映射416、颜色映射418和高度查找的输出可以被提供给PC(个人计算机)或图像渲染422。PC/图像渲染422可以提供分配有rgba(红绿蓝阿尔法)值的网格图，该网格图可以被输入到点云可视化(例如如图2中说明性地示出的)或图像可视化(例如如图3中说明性地示出的)。

警报生成模块424可以基于框输出410和分割408来生成警报。警报生成模块424可以根据例如未来何时即将发生与框的碰撞、或者框在危险区域中(区域取决于类别)，基于分割的驾驶路径中的障碍物(无论类别如何)，来生成警报。

警报生成424的输出可以被提供给框渲染426。

框渲染426可以获取框输出410和警报级别并且可以修改框表示警报标志显示并且然后可以将结果输出到框可视化。

图像渲染422和框渲染426的输出可以显示在显示器406上。

图5示出了说明根据各种实施例的用于向车辆的乘员显示信息的方法的流程图500。在502，可以确定与由安装在车辆上的至少一个雷达传感器捕获的雷达响应相关联的数据。在504，可以确定数据的可视化。在506，可视化可以显示给车辆的乘员。

根据各种实施例，可视化可以包括车辆周围环境的环绕视图或者可以是车辆周围环境的环绕视图。

根据各种实施例，可以基于驾驶情况来确定触发因素，并且可以基于触发因素来确定可视化。

根据各种实施例，驾驶情况可以包括或者可以是雾情况、雨情况、雪情况、交通情况、交通拥堵情况、黑暗情况或与其他道路使用者相关的情况中的至少一种。

根据各种实施例，触发因素可以基于相机、雨量传感器、车辆到车辆通信、天气预报、时钟、光传感器、导航系统或基础设施到车辆通信中的至少一种来确定。

根据各种实施例，可视化可以包括导航系统的信息。

根据各种实施例，数据可以包括或者可以是基于雷达响应的对象信息。

根据各种实施例，数据可以包括或者可以是基于雷达响应的分割数据。

根据各种实施例，数据可以包括或者可以是基于雷达响应的分类数据。

根据各种实施例，可以基于分类来确定对象的高度。

根据各种实施例，可视化可以包括或者可以是驾驶员警报。

根据各种实施例，可视化可以显示在增强现实显示器中。

根据各种实施例，可以基于将数据与其他传感器数据组合来确定可视化。

根据各种实施例，可以通过使用扫描的自我运动补偿随时间聚合来自多个扫描的数据来改进静止对象的表示。

根据各种实施例，可视化(例如图示为地图)可以显示对象和自由空间的高度。

根据各种实施例，雷达数据和相机数据可以用于通过重叠两个图像来生成环境的组合表示。此外，雷达数据可用于使用来自雷达的鸟瞰视图图像来执行相机图像的几何校正。鸟瞰视图图像可以通过相机获取。为了从相机获得鸟瞰视图，可以通过几何校正将其映射到鸟瞰视图。

根据各种实施例，可以变换数据(例如使用机器学习方法)以增强驾驶员的图像质量，例如提高分辨率、滤波噪声并提高视觉质量。

根据各种实施例，雷达数据可以被变换成自然的或增强的外观图像，例如循环gan(循环生成对抗网络)可用于生成看起来更自然的虚拟图像。

根据各种实施例，路径中的关键对象可在显示器上突出显示，并且多普勒测量可用于提供附加信息。

步骤502、504、506中的每一个以及上述进一步的步骤可以由计算机硬件组件来执行。

图6示出了具有多个计算机硬件组件的计算机系统600，其被配置为执行根据各种实施例的用于向车辆乘员显示信息的计算机实现的方法的步骤。计算机系统600可以包括处理器602、存储器604和非暂时性数据存储装置606。雷达传感器608可以被提供作为计算机系统600的一部分(如图6所示)，或者可以可以在计算机系统600的外部提供。

处理器602可以执行存储器604中提供的指令。非暂时性数据存储装置606可以存储计算机程序，包括可以被传送到存储器604并且然后由处理器602执行的指令。雷达传感器608可以用于捕获雷达响应。可以提供一个或多个另外的雷达传感器(类似于雷达传感器608)(图6中未示出)。

处理器602、存储器604和非暂时性数据存储装置606可以彼此耦合，例如经由电连接610，例如电缆或计算机总线或经由任何其他合适的电连接来交换电信号。雷达传感器608可以例如经由外部接口耦合到计算机系统600，或者可以被提供作为计算机系统的一部分(换言之：在计算机系统内部，例如经由电连接610耦合)。

术语“耦合”或“连接”旨在分别包括直接“耦合”(例如经由物理链路)或直接“连接”以及间接“耦合”或间接“连接”(例如经由逻辑链路)。

应当理解，针对上述方法之一所描述的内容可以类似地适用于计算机系统600。

附图标记列表

100可视化的图示

102示例图像的可视化

104自行车警报

106自车辆

150可视化的图示

152示例图像的可视化

154行人警报

156自车辆

170可视化的图示

172示例图像的可视化

174行人警报

176自车辆

200显示器的图示

202显示器

204突出显示移动车辆的分割信息

206突出显示行人的分割信息

208突出显示移动自行车的分割信息

210自车辆

300相机视图的图示

302图2场景的相机视图

304突出显示移动车辆的框

306突出显示行人的框

308突出显示移动自行车的框

图400示出了根据各种实施例的用于向车辆乘员显示信息的方法的流程图

402与雷达响应相关联的数据

404可视化确定

406显示器

408分割

410框输出

412a置信度缩放阿尔法

412b置信度缩放颜色

414类别决策

416阿尔法映射

418颜色映射

420高度查找

422图像渲染

424警报生成

426框渲染

图500示出了根据各种实施例的用于向车辆乘员显示信息的方法的流程图502确定与由安装在车辆上的至少一个雷达传感器捕获的雷达响应相关联的数据的步骤504确定数据可视化的步骤506向车辆乘员显示可视化的步骤600根据各种实施例的计算机系统

602处理器

604存储器

606非暂时性数据存储装置

608雷达传感器

610连接

Claims (15)

1.一种用于向车辆的乘员显示信息的计算机实现的方法，

所述方法包括由计算机硬件组件执行的以下步骤：

-确定(502)与由安装在所述车辆上的至少一个雷达传感器捕获的雷达响应相关联的数据；

-确定(504)所述数据的可视化；以及

-向所述车辆的所述乘员显示(506)所述可视化。

2.根据权利要求1所述的计算机实现的方法，

其中，所述可视化包括所述车辆的周围环境的环绕视图。

3.根据权利要求1至2中的任一项所述的计算机实现的方法，还包括由所述计算机硬件组件执行的以下步骤：

基于驾驶情况确定触发因素；

其中，所述可视化是基于所述触发因素来确定的。

4.根据权利要求3所述的计算机实现的方法，

其中，所述驾驶情况包括以下中的任一项：雾情况、雨情况、雪情况、交通情况、交通拥堵情况、黑暗情况或与其他道路使用者相关的情况。

5.根据权利要求3所述的计算机实现的方法，

其中，所述触发因素是基于以下中的任一项来确定的：相机、雨量传感器、车辆间通信、天气预报、时钟、光传感器、导航系统或基础设施至车辆通信。

6.根据权利要求1至2中的任一项所述的计算机实现的方法，

其中，所述可视化包括导航系统的信息。

7.根据权利要求1至2中的任一项所述的计算机实现的方法，

其中，所述数据包括基于所述雷达响应的对象信息。

8.根据权利要求1至2中的任一项所述的计算机实现的方法，

其中，所述数据包括基于所述雷达响应的分割数据；和/或

其中，所述数据包括基于所述雷达响应的分类数据。

9.根据权利要求8所述的计算机实现的方法，还包括由所述计算机硬件组件执行的以下步骤：

基于所述分类来确定对象的高度。

10.根据权利要求1至2中的任一项所述的计算机实现的方法，

其中，所述可视化包括驾驶员警报。

11.根据权利要求1至2中的任一项所述的计算机实现的方法，

其中，所述可视化被显示在增强现实显示器中。

12.根据权利要求1至2中的任一项所述的计算机实现的方法，

其中，所述可视化是基于将所述数据与其他传感器数据组合来确定的。

13.一种计算机系统(600)，所述计算机系统(600)包括被配置为执行根据权利要求1至12中的任一项所述的计算机实现的方法的步骤的多个计算机硬件组件。

14.一种车辆，其包括根据权利要求13所述的计算机系统(600)和所述至少一个雷达传感器(608)。

15.一种非暂时性计算机可读介质，其包括用于执行根据权利要求1至12中的任一项所述的计算机实现的方法的指令。