CN115128566A - 雷达数据确定电路及雷达数据确定方法 - Google Patents

Abstract

本公开总体涉及一种雷达数据确定电路及雷达数据确定方法，该雷达数据确定电路被配置为：获取图像数据；并且基于图像数据中呈现的已学习特征从图像数据确定预测雷达数据，用于基于预测雷达数据与雷达测量数据的关联确定实际雷达数据。

Description

雷达数据确定电路及雷达数据确定方法

技术领域

本公开总体涉及雷达数据确定电路和雷达数据确定方法。

背景技术

自动驾驶车辆或带有驾驶员辅助系统的载人车辆可能需要对环境有一个大致的了解。然而，一个传感器可能不足以满足给定任务(例如，自动驾驶)的精度或准确性要求，从而可以组合来自不同传感器的数据，从而可以在自动或半自动驾驶时执行对象检测。

已知的对象检测方法，例如，在汽车环境中，可以使用来自RGB相机和/或雷达检测器的数据。

在相机域中，可以基于对象检测方法来检测对象，而在雷达域中，可以确定(到对象的)距离。

对象可以与距离相关联，从而可以提供驾驶安全性(例如用于自动驾驶)。

尽管存在基于雷达和相机数据检测对象的技术，但通常希望提供雷达数据确定电路和雷达数据确定方法。

发明内容

根据第一方面，本公开提供雷达数据确定电路，配置成：

获取图像数据；并且

基于图像数据中呈现的已学习特征从图像数据确定预测雷达数据，用于基于预测雷达数据与雷达测量数据的关联确定实际雷达数据。

根据第二方面，本公开提供了雷达数据确定方法，包括：

获取图像数据；并且

基于图像数据中呈现的已学习特征从图像数据确定预测雷达数据，用于基于预测雷达数据与雷达测量数据的关联确定实际雷达数据。

在从属权利要求、下面的描述和附图中阐述了进一步的方面。

附图说明

参照附图通过示例的方式说明实施例，其中：

图1示出了根据本公开的雷达数据确定电路的示意图；

图2描绘了用图1的雷达数据确定电路的相机记录的图像，其中，雷达元素覆盖在图像数据上；

图3在框图中描绘了根据本公开的雷达数据确定方法；

图4a至图4f是用于进一步描述图3的雷达数据确定方法的示例；

图5示出了由于本公开的应用而将汽车与街道标志区分开来的示例性实施例；

图6示出了将轮胎与井盖区分开来的另一示例性实施例；

图7在框图中描绘了根据本公开的雷达数据确定方法的实施例；

图8在框图中描绘了根据本公开的雷达数据确定方法的另一实施例，其中，进一步处理获取到的数据；

图9是描绘车辆控制系统的示意性配置的示例的框图；以及

图10是辅助说明车外信息检测部和成像部的安装位置的示例的图。

具体实施方式

在给出从图1开始的实施例的详细描述之前，进行总体性说明。

如开头所描述，通常已知用于基于雷达数据和相机数据检测对象的对象检测方法。

然而，将雷达检测(标记强雷达反射器的位置)与相机平面中的像素(即位置)联系起来可能是具有挑战性的。例如，由于相对于水平角(方位角)和垂直角(高度)，雷达可能具有比相机更低的分辨率，因此可能存在模糊性。因此，投射到相机平面的一个雷达检测可以对应于相机的许多像素。

已知系统可以在独立地执行一定量的传感器特定处理之后融合信息，使得可能会丢弃潜在有价值的信息。因此，已经认识到，仅在较早阶段的传感器融合或在较晚的融合步骤之外的传感器融合可使处理流水线改善总体性能，并可允许进一步合并来自其他传感器的有用数据。

因此，已经认识到，可以将雷达的距离和径向速度与包括角位置、语义标签、颜色和/或对象边界框的相机的像素级信息融合，从而可以基于与雷达数据的融合将进一步的信息添加到图像中。

还认识到，希望提供基于机器学习的方法，用于基于相机帧预测雷达反射，从而可以减少或甚至解决上述模糊性，从而提高数据融合的精度和可靠性。

因此，一些实施例涉及雷达数据确定电路，被配置为：获取图像数据；并且基于图像数据中呈现的已学习特征从该图像数据确定预测雷达数据，以基于预测雷达数据与雷达测量数据的关联确定实际雷达数据。

电路可以包括适合于根据本公开的数据处理的任何实体或多个实体，例如中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等。此外，计算机、相机、中央板计算机、服务器等可以配置为雷达数据确定电路。

在一些实施例中，雷达数据确定电路被配置成获取图像数据。图像数据可以从存储器、处理器、相机等获取。如通常所知，图像数据可以指示环境的颜色分布。因此，例如，可以用RGB相机获取图像数据，而也可以设想黑白相机、双色相机、多光谱相机等。

通常，图像数据可以指示环境光。

此外，在一些实施例中，从图像数据确定预测雷达数据。例如，图像数据中呈现的对象可以指示预定雷达信号，其可以依赖于对象的材料/反射率。例如，具有预定清漆/涂层的汽车可能与具有不同清漆/涂层的汽车具有不同的(雷达)反射率。

因此，图像数据中的对象可以代表(雷达)特征。在一些实施例中，例如通过人工智能或机器学习算法以监督、半监督或无监督的方式学习这些特征。例如，可以使用多个图像数据和相应的雷达数据来训练人工智能，从而可以使损失函数最小化，这是众所周知的。在一些实施例中，如通常所知，可以设想用于训练的基本事实。

例如，可以学习颜色图案以具有相应的反射率，从而可以排除相机平面中不期望与雷达反射器相关的像素。因此，可以缩小相机平面中的可能像素。

如本文所述，特征可以对应于图像(数据)平面中的雷达检测点(区域)。

基于预测雷达数据，可以确定实际雷达数据。例如，雷达测量数据(其可以是在与图像数据大致相同的时间点获取的)是可用的，使得雷达测量数据的时间戳可以对应于图像数据的时间戳。然而，雷达测量数据可能包含太多关于雷达反射的信息，从而也可能考虑不相关的雷达数据点。

因此，根据本发明，预测雷达数据可以与雷达测量数据相关联，从而可以从雷达测量数据中移除不相关的雷达信息。

在一些实施例中，预测雷达数据可以指示特征概率和预测雷达强度中的至少一者。因此，可以预测信号强度和/或可以确定预测正确的概率。

概率可以基于不确定性因子或确定性因子来确定，他们也可以是预定的或学习的。

如本文所述，预测雷达强度可取决于对象/特征的物理特性。然而，根据本公开，因为学习并由此将预测雷达强度与图像数据相关联可能就足够了，所以不需要确切地知道固有物理变量。

例如，在图像帧中，可以分析颜色图案，并且可以生成预测雷达数据点的地图。地图可以具有与图像帧相同的大小，或者可以相对于图像帧进行子采样。在一些实施例中，可以使地图达到与雷达测量数据的雷达帧相同的大小(即还可以设想上采样或下采样)。

如通常所知，地图可以包含多个网格点，并且每个网格点可以指示概率和/或预测雷达强度。

在一些实施例中，基于深度神经网络、卷积神经网络、支持向量机和随机森林中的至少一者来学习该已学习特征。

此外，可以设想其他人工智能或算法。因此，本公开不限于任何特定的学习算法，并且学习可以依赖于可用的数据。这意味着，特定算法可用于特定类型的训练，例如卷积神经网络可用于无监督训练等。

在一些实施例中，可以从图像数据中按像素提取进一步的信息，例如至少基于以下之一：

-利用指示对象类别(例如汽车、行人、井(盖)、轮胎(在汽车示例中，其中，本公开不限于这些实施例))的类别标签对每个像素进行语义标签/注释

-实例级分割：例如，像素语义标签加上对象实例ID

-2D/3D对象检测：例如，提供检测对象的2D或3D边界框列表，例如包括对象类别标签；2D/3D位置信息；3D对象方向；对象ID

-对象距离：例如基于对象大小

-像素深度估计：例如从单个帧和/或从运动结构估计，例如基于径向距离测量

-光流：例如基于先前的帧来确定图像平面中的表观移动，这可以指示角/径向速度

-对象大小的改变(如边界框大小)：例如，来确定角/径向速度的估计值。

在一些实施例中，雷达数据确定电路还被配置为：确定视觉上预测的雷达检测(也被称为雷达预测)的列表。

例如，可以处理预测雷达数据，使得可以确定包括预测雷达强度和/或概率的列表。

例如，可以基于应用于预测雷达数据的最大值检测器来确定列表。

最大值检测器可以被配置为在预测雷达强度和/或概率中找到最大值，其中，可以利用非最大值抑制，从而在图像平面中生成可能的雷达预测的列表。

在一些实施例中，雷达数据确定电路还被配置为：注释视觉上预测的雷达检测。

例如，每个最大值可以与不确定性估计相关联(如上所述)，该不确定性估计可以是固定值，或者可以基于每个最大值的周围的曲率。

因此，在一些实施例中，不确定性估计基于视觉上预测的雷达检测列表的视觉上预测的雷达检测的曲率。

每个最大值可以与上面讨论的进一步信息相关联，其中，本公开不限于这种情况。

在一些实施例中，雷达数据确定电路还被配置为：获取雷达测量数据；并且注释雷达测量数据。

基于雷达测量数据，可以确定强雷达反射点，该雷达反射点可以指示雷达平面中的坐标中的至少一个(包括径向位置、水平角和垂直角中的至少一者)、探测强度和径向速度。

可以注释这种实际雷达检测，其中，本公开不限于这种情况。实际雷达检测的注释可以基于实际雷达检测与对象类别标签的关联，例如基于微多普勒分析。

在一些实施例中，雷达数据确定电路还被配置为：基于预测雷达数据和雷达测量数据中的至少一者的域变换，将预测雷达数据与雷达测量数据相关联；并且确定预测雷达数据与雷达测量数据之间的差，以用于确定实际雷达数据。

例如，可以将实际雷达检测转移到图像平面中，其中，可以假定相机和雷达的相对位置和方向以及它们的内部特性可以是已知的(例如基于校准确定的)。

基于此，可以将实际雷达位置和不确定性(考虑误差传播，如通常所知)转移到相机坐标系中，并因此投射到图像平面，使得实际雷达检测和雷达预测存在于同一域中。

在每个实际雷达检测和雷达预测之间，可以确定距离值。低距离可以指示雷达预测和实际雷达检测之间的对应，这可以指示实际雷达检测属于视觉预测位置的高概率。高的距离可能表明低的可能性。

该距离可包括以下至少一项：

-相机平面内位置的距离，包括不确定因素(例如基于马氏距离)

-实际与预测反射强度之间的差异

-雷达测量的特征径向距离(考虑到模糊性(即奈奎斯特距离))与预测的对象径向距离之间的差异

-雷达和/或相机提供的语义类标签中的矛盾

-雷达测得的径向速度与预测速度之间的矛盾

-雷达测量的径向速度(补偿自我运动)和可视对象类别(例如快速移动的对象不应与静止的对象类别(如交通标志、建筑物)或低速的对象类别(如行人)相关联)之间的矛盾

因此，成对距离可以被确定并且可以(象征性地)布置成表格。此外，在一些实施例中，可以定义距离值，低于该距离值可以不关联检测。

在一些实施例中，可以基于成对距离(例如基于关联距离表)来确定预测雷达数据与雷达测量数据之间的关联。

例如，可以应用算法(例如最近邻算法、匈牙利算法等)来寻找关联(可能允许某些距离不关联)，其中，可以基于所确定的距离来确定关联质量(例如，距离越低，关联质量越高，在这方面不限制本公开)，其中，总距离(例如，所有距离上的总和)可以被预定义为低于预定阈值。

在一些实施例中，相关联的距离可以被融合/合并/组合。

例如，可执行以下至少一项：

-从图像数据(例如从像素位置和相机几何形状导出)将径向位置以及可视角度位置融合到3D位置

-将雷达径向速度和可视角度速度(例如由光流和相机几何结构导出)融合成3D速度

-基于“不精确”的可视径向速度(变化)解决雷达径向速度模糊(如基于奈奎斯特-香农定理)

-将相机和雷达的语义对象类标签融合为联合语义标签

-使用可视实例ID

基于上述数据处理，可以获取检测列表，其可以指示从相机和雷达融合的信息比仅对一个数据源的检测更精确和更丰富。

例如，可以丢弃或保留非相关联的检测，并将其标记为未融合。

本公开不限于任何技术领域，并且尽管在图中描述的以下实施例将聚焦于汽车环境，但应当理解，本公开可应用于可以融合雷达和相机数据(例如以理解环境)的任何情况，例如陆基、海上或空中导航，例如用于汽车、自动车辆、机器人、船、船、无人驾驶的空中飞行器(UAV)等中的高级驾驶员辅助系统。

此外，本公开不限于雷达。例如，在一些实施例中可以设想激光雷达，或者用于确定距离的任何其他基于波检测的方法，例如基于超声波的距离测量等。

一些实施例涉及雷达数据确定方法，包括：获取图像数据；并且基于图像数据中呈现的已学习特征从图像数据确定预测雷达数据，以基于预测雷达数据与雷达测量数据的关联来确定实际雷达数据，如本文所述，这可以通过例如根据本公开的雷达数据确定电路来执行。

在一些实施例中，如本文所述，预测雷达数据指示特征概率和预测雷达强度中的至少一者。在一些实施例中，如本文所述，基于深度神经网络、卷积神经网络、支持向量机和随机森林中的至少一者来学习该已学习特征。在一些实施例中，雷达数据确定方法还包括：确定在此讨论的视觉上预测的雷达检测的列表。在一些实施例中，如本文所述，基于应用于预测雷达数据的最大值检测器来确定列表。在一些实施例中，如本文所述，雷达数据确定方法还包括：注释视觉上预测的雷达检测。在一些实施例中，如本文所述，基于与不确定性估计的关联来注释视觉上预测的雷达检测。在一些实施例中，如本文所述，不确定性估计基于视觉上预测的雷达检测列表的视觉上预测的雷达检测的曲率。在一些实施例中，如本文所述，雷达数据确定方法还包括：获取雷达测量数据；并且注释雷达测量数据。在一些实施例中，如本文所述，雷达数据确定方法还包括：基于预测雷达数据和雷达测量数据中的至少一者的域变换，将预测雷达数据与雷达测量数据相关联；并且确定预测雷达数据与雷达测量数据之间的差，以用于用于确定实际雷达数据。

在一些实施例中，在计算机和/或处理器上执行时，本文描述的方法还被实现为使计算机和/或处理器执行该方法的计算机程序。在一些实施例中，还提供了在其中存储计算机程序产品的非暂时性计算机可读记录介质，该计算机程序产品在由诸如上述处理器的处理器执行时导致执行本文所述的方法。

以下给出了本公开的应用的一些说明性实施例：

例如，本公开可应用于具有两条车道的高速公路上。雷达可以以(大致)精确的距离和径向速度识别前方的对象，并且相机可以以(大致)精确的水平位置将该对象识别为汽车，从而可以识别使用的车道。相机的距离估计的不精确变化可允许解决雷达速度的周期性模糊性。

在另一示例性实施例中，相机可以向雷达提供在垂直方向上(大致)精确的检测位置，以区分障碍物(例如，汽车、行人、护栏等)与具有足够的净空高度的对象(例如，交通标志、交通灯、桥梁等)。

在另一示例性实施例中，相机可提供语义标签以区分道路危险障碍物(例如轮胎)与非危险可穿越结构(例如井盖)的雷达检测。

在另一示例性实施例中，相机可以提供语义标签以识别具有零径向速度(例如相对于世界坐标系)的雷达反射，例如从左向右移动(而不是径向移动)的汽车或卡车。

在另一示例性实施例中，相机可以提供对象实例标识以区分从具有相似速度的两辆汽车(例如，在高速公路的两条车道上)接收的雷达检测。

在另一示例性实施例中，相机可以提供语义类标签和方向，以将雷达检测识别为行人，并预测行人的移动。

在另一示例性实施例中，相机像素位置和光流可以与雷达径向位置和径向速度融合，从而可以确定3D位置和3D速度。

因此，根据本公开，现有算法可以保留并用于基于雷达和相机数据检测对象。然而，可以在处理流水线的早期阶段改进测量，使得在执行大部分处理之前，每个传感器可以从其他传感器的互补强度中受益。

返回到图1，示出了根据本公开的雷达数据确定电路1的示意图。雷达数据确定电路1包括用于获取汽车4的图像数据的相机2和用于获取雷达测量数据的雷达3，如本文所述。

处理器(未示出)被配置为从图像数据确定预测雷达数据，如本文所述，使得可以确定预测雷达数据与雷达测量数据之间的差，如本文所述。

图2描绘了用相机2记录的图像10，其中，预测的雷达反射11覆盖在图像上。此外，示出了投射到相机平面中的实际雷达反射12和测量不确定性13。在图2中，预测的雷达反射11环绕汽车14的灯，而实际的雷达反射12在汽车14的右侧，其中，不确定性13覆盖汽车的右侧部分。因此，基于预测的雷达反射11和实际的雷达反射12，可以确定得到的雷达反射，如本文所述。

图3在框图中描绘了根据本公开的雷达数据确定方法20，该方法将参考图4a至图4f进一步讨论。

在21处，如本文所述，从相机获取图像数据。因此，图4a描绘了由图像数据呈现的场景40。该场景包括道路42上的两辆汽车41，其中，进一步描绘了街道标志43、汽车轮胎44和井盖45。

在22处，如本文所述，基于所已学习特征来确定雷达预测，并且如图4b所示，描绘了从图像40预测的多个雷达信号46。图4c通过具有呈现预测不确定性的椭圆的十字线来描绘进一步的雷达预测47的呈现。

在23处，如本文所述，从图像数据中提取附加信息(例如语义标签、实例级分割等)。附加信息在图4d中示出，其中，针对每个识别的元素示出了边界框48。此外，向每个边界框48分配对象类和对象ID。

在24处，如本文所述，确定雷达预测的列表。

在25处，如本文所述，基于附加信息，注释雷达预测。

在26处，如本文所述，从雷达获取雷达测量数据。

在27处，如本文所述，根据雷达测量数据确定实际雷达检测，在28处注释该雷达测量数据，并且在29处将该雷达测量数据转换到相机域中。

在30处，计算/确定关联距离，如本文所述。

图4e和图4f示出了如何确定关联距离的两种不同可能性。用箭头将雷达预测47连接到实际雷达检测49，箭头象征性地示出本文讨论的预测47与检测49之间的差/距离。然而，一些预测47和检测49保持不相关联，并因此被丢弃(然而，如本文所述，在一些实施例中，可以保持不相关联的检测并将其标记为未融合)。

在31处，如本文所述，基于关联距离发现/确定预测与检测之间的关联。

在32处，如本文所述，融合相关联的检测。

在33处，数据输入到处理流水线，该处理流水线可以是已知的处理流水线或专门设计用于处理相关联的检测的处理流水线。对象类为汽车、轮胎、井盖和交通标志。

图5示出了由于应用本公开而将汽车与街道标志区分开来的示例性实施例。图5描绘了两个场景50和51。在场景50中，示出了与行驶方向正交定位的汽车52。在场景51中，显示了街道标志53。在自运动补偿之后，汽车52和街道标志53都没有径向速度。此外，在场景50和51中示出雷达预测54和实际雷达检测55。

实际雷达检测55对于场景50和51大致相同。因此，仅依靠实际的雷达检测，无法区分街道上是存在危险障碍物(汽车52)还是可以被忽略的障碍物(街道标志53)。

然而，基于雷达预测54，可以将实际雷达检测55与雷达预测相关联，从而可以确定相应对象的垂直位置，从而在场景50的情况下，由于识别到该情况的危险，可以触发警告，而在场景51中，可以确定街道标志53具有足够的净空高度，从而不触发警告。

图6示出了另一示例性实施例，其中，将躺在街道上的轮胎与井盖区分开来。在图6的左侧示出包括轮胎61的场景60，而在图6的右侧示出包括井盖63的场景62。在将预测的雷达检测与实际的雷达检测关联之后，无法确定是否存在危险情况(轮胎61呈现危险情况，而井盖呈现非危险情况)。

然而，根据本发明，对图像数据进行语义标签，使得对象类别与各个对象相关联。因此，在场景60中，可以确定存在危险情况，而在场景62中，由于井盖63是可穿过的，因此不存在危险情况。

图7在框图中描绘了根据本公开的雷达数据确定方法70的实施例。

在71处，如本文所述，获取图像数据。

在72处，如本文所述，基于图像数据中呈现的已学习特征从该图像数据确定预测雷达数据，以基于预测雷达数据与雷达测量数据的关联来确定实际雷达数据。

图8在框图中描绘了根据本公开的雷达数据确定方法80的另一实施例，其中，与图7的方法70相比，数据被进一步处理。

在81处，如本文所述，获取图像数据。

在82处，如本文所述，基于图像数据中呈现的已学习特征从该图像数据确定预测雷达数据，以基于预测雷达数据与雷达测量数据的关联来确定实际雷达数据。

在83处，如本文所述，确定雷达预测的列表。

在84处，如本文所述，注释雷达预测。

在85处，如本文所述，获取雷达测量数据，这些数据在86处被注释。

在87处，如本文所述，将雷达测量数据与预测雷达数据相关联，即，将雷达预测和实际雷达检测相关联。

在88处，如本文所述，确定雷达测量数据与预测雷达数据之间的差。根据本公开实施例的技术适用于各种产品。例如，根据本公开的实施例的技术可以被实现为包括在移动体中的设备，移动体是各种汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动车辆、飞机、无人机、船舶、机器人、工程机械、农业机械(拖拉机)等中的任何一种。

图9是示出车辆控制系统7000(作为可以应用根据本公开的实施例的技术的移动体控制系统的示例)的示意性配置示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图9所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)等。

每个控制单元包括：微型计算机，根据各种程序执行算术处理；以及存储部，存储由微计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。每个控制单元还包括：网络接口(I/F)，用于经由通信网络7010与其他控制单元进行通信；以及通信I/F，用于通过有线通信或无线电通信与车辆内外的设备、传感器等进行通信。图9所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F 7620、专用通信I/F 7630，定位部7640、信标接收部7650、车载设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。类似地，其他控制单元包括微型计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统有关的设备的运行。例如，驱动系统控制单元7100用作驱动力产生设备的控制设备，该驱动力产生设备用于产生车辆的驱动力，例如内燃机，驱动马达等、用于将驱动力传递至车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动设备等。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)，电子稳定性控制(ESC)等的控制设备的功能。

驱动系统控制单元7100与车辆状态检测单元7110连接。车辆状态检测单元7110例如包括检测车身的轴向旋转的角速度的陀螺传感器、检测车辆的加速度的加速度传感器、以及用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号执行算术处理，并且控制内燃机，驱动电机，电动助力转向设备，制动设备等。

车身系统控制单元7200根据各种程序控制设置在车身上的各种设备的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、倒车灯、制动灯、转向灯、雾灯等的各种灯的控制设备。在这种情况下，可以将代替按键的从移动设备发送的无线电波或各种开关的信号输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并控制车辆的门锁设备，电动窗设备，灯等。

电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。例如，从包括二次电池7310的电池设备向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余的电荷量等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制或控制设置到电池设备等的冷却设备。

车外信息检测单元7400检测包括车辆控制系统7000的关于车辆外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单眼相机、红外相机和其他相机中的至少一者。车外信息检测部7420例如包括以下的至少一者：用于检测当前大气状况或天气状况的环境传感器以及用于检测包括车辆控制系统7000的车辆周围的另一车辆、障碍物、行人等的周边信息检测传感器。

环境传感器例如可以是检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的阳光传感器和检测降雪的雪传感器中的至少一种。外围信息检测传感器可以是超声传感器，雷达(RADAR)设备和激光雷达(LIDAR)设备(光检测和测距设备、或激光成像检测和测距设备)中的至少一者。成像部7410和车外信息检测部7420中的每一个可以被提设置为独立的传感器或设备、或者可以被提供为其中集成有多个传感器或设备的设备。

图10示出了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如布置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置、以及在车辆内部的挡风玻璃的上部中的位置中的至少一者。设置在车辆内部的前鼻的成像部7910和设置在挡风玻璃的上部的成像部7918主要获取车辆7900的前部的图像。设置到侧视镜的成像部7912和7914主要获取车辆7900的侧面的图像。设置在后保险杠或后门上的成像部7916主要获取车辆7900的后方的图像。设置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测在前车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图10示出了各个成像部7910、7912、7914和7916的成像范围的示例。成像范围a呈现设置到前鼻的成像部7910的成像范围。成像范围b和c分别呈现设置到侧视镜的成像部7912和7914的成像范围。成像范围d呈现设置在后保险杠或后门上的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，可以获取从上方观看的车辆7900的鸟瞰图像。

设置在车辆7900的前、后、侧面和角落以及车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达设备。设置在车辆7900的前鼻、车辆的后保险杠、车辆7900的后门、以及在车辆内部的挡风玻璃的上部的车外信息检测部7920、7926和7930可以是例如激光雷达设备。这些车外信息检测部7920至7930主要用于检测前方的车辆、行人、障碍物等。

回到图9，将继续描述。车外信息检测单元7400使成像部7410对车辆外部的图像成像，并接收成像的图像数据。另外，车外信息检测单元7400从与车外信息检测单元7400连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器，雷达设备或激光雷达设备的情况下，车外信息检测单元7400发送超声波、电磁波等、并接收所接收到的反射波的信息。基于接收到的信息，车外信息检测单元7400可以执行检测诸如人、车辆、障碍物、标志、道路上的字符等的对象的处理，或者检测到其距离的处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算到车辆外部的对象的距离。

另外，基于接收到的图像数据，车外信息检测单元7400可以执行识别人、车辆、障碍物、标志、道路上的字符等的图像识别处理，或者检测到其距离的处理。车外信息检测单元7400可以对接收到的图像数据进行诸如失真校正、对准等的处理，并且组合由多个不同的成像部7410成像的图像数据，以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由包括不同成像部的成像部7410成像的图像数据执行视点转换处理。

车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500例如与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行成像的相机、检测驾驶员的生物信息的生物传感器、在车辆内部收集声音的麦克风等。生物传感器例如布置在座椅表面、方向盘等中，并且检测坐在座椅中的乘员或保持方向盘的驾驶员的生物信息。车内信息检测单元7500基于从驾驶员状态检测部7510输入的检测信息，可以计算出驾驶员的疲劳度或驾驶员的集中度，或者可以确定驾驶员是否在打瞌睡。车内信息检测单元7500可以对通过声音收集获取的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的总体操作。集成控制单元7600与输入单元7800连接。输入单元7800由能够由乘员进行输入操作的设备来实现，例如触摸面板、按钮、麦克风、开关、操纵杆等。集成控制单元7600可以被提供有通过对通过麦克风输入的语音进行语音识别而获取的数据。输入单元7800可以是例如使用红外线或其他无线电波的远程控制设备、或者是支持车辆控制系统7000的操作的外部连接设备，例如移动电话、个人数字助理(PDA)等。输入单元7800可以是例如相机。在这种情况下，乘员可以通过手势输入信息。可替代地，可以输入通过检测乘员穿戴的可穿戴设备的运动而获取的数据。另外，输入单元7800例如可以包括输入控制电路等，其使用上述输入单元7800根据乘员等输入的信息生成输入信号，并将生成的输入信号输出至集成控制单元7600。乘员等通过操作输入单元7800，向车辆控制系统7000输入各种数据或对处理进行指示。

存储部7690可以包括：只读存储器(ROM)，存储由微计算机执行的各种程序；以及随机存取存储器(RAM)，存储各种参数、操作结果传感器值等。另外，存储部7690可以由诸如硬盘驱动器(HDD)等的磁存储设备半导体存储设备光学存储设备、磁光存储设备等来实现。

通用通信I/F 7620是被广泛使用的通信I/F，该通信I/F介导与外部环境7750中存在的各种设备的通信。通用通信I/F 7620可以实现蜂窝通信协议(例如全球移动通信系统(GSM)(注册商标)、全球微波访问互操作性(WiMAX(注册商标))、长期演进(LTE(注册商标))、高级LTE(LTE-A)等)、或其他无线通信协议(例如无线LAN(也被称为无线保真(Wi-Fi)(注册商标))、蓝牙(注册商标))等。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司特定的网络)上的设备(例如，应用服务器或控制服务器)。另外，例如，通用通信I/F 7620可以使用点对点(P2P)技术连接到存在于车辆附近的终端(例如，该终端是驾驶员、行人或商店的终端、或机器类型通信(MTC)终端)。

专用通信I/F 7630是支持为车辆开发的通信协议的通信I/F。专用通信I/F 7630可以实现标准协议(例如车辆环境中的无线访问(WAVE))，它是电气和电子工程师协会(IEEE)802.11p作为较低层，而IEEE1609作为较高层，是专用短程通信(DSRC)或蜂窝通信协议的组合。专用通信I/F 7630通常执行V2X通信，其概念包括车辆与车辆之间的通信(车辆到车辆)，道路与车辆之间的通信(车辆到基础设施)，车辆与房屋之间的通信(车辆到房屋)，以及行人和车辆之间的通信(车辆到行人)中的一项或多项。

定位部7640例如通过接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并生成包括车辆的纬度，经度和高度的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话，个人手持电话系统(PHS)或具有定位功能的智能电话的终端获取位置信息。

信标接收部7650例如接收从安装在道路等上的无线电台发送的无线电波或电磁波，并从而获取关于当前位置，拥堵，封闭道路，必要时间等的信息。顺便提及，信标接收部7650的功能可以包括在上述专用通信I/F 7630中。

车载设备I/F 7660是介导微型计算机7610与车辆内存在的各种车载设备7760之间的连接的通信接口。车载设备I/F 7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。另外，车载设备I/F7660可以经由图中未示出的连接端子(如有必要，还可以使用电缆)，通过通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等来建立有线连接。车载设备7760可以例如包括乘员拥有的移动设备和可穿戴设备以及车辆中携带或附接的信息设备中的至少一者。车载设备7760还可以包括导航设备，该导航设备搜索到任意目的地的路径。车载设备I/F 7660与这些车载设备7760交换控制信号或数据信号。

车载网络I/F 7680是介导微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车载设备I/F 7660以及车载网络I/F 7680中的至少一者获取的信息，根据各种程序来控制车辆控制系统7000。例如微型计算机7610可以基于所获取的关于车辆内部和外部的信息来计算驱动力产生设备，转向机构或制动设备的控制目标值，并且将控制命令输出至驱动系统控制单元7100。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)功能的协作控制，该功能包括为车辆避免碰撞或减轻冲击、基于跟随距离的驾驶、保持车速的驾驶、车辆碰撞的警告、车辆偏离车道的警告等。另外，微计算机7610可以基于所获取的关于车辆周围环境的信息，通过控制驱动力产生设备、转向机构、制动设备等来执行旨在用于自动驾驶的协同控制，该协同控制使车辆不依赖于驾驶员的操作而自主地行驶。

微计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载设备I/F 7660和车载网络I/F 7680中的至少一个获取的信息，生成车辆与诸如周围结构、人等的对象之间的三维距离信息，并生成包括关于车辆当前位置的周围环境的信息的本地地图信息。此外，微计算机7610可以基于所获取的信息来预测诸如车辆碰撞、行人等接近、进入封闭道路等危险，并生成警告信号。警告信号可以是例如用于产生警告声音或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一者的输出信号发送到能够以视觉或听觉方式将信息通知给车辆的乘员或车辆的外部的输出设备。在图9的示例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出设备。显示部7720例如可以包括车载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出设备可以是这些设备以外的设备，并且可以是其他设备(例如耳机、可穿戴设备(例如由乘员等佩戴的眼镜型显示器)、投影仪、灯等)。在输出设备是显示设备的情况下，显示设备以文本、图像、表格、图表等的各种形式可视地显示通过微计算机7610执行的各种处理获取的结果或从另一控制单元接收的信息。另外，在输出设备是音频输出设备的情况下，音频输出设备将由再现的音频数据或声音数据等构成的音频信号转换为模拟信号，并在听觉上输出该模拟信号。

顺便提及，在图9所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以被集成到一个控制单元中。可替代地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括图中未示出的另一个控制单元。另外，可以将上面描述中的一个控制单元执行的部分或全部功能分配给另一个控制单元。即，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的算术处理。类似地，连接到一个控制单元的传感器或设备可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

顺便提及，用于实现本公开的功能的计算机程序可以在控制单元等之一中实现。此外，还可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。另外，上述的计算机程序例如可以不使用记录介质而通过网络进行分发。

在上述车辆控制系统7000中，本公开的功能可以应用于图9所示的应用示例中的集成控制单元7600。例如，信息处理设备的SS部分、TT部分和UU部分分别对应于集成控制单元7600的微计算机7610、存储部7690和车载网络I/F 7680。

此外，本公开的至少部分功能可在用于图9所示的集成控制单元7600的模块(例如，由单个管芯形成的集成电路模块)中实现。可替代地，本公开的功能可以由图9所示的车辆控制系统7000的多个控制单元来实现。

应当认识到，实施例描述了具有方法步骤的示例性排序的方法。然而，方法步骤的具体顺序仅用于说明目的，不应被解释为绑定。例如，图3的实施例中的21和26的顺序可以交换。此外，图3的实施例中的22和23的顺序可以交换。此外，图8的实施例中的81至84和85至86的顺序也可以交换。对技术人员来说，方法步骤顺序的其他变化可能是明显的。

在一些实施例中，还提供了在存储计算机程序产品的非短暂计算机可读记录介质，当由诸如上述处理器的处理器执行时，使所述方法被执行。

在本说明书中描述的和在所附权利要求中要求的所有单元和实体，如果没有另作说明，可以实现为集成电路逻辑(例如在芯片上)，并且如果没有另作说明，可以通过软件实现由这些单元和实体提供的功能。

就至少部分地使用软件控制的数据处理设备来实现上述公开的实施例而言，应当理解，提供这种软件控制的计算机程序和提供这种计算机程序的传输、存储或其他介质被设想为本公开的方面。

注意，本技术也可以如下所述配置。

(1)一种雷达数据确定电路，配置为：

获取图像数据；并且

基于图像数据中呈现的已学习特征从图像数据确定预测雷达数据，以基于预测雷达数据与雷达测量数据的关联确定实际雷达数据。

(2)根据(1)的雷达数据确定电路，其中，预测雷达数据指示特征概率和预测雷达强度中的至少一者。

(3)根据(1)或(2)雷达数据确定电路，其中，已学习特征基于深度神经网络、卷积神经网络、支持向量机和随机森林中的至少一者而学习。

(4)根据(1)至(3)中任一项的雷达数据确定电路，还配置为：

确定视觉上预测的雷达检测的列表。

(5)根据(4)的雷达数据确定电路，其中，列表基于应用于预测雷达数据的最大值检测器而确定。

(6)根据(4)或(5)的雷达数据确定电路，还配置成：

注释视觉上预测的雷达检测。

(7)根据(6)的雷达数据确定电路，其中，基于与不确定性估计的关联来注释视觉上预测的雷达检测。

(8)根据(7)的雷达数据确定电路，其中，不确定性估计基于视觉上预测的雷达检测列表中的视觉上预测的雷达检测的曲率。

(9)根据(6)至(8)中任一项的雷达数据确定电路，还配置为：

获取雷达测量数据；并且

注释雷达测量数据。

(10)根据(9)的雷达数据确定电路，还配置成：

基于预测雷达数据和雷达测量数据中的至少一者的域变换，将预测雷达数据与雷达测量数据相关联；并且

确定预测雷达数据和雷达测量数据之间的差，以确定实际雷达数据。

(11)一种雷达数据确定方法，包括：

获取图像数据；并且

基于图像数据中呈现的已学习特征从图像数据确定预测雷达数据，以基于预测雷达数据与雷达测量数据的关联确定实际雷达数据。

(12)根据(11)的雷达数据确定方法，其中，预测雷达数据指示特征概率和预测雷达强度中的至少一者。

(13)根据(11)或(12)的雷达数据确定方法，其中，已学习特征基于深度神经网络、卷积神经网络、支持向量机和随机森林中的至少一者而学习。

(14)根据(11)至(13)中任一项的雷达数据确定方法，还包括：

确定视觉上预测的雷达检测的列表。

(15)根据(14)的雷达数据确定方法，其中，列表基于应用于预测雷达数据的最大值检测器而确定。

(16)根据(14)或(15)的雷达数据确定方法，还包括：

注释视觉上预测的雷达检测。

(17)根据(16)的雷达数据确定方法，其中，基于与不确定性估计的关联来注释视觉上预测的雷达检测。

(18)根据(17)的雷达数据确定方法，其中，不确定性估计基于视觉上预测的雷达检测列表中的视觉上预测的雷达检测的曲率。

(19)根据(16)至(18)中任一项的雷达数据确定方法，还包括：

获取雷达测量数据；并且

注释雷达测量数据。

(20)根据(19)的雷达数据确定方法，还包括：

基于预测雷达数据和雷达测量数据中的至少一个的域变换，将预测雷达数据与雷达测量数据相关联；以及

确定预测雷达数据与雷达测量数据之间的差，以确定实际雷达数据。

(21)一种计算机程序，包括程序代码，该的程序代码在计算机上被执行时使该计算机执行根据(11)至(20)中任一项的方法。

(22)一种非暂时性计算机可读记录介质，存储有计算机程序产品，该计算机程序产品在由处理器执行时使执行根据(11)至(20)中任一项的方法。

Claims (20)

1.一种雷达数据确定电路，被配置为：

获取图像数据；并且

基于所述图像数据中呈现的已学习特征从所述图像数据确定预测雷达数据，以基于所述预测雷达数据与雷达测量数据的关联来确定实际雷达数据。

2.根据权利要求1所述的雷达数据确定电路，其中，所述预测雷达数据指示特征概率和预测雷达强度中的至少一者。

3.根据权利要求1所述的雷达数据确定电路，其中，所述已学习特征基于深度神经网络、卷积神经网络、支持向量机和随机森林中的至少一者而学习。

4.根据权利要求1所述的雷达数据确定电路，还配置成：

确定视觉上预测的雷达检测的列表。

5.根据权利要求4所述的雷达数据确定电路，其中，所述列表基于应用于所述预测雷达数据的最大值检测器而确定。

6.根据权利要求4所述的雷达数据确定电路，还配置成：

注释所述视觉上预测的雷达检测。

7.根据权利要求6所述的雷达数据确定电路，其中，基于与不确定性估计的关联来注释所述视觉上预测的雷达检测。

8.根据权利要求7所述的雷达数据确定电路，其中，所述不确定性估计基于所述视觉上预测的雷达检测的列表中的所述视觉上预测的雷达检测的曲率。

9.根据权利要求6所述的雷达数据确定电路，还配置成：

获取所述雷达测量数据；并且

注释所述雷达测量数据。

10.根据权利要求9所述的雷达数据确定电路，还被配置为：

基于所述预测雷达数据和所述雷达测量数据中的至少一者的域变换，将所述预测雷达数据与所述雷达测量数据相关联；并且

确定所述预测雷达数据与所述雷达测量数据之间的差，以确定所述实际雷达数据。

11.一种雷达数据确定方法，包括：

获取图像数据；并且

基于所述图像数据中呈现的已学习特征从所述图像数据确定预测雷达数据，以基于所述预测雷达数据与雷达测量数据的关联来确定实际雷达数据。

12.根据权利要求11所述的雷达数据确定方法，其中，所述预测雷达数据指示特征概率和预测雷达强度中的至少一者。

13.根据权利要求11所述的雷达数据确定方法，其中，所述已学习特征基于深度神经网络、卷积神经网络、支持向量机和随机森林中的至少一者而学习。

14.根据权利要求11所述的雷达数据确定方法，还包括：

确定视觉上预测的雷达检测的列表。

15.根据权利要求14所述的雷达数据确定方法，其中，所述列表基于应用于所述预测雷达数据的最大值检测器而确定。

16.根据权利要求14所述的雷达数据确定方法，还包括：

注释所述视觉上预测的雷达检测。

17.根据权利要求16所述的雷达数据确定方法，其中，基于与不确定性估计的关联来注释所述视觉上预测的雷达检测。

18.根据权利要求17所述的雷达数据确定方法，其中，所述不确定性估计基于所述视觉上预测的雷达检测的列表中的所述视觉上预测的雷达检测的曲率。

19.根据权利要求16所述的雷达数据确定方法，还包括：

获取所述雷达测量数据；并且

注释所述雷达测量数据。

20.根据权利要求19所述的雷达数据确定方法，还包括：

基于所述预测雷达数据和所述雷达测量数据中的至少一者的域变换，将所述预测雷达数据与所述雷达测量数据相关联；并且

确定所述预测雷达数据与所述雷达测量数据之间的差，以确定所述实际雷达数据。

Images