CN113315946A - 自然的周围视图 - Google Patents

Abstract

在各个实施例中，提供了用于处理来自与车辆相关的相机系统的相机数据的方法和系统。在一实施例中，一种方法包括：存储环境的多个真实感场景；通过处理器训练机器学习模型，以使用多个真实感场景作为训练数据来产生近似于地面真相周围视图的周围视图；以及通过处理器基于训练的机器学习模型处理来自与车辆相关的相机系统的相机数据，以产生车辆环境的周围视图。

Description

自然的周围视图

技术领域

技术领域总体涉及用于处理来自相机系统的相机数据的系统和方法，更 具体地，涉及用于训练机器学习模型来处理相机数据以产生自然的无伪像周 围视图的方法和系统。

背景技术

车辆加入相机系统以从车辆周围捕获场景。相机系统包括安装在车辆外 部的一个或多个相机。在某些情况下，代表捕获的场景并由相机生成的图像 数据被合成以生成周围视图。产生的周围视图包括在周围视图中可能不希望 的伪像(即失真、比例不一致、重影和/或完全或部分消除的物体)。

因此，期望提供用于处理来自相机系统的相机数据以提供减少或消除伪 像外观的周围视图的改进的方法和系统。此外，结合附图和本发明的背景技 术，根据本发明的随后的详细描述和所附的权利要求，本发明的其他期望的 特征和特性将变得显而易见。

发明内容

在各个实施例中，提供了用于处理来自与车辆相关的相机系统的相机数 据的方法和系统。在一实施例中，一种方法包括：存储环境的多个真实感场 景；通过处理器训练机器学习模型，以使用多个真实感场景作为训练数据来 产生近似于地面真相周围视图的周围视图；以及通过处理器基于训练的机器 学习模型处理来自与车辆相关的相机系统的相机数据，以产生车辆环境的周 围视图。

在各个实施例中，训练是基于深度学习方法的。在各个实施例中，机器 学习模型包括深度神经网络。在各个实施例中，基于一种或多种样式转移方 法来生成多个场景。在各个实施例中，多个场景是基于物理模型生成的。在 各个实施例中，基于图形设计来生成多个场景。

在各个实施例中，训练包括：使用相机参数将场景投影到相机上以模拟 输入视图；以及利用机器学习模型对输入视图进行处理，以生成虚拟周围视 图，该虚拟周围视图近似于如果由具有期望视点参数的相机从给定的有利位 置获取则将获得的虚拟周围视图。

在各个实施例中，处理相机数据包括：基于单个相机模型为每个相机输 入确定第一深度值；根据相机数据，从两个相邻相机图像的重叠部分确定成 对的差异图；以及基于第一深度值和成对的差异图确定周围深度图。

在各个实施例中，处理相机数据还包括：确定期望视点周围视图上的像 素与输入相机像素之间的视点差异；以及基于视点差异生成周围视图。

在各个实施例中，处理相机数据还包括：基于深度图识别遮挡；对识别 的遮挡进行处理；以及基于处理的遮挡生成周围视图。

在另一实施例中，提供了一种用于处理来自与车辆相关的相机系统的相 机数据的非暂时性计算机可读介质。该非暂时性计算机可读介质包括：数据 存储设备，其配置为存储环境的多个真实感场景；训练模块，其配置为通过 处理器训练机器学习模型，以使用多个真实感场景作为训练数据来产生近似 于地面真相周围视图的周围视图；以及数据处理模块，其配置为通过处理器 基于训练的机器学习模型处理来自与车辆相关的相机系统的相机数据，以产 生车辆环境的周围视图。

在各个实施例中，训练模块基于深度学习方法执行训练。在各个实施例 中，机器学习模型包括深度神经网络。在各个实施例中，基于一种或多种样 式转移方法来生成多个场景。在各个实施例中，多个场景是基于物理模型生 成的。在各个实施例中，基于图形设计来生成多个场景。

在各个实施例中，训练模块通过以下进行训练：使用相机参数将场景投 影到相机上以模拟输入视图；以及利用机器学习模型对输入视图进行处理， 以生成虚拟周围视图，该虚拟周围视图近似于如果由具有期望视点参数的相 机从给定的有利位置获取则将获得的虚拟周围视图。

在各个实施例中，数据处理模块通过以下处理相机数据：基于单个相机 模型为每个相机输入确定第一深度值；根据相机数据，从两个相邻相机图像 的重叠部分确定成对的差异图；以及基于第一深度值和成对的差异图确定周 围深度图。

在各个实施例中，数据处理模块通过以下处理相机数据：确定期望视点 周围视图上的像素与输入相机像素之间的视点差异；以及基于视点差异生成 周围视图。

在各个实施例中，数据处理模块通过以下处理相机数据：基于深度图识 别遮挡；对识别的遮挡进行处理；以及基于处理的遮挡生成周围视图。

附图说明

在下文中，将结合以下附图描述本公开，其中，相同的标号表示相同的 元件，并且其中：

图1是根据各个实施例的包括相机系统并且与相机数据处理系统相关的 车辆的功能框图；

图2是根据各个实施例的示出图1的相机数据处理系统的数据流程图；

图3是根据各个实施例的由图1的相机数据处理系统处理的图像的图 示；

图4是根据各个实施例的示出相机数据处理方法的流程图。

具体实施方式

以下详细描述本质上仅是示例性的，并且无意于限制本公开或其应用和 用途。此外，无意受到在先前背景或以下详细描述中提出的任何理论的约束。 如本文所用，术语模块是指任何硬件、软件、固件、电子控制部件、处理逻 辑和/或处理器设备，单独地或以任何组合，包括但不限于：专用集成电路 (ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专 用或组)和存储器、组合逻辑电路和/或提供所描述功能的其他合适部件。

图1示出了根据示例性实施例的车辆100。如下面进一步详细描述，车 辆100包括具有一个或多个相机115的相机系统102和相机数据处理系统 104。在某些实施例中，相机115捕获车辆100的环境的场景并将数据提供 给相机数据处理系统104。相机数据处理系统104使用训练的机器学习模型 来处理相机数据，以将来自多个相机115的数据合成为周围视图。在各个实 施例中，以俯视图、全景图或其他视图呈现周围视图。如将在下面更详细地讨论，相机数据处理系统104训练机器学习模型以基于真实感场景的数据库 来产生地面真相周围视图。

在各个实施例中，车辆100包括汽车。车辆100可以是多种不同类型汽 车中的任何一种，例如轿车、货车、卡车或运动型多用途车(SUV)，并且 可以是两轮驱动(2WD)(即后轮驱动或前轮驱动)、四轮驱动(4WD)或 全轮驱动(AWD)，和/或在某些实施例中的各种其他类型车辆。在某些实施 例中，车辆100还可以包括摩托车或其他车辆，和/或一种或多种其他类型的 移动平台(例如机器人、轮船等)和/或其他系统，例如具有相机系统102。

车辆100包括布置在底盘108上的车身106。车身106基本包围车辆100 的其他部件。车身106和底盘108可以共同形成框架。车辆100还包括多个 车轮110。车轮110每个都在车身106的相应角部附近旋转地联接至底盘108， 以促进车辆100的运动。在一实施例中，车辆100包括四个车轮110，但在 其他实施例中这可能有所不同(例如对于卡车和某些其他车辆)。

驱动系统112安装在底盘108上，并且例如经由车轴114驱动车轮110。 驱动系统112优选地包括推进系统。在某些示例性实施例中，驱动系统112 包括与其传动装置联接的内燃发动机和/或电动机/发电机。在某些实施例中， 驱动系统112可以变化，和/或可以使用两个或更多个驱动系统112。举例来 说，车辆100还可结合多种不同类型推进系统(例如汽油或柴油燃料的内燃 机、“柔性燃料车辆”(FFV)发动机(即使用汽油和酒精的混合物)、气态化 合物(例如氢气和/或天然气)燃料的发动机、燃烧/电动机混合动力发动机 和电动机)中的任何一种或其组合。

如图1所示，在某些实施例中，相机系统102包括：后视相机115a，其 安装在车辆100的后部；前视相机115b，其安装在车辆100的前部；驾驶员 侧相机115c，其安装在车辆100的驾驶员侧；以及乘客侧相机115d，其安 装在车辆100的乘客侧。在各个实施例中，相机115捕获车辆100和/或车辆 100的周围环境的图像，例如用于从车辆100的各个侧(例如前侧、后侧、 乘客侧和驾驶员侧)检测其他车辆、其他物体、道路、道路特征等，例如以 辅助车辆100和/或驾驶员沿道路行驶(例如避免与其他车辆和/或其他物体 接触)。在各个实施例中，一个或多个相机115也可以设置在车辆100的一 个或多个其他位置上，例如在车辆100的顶部上或在车辆100的内部，例如 以创建车辆100的周围视图和/或一个或多个其他视图。在各个实施例中，相 机115的数量、位置和/或放置可以变化(例如在某些实施例中，可以使用单 个相机等等)。

在各个实施例中，控制系统118控制车辆100的部件的操作。在各个实 施例中，控制系统118控制相机系统102的操作。在各个实施例中，控制系 统118包括全部或部分的相机数据处理系统104。在各个实施例中，控制系 统118设置在车辆100的车身106内。在某些实施例中，包括相机数据处理 系统104的控制系统118和/或其一个或多个部件可以设置在车身106的外 部，例如部分或全部在远程服务器上、在云中或者在远程智能电话或可以远程执行图像处理的其他设备中。另外，在各个实施例中，控制系统118可以 设置在相机102内和/或作为相机102的一部分，和/或设置在一个或多个其 他车辆系统(未示出)内和/或作为其一部分。

此外，如图1所示，在各个实施例中，控制系统118经由一个或多个通 信链路116耦合到相机系统102，并且经由通信链路116从相机115接收相 机图像数据。在某些实施例中，每个通信链路116包括一个或多个有线连接， 比如一个或多个电缆(例如同轴电缆和/或一种或多种其他类型电缆)。在其 他实施例中，每个通信链路116可以包括例如使用一个或多个收发器的一个 或多个无线连接。

在各个实施例中，控制系统118包括计算机系统。例如，控制系统118 包括处理器122、存储器124、接口126和总线130。处理器122执行计算机 系统的计算和控制功能，并且可以包括任何类型的处理器或多个处理器、诸 如微处理器之类的单个集成电路或者协同工作以完成处理单元的功能的任 何适当数量的集成电路设备和/或电路板。在操作期间，处理器122执行存储 在存储器124内的一个或多个程序132，并由此控制计算机系统的总体操作。 在各个实施例中，处理器执行关于以下结合图2-4进一步描述的系统和过程 所述的程序。

存储器124可以是任何类型的合适存储器。例如，存储器124可以包括 各种类型的动态随机存取存储器(DRAM)(比如SDRAM)、各种类型的静 态RAM(SRAM)以及各种类型的非易失性存储器(PROM、EPROM和闪 存)。在某些示例中，存储器124与处理器122位于和/或共同位于同一计算 机芯片上。在所描绘的实施例中，存储器124存储上述程序以及一个或多个 存储值134(例如，在各个实施例中，包括先前校准、默认校准等)。

接口126允许到计算机系统的通信，例如从系统驱动器和/或另一计算机 系统，并且可以使用任何合适的方法和设备来实现。在一实施例中，接口126 从相机115获得各种数据。接口126可包括一个或多个网络接口以与其他系 统或部件通信。接口126还可包括一个或多个网络接口以与技术人员通信， 和/或一个或多个存储接口以连接至存储设备。

总线130用于在计算机系统的各个部件之间传输程序、数据、状态和其 他信息或信号。总线130可以是连接计算机系统和部件的任何合适的物理或 逻辑装置。这包括但不限于直接硬连线连接、光纤、红外和无线总线技术。

应当理解，尽管在功能全面的计算机系统的情况下描述了该示例性实施 例，但本领域技术人员将认识到，本公开的机制能够作为程序产品与用于存 储程序及其指令并执行其分发的一种或多种类型的非暂时性计算机可读介 质一起分发，比如承载程序并包含存储在其中用于使计算机处理器(比如处 理器122)履行和执行程序的计算机指令的非暂时性计算机可读介质。类似 地，应该理解，计算机系统也可以不同于图1所示的实施例。

现在参考图2并继续参考图1，数据流程图示出了根据示例性实施例的 图1的相机数据处理系统104，其配置为训练机器学习模型并使用训练的机 器学习模型来处理相机数据。如图2所示，在各个实施例中，相机数据处理 系统104可以包括一个或多个模块或者子模块。可以理解，在各个实施例中， 所示的模块和子模块可以组合和/或进一步划分以训练机器学习模型并使用 训练的机器学习模型来处理相机数据。在各个实施例中，相机数据处理系统 104包括训练模块202、数据处理模块204、场景数据存储库206和模型数据 存储库208。

训练模块202基于存储在场景数据存储库206中的场景来训练机器学习 模型209。存储在场景数据存储库206中的场景214包括环境的场景。在各 个实施例中，场景是由周围相机捕获的实际场景，并且是深度传感器(未示 出)捕获的深度值。在各种其他实施例中，场景214是真实感场景或不是环 境的实际图像而是模仿环境的机器生成的图像的场景。真实感场景包括场景 的三维深度信息，从而可以将任何场景重新投影到任何可访问的视点。可以 通过例如但不限于图形设计、物理模型、样式转移方法等的方法生成许多真 实感场景214，并将其存储在场景数据存储库206中。例如，在各个实施例 中，可以通过环境中的相机获得实际场景，并且各种样式转移方法可以应用 于实际场景，以实现环境的各种真实感场景。样式转换方法可以模拟各种传 感器类型、视图和定向。

如将在下面更详细地讨论，机器学习模型209在给定相机图像的输入、 指示相机姿势和对准的参数以及指示期望视点和对准的参数的情况下从所 选的有利位置生成环境的周围视图。

在各个实施例中，训练模块202训练机器学习模型209以通过使用真实 感场景214和深度学习技术来最终处理相机图像。例如，训练模块202接收 来自场景数据存储库206的场景214、与场景214相关的相机的相机参数212 (例如与场景214相关的相机的校准和对准)以及期望视点参数210(例如 相机在期望视点处的校准和对准)。一般而言，机器学习模型209在其被训 练时使用相机参数212将场景214投影到相机上，从而模拟输入的周围图像。 然后，将模拟的周围图像传递到机器学习模型以生成图像，该图像近似于如 果由具有期望视点参数210的相机从给定的有利位置获取则将获得的图像。 在各个实施例中，训练模块202通过机器学习模型209馈入大量输入图像， 所有时间都在改变模型参数(例如通过反向传播)以生成输出视图，该输出 视图应尽可能接近对应的地面真相(GT)输出。最初，输出图像包括像素 的随机集合，与地面真相无关；随着训练的进行，像素的集合开始越来越类 似于地面真相。然后，将这些近似视图与来自真实感场景214的已知信息进 行比较，以更新机器学习模型209。一旦训练，机器学习模型209作为模型 数据216存储在模型数据存储库208中，以备将来使用。

数据处理模块202从模型数据存储中检索训练的机器学习模型209作为 模型数据218，并处理来自车辆100的相机系统102的相机数据220，以产 生实际环境的合成周围视图226。然后，合成周围视图226可以在显示器上 显示给用户，或者由车辆100的其他系统用来控制车辆100的操作。

在各个实施例中，数据处理模块202基于与相机数据220相关的相机参 数222(例如与相机图像220相关的相机的校准和对准)和期望视点参数224 (例如相机在期望视点处的校准和对准)，利用训练的机器学习模型209来 处理相机数据220。如图3所示，数据处理模块204处理相机数据220(例 如来自两个或更多个相机)以及参数222、224，以从相对于车辆100的期望 视点217产生自然视图213、215。

在各个实施例中，训练的机器学习模型209包括一个或多个深度神经网 络(DNN)或者实现为单个机器学习模型的其他人工神经网络。例如，如关 于图4更详细地示出，流程图示出了根据示例性实施例的用于处理相机数据 220的过程300。根据示例性实施例，可以结合图1和2的车辆100、相机系 统102和数据处理系统104来实现过程300。可以理解，在各个实施例中， 该方法的顺序可以改变，和/或可以添加或去除一个或多个步骤。

在一示例中，过程300可以在305开始。在310，从相机系统102接收 相机数据220和相关的相机参数数据222。在320，相机数据被预处理。例 如，相机数据220中的图像被校正以去除任何失真、地址定向等。此后，在 330，利用训练的机器学习模型来处理校正的相机数据。

例如，在340，在训练的机器学习模型的第一步骤，使用单个相机模型 从单个图像确定深度值。例如，由使用监督的“单目深度”方法训练的DNN 为每个周围相机生成深度值。在350，在训练的机器学习模型的第二步骤， 从由例如相邻相机对提供的两个相机图像的重叠部分确定的差异确定深度 成对的差异图。在360，在机器学习模型的第三步骤，基于来自单个相机的 深度值和相邻相机对之间的差异，生成全局一致的周围深度图。

此后，在370，接收期望视点参数数据，在380，基于期望视点参数将 深度图投影到期望的相机上。在390，使用投影图，在机器学习模型的第四 步骤，在周围深度图上执行可见度和遮挡处理。例如，识别被确定为期望相 机无法观察到的区域，并且通过一种或多种对象替换技术来处理与遮挡相关 的像素数据。

在400，使用投影图，在机器学习模型的第五步骤，确定期望视点(即 生成的深度图)的像素与相机视点(即投影深度)图的像素之间的视点差异。 基于该视点差异，在投影图上执行像素插值，并在机器学习模型的第六步骤 估计权重。

此后，在420，基于像素插值和估计的权重以及处理的像素来执行输出 视图渲染。然后，将输出视图提供给车辆100的控制系统或者在车辆100中 的屏幕上渲染以供查看和/或在430控制车辆100。此后，过程300可以在440 结束。

尽管在前面的详细描述中已经提出了至少一个示例性实施例，但应当理 解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并 且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述 将为本领域技术人员提供用于实现一个或多个示例性实施例的便利路线图。 应当理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围 的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种处理来自与车辆相关的相机系统的相机数据的方法，包括：

存储环境的多个真实感场景；

通过处理器训练机器学习模型，以使用多个真实感场景作为训练数据来产生近似于地面真相周围视图的周围视图；以及

通过处理器基于训练的机器学习模型处理来自与车辆相关的相机系统的相机数据，以产生车辆环境的周围视图。

2.根据权利要求1所述的方法，其中，所述训练是基于深度学习方法的。

3.根据权利要求2所述的方法，其中，所述机器学习模型包括深度神经网络。

4.根据权利要求1所述的方法，其中，基于一种或多种样式转移方法来生成所述多个场景。

5.根据权利要求1所述的方法，其中，所述多个场景是基于物理模型生成的。

6.根据权利要求1所述的方法，其中，所述训练包括：

使用相机参数将所述场景投影到相机上以模拟输入视图；以及

利用所述机器学习模型对输入视图进行处理，以生成虚拟周围视图，该虚拟周围视图近似于如果由具有期望视点参数的相机从给定的有利位置获取则将获得的虚拟周围视图。

7.根据权利要求1所述的方法，其中，处理所述相机数据包括：

基于单个相机模型为相机系统的每个相机确定第一深度值；

根据相机数据，从两个相邻相机图像的重叠部分确定成对的差异图；以及

基于第一深度值和成对的差异图确定周围深度图。

8.根据权利要求7所述的方法，其中，处理所述相机数据还包括：

确定期望视点周围视图上的像素与输入相机像素之间的视点差异；以及

基于视点差异生成周围视图。

9.根据权利要求7所述的方法，其中，处理所述相机数据还包括：

基于所述深度图识别遮挡；

对识别的遮挡进行处理；以及

基于处理的遮挡生成周围视图。

10.一种用于处理来自与车辆相关的相机系统的相机数据的非暂时性计算机可读介质，包括：

数据存储设备，其配置为存储环境的多个真实感场景；

训练模块，其配置为通过处理器训练机器学习模型，以使用多个真实感场景作为训练数据来产生近似于地面真相周围视图的周围视图；以及

数据处理模块，其配置为通过处理器基于训练的机器学习模型处理来自与车辆相关的相机系统的相机数据，以产生车辆环境的周围视图。

Images