CN114291011A - 车辆神经网络 - Google Patents

Abstract

本公开提供了“车辆神经网络”。一种系统，其包括处理器和存储器，所述存储器包括可由所述处理器执行以进行以下操作的指令：基于多个真实世界图像来训练深度神经网络；基于通过所述深度神经网络识别在所述多个真实世界图像中的包括一个或多个对象类型的一个或多个物理特征来确定所述深度神经网络的准确度低于阈值；以及基于根据识别所述一个或多个物理特征确定所述深度神经网络的所述准确度低于阈值，使用真实感图像渲染软件程序和生成式对抗网络来生成多个合成图像。所述指令可以包括另外的指令：基于所述多个真实世界图像和所述多个合成图像重新训练所述深度神经网络以及输出所述重新训练的深度神经网络。

Description

车辆神经网络

技术领域

本公开总体上涉及车辆神经网络。

背景技术

车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并基于所述数据来操作车辆。车辆传感器可提供关于在车辆环境中要行驶的路线和要避开的对象的数据。车辆的操作可以依赖于在车辆正在道路上进行操作时获取关于车辆的环境中的对象的准确且及时的数据。

发明内容

车辆中的计算机可以被编程为获取关于车辆外部环境的数据并使用所述数据来以自主或半自主模式操作车辆。例如，可以训练深度神经网络以确定车辆挂车相对于车辆的角度。计算机可以使用角度数据来确定允许车辆后退并停放挂车的车辆路径。可以使用在多种环境条件下获取的输入传感器数据，针对多种挂车类型训练深度神经网络。此外，可以使用补充有合成数据的真实世界数据来训练深度神经网络，所述合成数据是使用真实感渲染软件和生成式对抗网络生成。可以分析经训练的深度神经网络的输出以确定对应于识别挂车结构失败的输入数据类型的分布。可以生成与对应于失败的输入数据类型的分布相对应的第二组合成图像，并且所述第二组合成图像用于重新训练深度神经网络。重新训练的深度神经网络可以被下载到车辆，并用于基于确定挂车角度来操作车辆。

训练深度神经网络可能需要大型训练数据集。训练图像数据中应包括对应于如下面关于图2所限定的在真实世界情形中将遇到的挂车的外观和环境条件的外观。将图像数据包括在预期挂车外观的每种可能组合的训练数据集中可能需要产生非常大、非常耗时且非常昂贵的训练数据集。产生用于训练神经网络的非常大的数据集可能需要许多小时的计算时间，并且需要提供大量的输入数据。训练数据集需要基准真相来伴随所获取的图像数据。基准真相被定义为关于通过除用于处理图像数据的算法之外的手段获取的图像的内容的数据。例如，基准真相可以是关于如下面关于图2所限定的挂车角度的数据，所述数据通过使人员通过在现实世界中测量挂车或使用摄影测量工具测量图像中的挂车角度来确定角度而获得。摄影测量工具是测量图像中的距离和角度的软件应用程序。

本文描述的技术通过从真实世界情形获取新的图像数据并处理新的图像数据以产生用于训练深度神经网络以确定挂车角度的新的训练数据集来改进深度神经网络的训练。以这种方式，原始训练数据集中未包括的挂车外观和环境条件可以由深度神经网络成功地处理，从而避免对非常大的训练数据集的需要。本文描述的技术训练神经网络，而无需收集训练数据集中包括的真实世界图像的集合，所述集合包括挂车外观、挂车角度和环境条件的每种可能组合。这通过减少所需的图像数量来减少训练神经网络所需的成本、时间和精力。本文讨论的技术减少了与获取训练数据集(包括产生对应的基准真相)相关联的时间和成本。

本文所述的方法包括基于多个真实世界图像来训练深度神经网络，以及基于通过深度神经网络识别多个真实世界图像中的包括一个或多个对象类型的一个或多个物理特征来确定深度神经网络的准确度低于阈值。基于根据使用真实感图像渲染软件程序和生成式对抗网络识别一个或多个物理特征来确定深度神经网络的准确度低于阈值来生成多个合成图像，基于多个真实世界图像和多个合成图像来重新训练深度神经网络，并且输出重新训练的深度神经网络。可以基于识别一个或多个物理特征来确定重新训练的深度神经网络的准确度，基于针对一个或多个物理特征和一个或多个环境条件确定深度神经网络的准确度低于阈值来从真实感图像渲染软件程序和生成式对抗网络生成第二多个合成图像，并且基于多个真实世界图像、第一多个合成图像和第二多个合成图像来重新训练深度神经网络。可以从真实世界图像确定包括在第一多个合成图像中的物理特征。物理特征可以包括一个或多个对象类型，所述一个或多个对象类型包括多个类型的车辆挂车，其中每个对象类型包括至少一个或多个挂车部件或相对于车辆的一个或多个挂车角度。挂车部件可以包括挂车舌杆配置、挂车侧面配置、挂车颜色和挂车纹理。

物理特征可以包括环境条件，所述环境条件包括天气、照明、大气、地面类型和纹理以及背景树叶。可以将对应于多个真实世界图像的物理特征输入到真实感图像渲染软件程序以生成第一多个合成图像。来自真实感图像渲染软件程序的输出可以输入到生成式对抗网络以生成第二多个合成图像。与多个真实世界图像相对应的包括挂车角度的物理特征可以用作基准真相来训练深度神经网络。生成式对抗网络可以包括生成修改的合成图像的生成网络和确定所述修改的合成图像是否对应于真实世界图像的鉴别网络。可以训练生成式对抗网络以生成修改的合成图像，鉴别网络将所述修改的合成图像接受为对应于真实世界图像。可以使用真实世界图像来训练鉴别网络。可以基于与多个真实世界图像和第一多个合成图像中的物理特征的出现相对应的分布，将所述多个真实世界图像和所述多个合成图像划分为训练部分和测试部分。重新训练的深度神经网络可以输出到包括处理器和存储器的车辆计算机，所述存储器存储重新训练的深度神经网络。

还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种被编程为执行以上方法步骤中的一些或全部的计算机，所述方法步骤包括基于多个真实世界图像来训练深度神经网络，以及基于通过深度神经网络识别多个真实世界图像中的包括一个或多个对象类型的一个或多个物理特征来确定深度神经网络的准确度低于阈值。使用真实感图像渲染软件程序和生成式对抗网络，基于根据识别一个或多个物理特征确定深度神经网络的准确度低于阈值来生成多个合成图像，基于多个真实世界图像和多个合成图像来重新训练深度神经网络，并且输出重新训练的深度神经网络。可以基于识别一个或多个物理特征来确定重新训练的深度神经网络的准确度，基于针对一个或多个物理特征和一个或多个环境条件确定深度神经网络的准确度低于阈值来从真实感图像渲染软件程序和生成式对抗网络生成第二多个合成图像，并且基于多个真实世界图像、第一多个合成图像和第二多个合成图像来重新训练深度神经网络。可以从真实世界图像确定包括在第一多个合成图像中的物理特征。

物理特征可以包括一个或多个对象类型，所述一个或多个对象类型包括多个类型的车辆挂车，其中每个对象类型包括至少一个或多个挂车部件或相对于车辆的一个或多个挂车角度。挂车部件可以包括挂车舌杆配置、挂车侧面配置、挂车颜色和挂车纹理。物理特征可以包括环境条件，所述环境条件包括天气、照明、大气、地面类型和纹理以及背景树叶。可以将对应于多个真实世界图像的物理特征输入到真实感图像渲染软件程序以生成第一多个合成图像。来自真实感图像渲染软件程序的输出可以输入到生成式对抗网络以生成第二多个合成图像。与多个真实世界图像相对应的包括挂车角度的物理特征可以用作基准真相来训练深度神经网络。生成式对抗网络可以包括生成修改的合成图像的生成网络和确定所述修改的合成图像是否对应于真实世界图像的鉴别网络。可以训练生成式对抗网络以生成修改的合成图像，鉴别网络将所述修改的合成图像接受为对应于真实世界图像。可以使用真实世界图像来训练鉴别网络。可以基于与多个真实世界图像和第一多个合成图像中的物理特征的出现相对应的分布，将所述多个真实世界图像和所述多个合成图像划分为训练部分和测试部分。重新训练的深度神经网络可以输出到包括处理器和存储器的车辆计算机，所述存储器存储重新训练的深度神经网络。

附图说明

图1是示例性交通基础设施系统的图示。

图2是示例性车辆挂车的图示。

图3是两个示例性车辆挂车的图示。

图4是示例性深度神经网络的图示。

图5是示例性生成式对抗网络的图示。

图6是用于训练深度神经网络的示例性过程的流程图。

具体实施方式

图1是交通基础设施系统100的图示，所述交通基础设施系统包括可以以自主(“自主”本身在本公开中意指“完全自主”)、半自主和乘员操作(也称为非自主)模式操作的车辆101。一个或多个车辆101计算装置105可以从传感器110接收关于车辆101的操作的数据。计算机105可以以自主模式、半自主模式或非自主模式操作车辆101。

计算机105包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行的用于执行包括如本文所公开的各种操作的指令。例如，计算机105可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆101的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算机105(而不是人类操作员)是否以及何时控制此类操作。

计算机105可以包括多于一个计算装置(例如，包括在车辆101中以用于监测和/或控制各种车辆部件115的控制器等(例如，动力传动系统控制器、制动控制器、转向控制器等))，或例如经由如下面进一步描述的车辆通信总线通信地耦合到所述多于一个计算装置。计算机105通常被布置用于通过车辆通信网络(例如，包括车辆101中的总线，诸如控制器局域网(CAN)等)通信；另外或替代地，车辆101网络可以包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。

经由车辆网络，计算机105可以向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器110)等)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算机105实际上包括多个装置的情况下，车辆通信网络可以用于本公开中表示为计算机105的装置之间的通信。此外，如下文所提及，各种控制器或感测元件(诸如传感器110)可以经由车辆通信网络向计算机105提供数据。

另外，计算机105可以被配置用于经由网络120通过车辆对基础设施(V对I)接口与服务器125(例如，云服务器或远程服务器计算机)进行通信，如下所述，所述接口包括允许计算机105经由诸如无线互联网

或蜂窝网络的网络120与服务器125进行通信的硬件、固件和软件。因此，计算机105可以被配置为包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、

和有线和/或无线分组网络)的处理器、存储器、收发器等。计算机105可以被配置用于使用例如在附近车辆101间在移动自组网的基础上形成或通过基于基础设施的网络经由V对I通信形成的车辆对车辆(V对V)网络(例如，根据专用短程通信(DSRC)和/或类似的通信)与其他车辆101进行通信。计算机105还包括诸如已知的非易失性存储器。计算机105可以通过将数据存储在非易失性存储器中来记录数据，以便以后检索并经由车辆通信网络传输到服务器125或用户移动装置。服务器计算机125也可以用作包括在路边基础设施中的计算机105，或边缘计算节点，其中边缘计算节点是包括在固定基础设施元件(诸如杆、桥、壁、建筑物等)中或其上的计算机105，并且所述计算机获取传感器数据并与车辆101在道路、停车场或停车结构等中的一者或多者的局部部分中经由V对I接口等进行通信。

如已经提及的，用于在没有人类操作员干预的情况下操作一个或多个车辆101部件(例如，制动、转向、推进等)的编程通常包括在存储器中所存储的并可由计算机105的处理器执行的指令中。使用在计算机105中接收的数据(例如，来自传感器110、服务器125中所包括的计算机等的传感器数据)，计算机105可以在没有驾驶员的情况下作出各种确定和/或控制各种车辆101部件和/或操作以操作车辆101。例如，计算机105可以包括编程以调节车辆101操作行为(即，车辆101操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以预期实现路线的安全且有效的行驶的方式进行的操作行为控制)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、到达特定位置的时间和为了通过十字路口的十字路口(无信号灯)最小到达时间。

如本文使用的术语控制器包括通常被编程来监测和/或控制特定车辆子系统的计算装置。示例包括动力传动系统控制器、制动控制器和转向控制器。控制器可以是诸如已知的电子控制单元(ECU)，可能包括如本文所描述的附加的编程。控制器可以可通信地连接到计算机105并且从所述计算机接收指令以根据指令致动子系统。例如，制动控制器可以从计算机105接收指令以操作车辆101的制动器。

用于车辆101的一个或多个控制器可以包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器、一个或多个制动控制器和一个或多个转向控制器。控制器中的每一者可以包括相应的处理器和存储器以及一个或多个致动器。控制器可以被编程并且连接到诸如控制器局域网(CAN)总线或局域互连网(LIN)总线的车辆101通信总线，以从计算机105接收指令并基于指令来控制致动器。

传感器110可以包括已知的多种装置，以经由车辆通信总线提供数据。例如，固定到车辆101的前保险杠(未示出)的雷达可提供从车辆101到车辆101前方的下一车辆的距离，或者设置在车辆101中的全球定位系统(GPS)传感器可提供车辆101的地理坐标。车辆位置和取向数据也可以通过惯性测量单元(IMU)传感器提供。IMU包括被配置为记录车辆101的三维运动的加速度计。例如，由雷达和/或其他传感器110提供的距离和/或由GPS和/或IMU传感器提供的地理坐标可以由计算机105用来自主或半自主地操作车辆101。

车辆101通常是能够自主和/或半自主操作并且具有三个或更多个车轮的陆基车辆101(例如，客车、轻型卡车等)。车辆101包括一个或多个传感器110、V对I接口、V对V接口、计算机105和车辆部件115(包括一个或多个控制器)。传感器110可以收集与车辆101以及车辆101正在操作的环境有关的数据。以举例的方式而非限制，传感器110可以包括例如测高仪、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器110可用来感测车辆101的操作环境，例如，传感器110可以检测诸如天气条件(降雨、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆101)的位置。传感器110还可用于收集数据，包括与车辆101的操作相关的动态车辆101数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆101中的车辆部件115的功率水平、在车辆部件115之间的连接性以及车辆部件115的准确且及时的性能。

图2是附接到车辆101的挂车200的图示。可以将车辆101配备为以自主模式和乘员操作模式操作。半自主或完全自主模式意指其中车辆101可以由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地操作的操作模式。车辆101可以被占用或未被占用，但是在任何一种情况下，都可以在没有乘员辅助的情况下部分地或完全地操作车辆。出于本公开的目的，自主模式被限定为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者都由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主模式下，这些都不由计算机控制。

挂车200是可由车辆101牵引的车辆(通常没有独立推进装置)。挂车200包括舌杆202，所述舌杆包括挂车联接器204。挂车联接器204通过将挂车联接器204放置在挂车球206上方以将挂车联接器204可移除地连接到挂车球206而将挂车200连接到车辆101。挂车球206通过球座208附接到车辆101。挂车200相对于与其连接的车辆101的取向可以通过挂车角度210来描述。挂车角度210被定义为挂车中心线212相对于车辆中心线214所成的角度。识别和定位挂车200可以包括确定相对于牵引车辆101的挂车角度210。

挂车中心线212和车辆中心线214分别是分别对应于挂车200或车辆101的水平纵向中心的线(有时称为轴线)，即中心线212、214平行于地面(通常是支撑挂车200和车辆101的道路)。因此，通过以下方式来确定挂车中心线212：构造通过挂车200的自上而下图像的几何中心和挂车联接器204的横向中心的线，即，挂车中心线212纵向延伸穿过挂车200，假设挂车200是或可以被视为大致矩形(即，可以适配几何矩形来表示挂车200)，确定中心线212的点为挂车200的横向中心，即中心线212在纵向方向上将挂车200一分为二。类似地，通过以下方式来确定车辆中心线214：构造穿过车辆101的自上而下图像的横向中心的线，将车辆101视为大致矩形，中心线214进一步穿过连接至车辆101的挂车球206。挂车角度210由挂车中心线212和车辆中心线214的角度确定；角度210的顶点由挂车中心线212和车辆中心线214在挂车球206的中心处的交点形成。

可以通过车辆101中的计算机105来确定附接到车辆101的挂车200的挂车角度210，以操作具有附接的挂车200的车辆101。例如，可以通过处理挂车200的图像来估计挂车角度210，并且该挂车角度可以用于使带有附接的挂车200的车辆101反向行驶。确定附接的挂车200的挂车角度210可以允许车辆101中的计算机105确定要发送到车辆101转向部件的命令，所述命令将导致车辆101牵引挂车200以使挂车200后退到选定位置，例如停车位。

相机传感器216(通常为摄像机)可以包括在车辆101中。相机传感器216可以被取向为提供视野，所述视野包括挂车200(包括挂车联接器204、附接到车辆101的球座208以及在挂车200的任一侧的环境)的视图。在一些示例中，可以包括第二相机传感器216以获取包括挂车200的两侧的更多环境的图像，并且可以包括第三相机传感器216以从挂车200的后面获取图像。计算机105可以基于由相机传感器216获取的图像300来确定挂车200的目标位置，诸如停车位、坞台或坡道的位置，例如用于停放和/或装载或卸载挂车200的位置以及对应于挂车相对于车辆110的位置的挂车角度。例如，可以通过用深度神经网络处理图像300来确定目标位置。基于所确定的目标位置和所确定的挂车角度210，计算机105可以确定在其上操作车辆101的车辆路径，所述车辆路径将使附接的挂车200以适当的速率沿适当的方向转动以将挂车定位在目标位置处。例如，挂车角度可以用于确定使车辆110倒车以将挂车移动到期望位置的方向。众所周知，使附接有挂车200的车辆101倒车在车辆转弯时会导致挂车在与车辆101的转弯方向相反的方向上转弯。因此，由计算机105确定的将挂车200移动到目标位置中的车辆路径可能需要例如车辆101的前向和后向运动。

例如，计算机105可以基于处理由相机传感器216获取的输入图像来确定挂车200的目标位置和取向。例如，目标位置可以是停车位或坡道。计算机105可以使用运动学仿真程序等来响应于牵引车辆101的运动预测挂车200的运动。运动学仿真程序响应于基于起始挂车角度210施加的力，使用挂车200和车辆101的数学模型来模拟挂车200的运动。计算机105可以确定基于起始挂车角度210向挂车200施加力以将挂车200以目标取向移动到目标位置的车辆路径。计算机105可以将命令传输到车辆动力传动系统、车辆转向和车辆制动器，以在车辆路径上操作车辆101，并且从而将确定的力施加到挂车200并将其以目标取向移动到目标位置。

图3是两个视频图像300a、300b(统称为图像300)的图示，其中每个视频图像300是由包括在车辆101中的相机传感器216获取。每个视频图像300包括挂车200a、200b(统称为挂车200)的相应图像。挂车200可以具有以多种不同构型构造的多个不同部件。本文中的挂车部件是指常规的挂车部件，即，挂车的常规部分，诸如挂车、货厢、车轮等。挂车200部件可以包括诸如挂车舌杆类型、挂车侧面类型、挂车颜色和挂车纹理的属性(在这种背景下，属性意指对挂车的物理特征或特性的描述)。例如，挂车舌杆可以是直的，其中单个直杆从挂车货厢延伸到挂接件。A形框架挂车舌杆具有从挂车货厢的每一侧延伸的在挂接件处汇合的两个杆。挂车可以具有侧面类型为无侧面或竖直延伸侧面(即，从货厢的边缘竖直延伸)的平板。侧面类型可以替代地或另外指定低型或高型，低型例如从挂车货厢竖直延伸一英尺或两英尺，或者高型例如从挂车货厢延伸两英尺或更多英尺。挂车纹理是指用于构造挂车货厢和侧面的挂车表面材料(诸如木材或金属)的表面形貌。挂车纹理可以通过施加到挂车舌杆、货厢和侧面的涂料或其他涂层来改变，包括刻字和设计等。本文中将一个或多个挂车属性(例如，挂车侧面类型、挂车纹理和舌杆类型)的组合称为挂车200的配置。训练深度神经网络以确定多个挂车200配置的挂车角度210可以包括确定包括每个挂车200配置的示例的训练数据集。

挂车200在视频图像300中的外观也可能受到环境条件的影响。环境条件包括照明、天气、大气状况、地面类型和纹理以及背景树叶。照明包括自然光(诸如阳光)和人造光(诸如路灯)。阳光可以从明亮的阳光到无阳光(即，夜晚)变化。阳光是定向的，并且可以根据挂车200的取向或姿态、云层、障碍物(诸如建筑物或树木)以及一天中的时间产生变化的光和影图案。天气可以包括雨、雪和其他形式的降水，包括雾。视频图像300b示出了雨(虚线)302对挂车200b的外观的影响。大气状况包括灰尘、雾霾和烟雾，所有这些状况都可以改变视频图像300中的挂车200的外观。地面类型(诸如沥青、混凝土、砾石、泥土或草)以及与挂车相邻的每种类型的地面的纹理可以改变图像中的挂车的外观。挂车200附近的外部树叶可以改变视频图像中的挂车200的外观。例如，树枝或高草可以遮蔽视频图像中的挂车200的部分。

挂车200的不同外观可能会给确定相对于车辆101的挂车角度210带来挑战。可以通过使用深度神经网络处理图像300来确定挂车角度210，这将在下面关于图4进行讨论。基于通过车辆101中的相机传感器216获取的真实世界图像来用深度神经网络确定挂车角度210可以取决于已经使用训练数据集训练了深度神经网络，所述训练数据集包括其相同部件在与真实世界图像中的挂车200相同的环境条件下的挂车200的图像。成功确定挂车角度210被定义为确定挂车角度210在将通过在真实世界中使用物理仪器(例如标尺和量角器)测量挂车角度210获得的挂车角度210的预定量(+/-5度)内。确定挂车角度210的典型失败包括深度神经网络根本无法针对给定的真实世界图像确定挂车角度210。本文讨论的技术通过基于所获取的数据生成用于神经网络的训练数据以训练神经网络辨识环境条件中的未包括在原始训练数据中的挂车类型的挂车角度210来提高车辆101中的计算装置115确定视频数据中的挂车角度210的能力。

本文讨论的技术可以通过分析训练数据集以识别训练图像中的噪声特性的分布来改善包括在车辆101中的计算机105在确定挂车角度210时的性能。在其中对噪声特性的分布的分析识别在训练数据集中未被充分表示的特定噪声特性的示例中，可以生成附加的训练图像以提供与未被充分表示的噪声特性相对应的图像。噪声特性是至少部分地由环境条件(例如，诸如雨或雪的天气、诸如阳光方向和大气条件的照明等)产生的一组图像数据中所包括的数据。噪声特性的分布通过按噪声特性的类型绘制噪声特性的出现频率来确定。

可以通过每个图像中存在的表观噪声特性来对图像进行分类。包括在图像中的表观噪声特性可以在其被获取以包括在内时由人员进行分类。例如，雨可以被分类为小雨、中雨或大雨。照明可以被分类为昏暗、平均或明亮。图像可以在多于一个分类中，例如，图像可以包括昏暗的照明和小雨。还可以通过用计算图像区域之间的相关性的图像处理软件处理图像来对图像进行分类。人员可以确定包括每种类型的表观噪声特性的图像样本。所获取的真实世界图像可以与分类的样本图像的区域相关联。与分类样本高度相关(>90％相关)的图像也将同样被分类。

一旦图像被分类，无论是通过人员决策还是相关性，都可以对所述图像进行统计测量。包括平均值和标准偏差的统计量度可以应用于每个噪声特性分布。可以分析应用于每个噪声特性分布的统计量度，以确定数据中的多个图像是否包括可接受的噪声特性分布。可接受的噪声特性分布被定义为基于人类选择或相关技术以预期比例包括低、中和高水平的噪声的分布。

预期比例可以基于假设噪声特性根据正态分布或高斯分布进行分布。正态分布或高斯分布是假设特定噪声特性的出现次数取决于噪声特性的值的概率分布。如果噪声特性的测量值是对比度x，正态分布的均值是m并且标准偏差是σ，则正态分布通过以下等式来定义出现的次数y：

一旦确定了噪声特性的分布，就可以通过真实感渲染软件生成与被确定为在训练数据集中表现不足的对比度相对应的图像，并使用生成式对抗网络来处理所述图像以提高图像的逼真性。真实感渲染软件可以产生包括具有处于指定挂车角度210的指定部件的挂车200的图像。生成式对抗网络可以基于使用真实世界图像的训练来处理图像以添加噪声特性，如下面关于训练生成式对抗网络的部分中所讨论的。可以将生成和处理的图像与指定从真实感渲染软件输出的挂车角度210的基准真相数据一起添加到训练数据集。然后，用对应于先前未被充分表示的噪声特性的附加训练图像增强的训练数据集可以用于重新训练和重新测试深度神经网络以识别图像数据中的挂车角度210。

训练数据集中的图像数量可以通过使用真实感渲染软件生成包括挂车200的合成图像来增加。真实感被定义为在观察者看来就像他们在观看真实场景的图片一样。真实感渲染软件是一种软件程序，其可以创建看起来好像是由查看真实场景的真实相机所获取的图像。示例性真实感渲染软件为由北卡罗来纳州凯瑞市(邮编27518)的英佩数码公司生产的虚幻引擎。

真实感渲染软件以数学格式输入描述场景的数据。例如，待渲染的挂车200可以描述为几何形状和表面纹理的集合。每种挂车类型可以具有不同的几何形状和表面纹理的集合。还指定了要渲染的每个挂车200的位置和取向。通过指定用于确定渲染过程的虚拟相机的位置和视野，可以将每个挂车200的位置和取向转换为挂车角度210。由来自真实感渲染软件的输出数据确定的挂车角度210是将与输出图像数据一起使用以训练深度神经网络400的基准真相数据。

从真实感渲染软件程序输出的图像数据可以输入到生成式对抗网络，以在训练图像的数据集中生成对应于未被充分表示的噪声特性的图像。生成式对抗网络是一种神经网络，其包括修改输入图像的生成网络和经训练以确定修改的图像是否与真实图像相似的鉴别器网络。训练生成式对抗网络以对输入合成图像进行足够真实的修改，以使鉴别器网络将其确定为“真实”。

生成式对抗网络包括两个主要部分：可以被训练以模拟不同噪声特性的影响的生成器，以及可以被训练以将“真实”图像与“假”图像鉴别开的鉴别器。首先训练鉴别器以通过将真实图像和合成图像以及识别图像源的基准真相输入到鉴别器中来鉴别“真实”图像和“假”图像。真实图像是已经由查看真实世界场景的真实世界相机获取的图像。使用如上所讨论的真实感渲染软件生成合成图像。鉴别器被训练为当输入真实图像时输出对应于“真实”的值，例如1.0，并且当输入合成图像时输出对应于“假”的值，例如0.0。然后，训练生成器以修改输入合成图像以使鉴别器响应于修改的合成图像而输出“真实”值。训练生成器以修改合成图像以使其看起来足够逼真，使得鉴别器确定修改的合成图像是真实图像。

例如，可以训练生成式对抗网络以将在充满阳光的情况下渲染的挂车的合成图像修改成在生成真实感图像时看起来好像在下雨。可以训练生成式对抗网络以产生具有指定噪声水平和与输入合成图像相同的挂车角度的输出图像。例如，生成式对抗网络可以产生具有低、中或高降雨量的输出图像，同时保持与输入合成图像相同的挂车角度。

可以通过将原始真实世界训练数据集分成两个部分来训练和测试深度神经网络。可以基于挂车角度210和噪声特性来划分训练数据集，以确保训练数据和测试数据两者都包括与每个挂车角度210相对应的基本上相同数量的图像，其中每个挂车角度210具有相似的噪声特性分布。可以分析训练数据集以确定噪声特性的类型是否“未被充分表示”。未被充分表示的噪声特性被定义为包括比真实世界示例中预期更少的示例的噪声特性分布。例如，如果原始训练数据集包括10％的图像有大雨，则通过本文描述的技术生成的训练数据集应该包括至少10％的图像有大雨。以这种方式，本文描述的技术可以确保新的训练将覆盖原始训练数据集覆盖的相同环境条件。因为包括未被充分表示的环境条件的图像是由生成式对抗网络生成的，所以可以快速且容易地生成具有未被充分表示的噪声特性的图像。本文讨论的技术可以解决噪声特性未被充分表示的问题，而无需另外获取真实世界图像和对应的基准真相，从而避免获取包括特定类型的挂车配置的多个噪声特性的真实世界训练数据集所涉及的费用和时间。使用真实感渲染软件和生成式对抗网络生成多个噪声条件下的合成数据和基准真相可能比获取真实世界数据更便宜且耗时更少。

可以使用如下面关于图4所讨论的训练图像来训练深度神经网络，然后使用测试图像进行测试，其中对应于测试图像的基准真相数据用于评估深度神经网络的性能。可以关于噪声特性分析来自测试深度神经网络的结果，以确定导致深度神经网络的不良性能的噪声特性的水平和类型。不良性能被定义为未能确定基准真相中所包括的正确挂车角度210。不良性能可以通过由深度神经网络报告的基准真相挂车角度210与挂车角度210之间的差值(例如，度数)来分级，包括深度神经网络未能找到任何挂车角度210。

本文讨论的技术可以针对失败通过绘制根据噪声变化的挂车角度210误差来确定误差分布。例如，可以确定经训练的深度神经网络在包括暴雨和昏暗照明的图像上表现不佳。本文讨论的技术可以通过使用失败数据来生成第二训练数据集来改善深度神经网络的训练，所述第二训练数据集包括更多图像，所述图像包括导致第一训练数据集中的失败的挂车角度210和噪声。使用真实感渲染软件和生成式对抗网络生成图像，以提供图像数据和基准真相。可以使用生成的训练图像重新训练深度神经网络，并且使用包括真实世界图像的测试数据集来重新测试深度神经网络。可以重复该过程，直到训练深度神经网络以提供有关所有指定噪声特性的准确结果。准确的结果可以被定义为在90％的测试图像上确定正确挂车角度在指定准确度的量(例如，+/-5度)内。用合成数据扩充测试数据集是独立于用合成数据扩充训练数据集的任务。用合成数据扩充测试数据集需要额外的测试，以确保来自用合成数据测试的测试结果可以适当地推广到真实世界数据。

图4是深度神经网络400的图示。深度神经网络400可以是在包括服务器125的管理计算机上执行的软件程序。深度神经网络一旦被训练，就可以被下载到包括在车辆101中的计算机105。车辆101中的计算机105可以使用深度神经网络来操作牵引挂车200的车辆101。计算机105可以使用所确定的挂车角度210来确定用于操作附接有挂车200的车辆101的车辆路径。例如，计算机105可以基于处理输入图像300来确定挂车200的目标位置和取向。目标位置和取向可以用于确定使车辆倒车以将挂车移动到目标位置的方向。目标位置可以是例如停车位或坡道，其中坡道是用于装载或卸载挂车200的位置。计算机105可以使用运动学仿真程序等来响应于牵引车辆101的运动预测挂车200的运动。运动学仿真程序响应于基于起始挂车角度210施加的力，使用挂车200和车辆101的数学模型来模拟挂车200的运动。计算机105可以确定基于起始挂车角度210向挂车200施加力以将挂车200以目标取向移动到目标位置的车辆路径。计算机105可以将命令传输到车辆动力传动系统、车辆转向和车辆制动器，以在车辆路径上操作车辆101，并且从而将确定的力施加到挂车200并将其以目标取向移动到目标位置。

深度神经网络400可以包括多个卷积层(CONV)404，所述多个卷积层通过使用卷积核对输入图像402进行卷积来确定潜在变量(LV)406来处理输入图像(IN)402。深度神经网络400包括多个全连接层(FC)408，所述全连接层处理潜在变量406以产生输出挂车角度(TA)210。深度神经网络400可以输入来自包括在车辆101中的相机传感器216的图像402(其包括附接的挂车200的图像)以确定挂车角度210。

通过处理包括大量(>1000)训练图像的数据集来训练深度神经网络400，所述训练图像包括在多个环境条件下的处于多个挂车角度210的多个挂车200类型。数据集中的每个图像都具有对应的基准真相数据，所述基准真相数据指定图像中的挂车200的挂车角度210。基准真相数据是关于训练图像402的数据，所述数据是由独立于深度神经网络400的过程确定的。基准真相数据被认为表示对真实世界的测量。例如，可以通过对图像的手动检查来估计基准真相挂车角度210，即，例如在图像硬拷贝上使用包括标尺和量角器的仪器来估计图像数据中的挂车角度210。在其他示例中，可以通过在由相机传感器216成像的真实世界车辆101和挂车200上使用诸如标尺和量角器的仪器在真实世界中测量挂车角度210来估计基准真相挂车角度210。在训练中，反向传播来自处理输入图像402的通过深度神经网络400确定的挂车角度210，并将其与对应于输入图像402的基准真相挂车角度210相比较。反向传播可以基于挂车角度210和对应的基准真相挂车角度210计算损失函数。损失函数是一种数学函数，其将诸如挂车角度210的值映射为与成本相对应的实数。在该示例中，可以将成本确定为所确定的挂车角度210和对应的基准真相数据中的挂车角度210之间的度数差。损失函数确定挂车角度210与基准真相数据有多匹配，并用于调整控制深度神经网络的参数或权重。

改变控制深度神经网络400处理的参数或权重，直到输出挂车角度210结果与针对训练数据集中的多个图像的基准真相匹配为止。如从使用深度神经网络400的图像或模式辨识的各种应用中可以理解，参数或权重包括用于卷积层404中的卷积核的卷积系数。参数或权重还包括控制处理潜在变量406以确定输出挂车角度210的线性和/或非线性函数的参数或权重。训练深度神经网络400通常包括系统地改变这些参数或权重，并将输出挂车角度210与对应于基准真相挂车角度210的期望结果进行比较。作为在多个输入图像上的多个试验中改变参数的结果，可以确定实现与基准真相匹配的结果的一组参数或权重。

图5是生成式对抗网络500的图示。生成式对抗网络500包括生成网络(GEN)502和鉴别器网络(DISC)506。训练生成网络504以输入合成图像(SI)502并使用卷积核处理它们以输出中间图像(II)508。生成网络504将对应于噪声特性的图像细节添加到输入合成图像502。这些图像细节包括诸如雨、雪和雾等天气的外观，以及诸如阳光和阴影等照明效果。生成网络504被训练为通过用鉴别器网络506处理中间图像502来向输入图像502添加逼真的图像细节量。

鉴别器网络506输入中间图像508并处理中间图像508以确定中间图像508是否与真实世界图像无法区分。如果确定中间图像508与真实世界图像不可区分，则鉴别器网络506输出等于“真”的真值变量(T/F)510，并且输出中间图像508作为修改的图像(MI)514。如果鉴别器网络506确定中间图像508与真实世界图像可区分，则鉴别器网络506输出等于“假”的真值变量510，并且输出中间图像508作为修改的图像514。例如，真值变量510可以是在0.0与1.0之间的值，其中真被定义为大于或等于0.5的任何值，并且假被定义为小于0.5的任何值。

鉴别器网络506被训练为通过输入真实世界图像和合成图像以及指示它们是真实世界图像还是合成图像作为训练图像(TI)512来区分真实世界图像和合成图像。通过将由处理输入训练图像512产生的输出真值变量510与对应的基准真相数据进行比较，可以训练鉴别器网络506以区分真实世界图像和合成图像。可以通过观察者基于观察者认为训练图像512的逼真程度向每个训练图像512分配在0.0与1.0之间的值来确定训练图像512的基准真相数据。在训练时，在输入训练图像512时改变对鉴别器网络506进行编程的参数或权重。使鉴别器网络506一致地输出与基准真相匹配的正确真值变量510的参数或权重值被保存为正确地对鉴别器网络506进行编程以准确地区分真实世界图像与同步图像的参数或权重。

在训练鉴别器网络506之后训练生成网络504。合成图像502被输入到生成网络504。对生成网络506内的卷积核进行编程的参数或权重被系统地改变以产生多个中间图像508。中间图像508被输入到鉴别器网络506，所述鉴别网络区分真实世界图像与合成图像。当生成网络506产生由鉴别器网络506接受作为真实世界图像(如由鉴别器网络506输出等于“真”的真值变量所指示)的中间图像508时，产生欺骗鉴别器网络506的中间图像508的参数或权重被保存为正确地对生成网络504进行编程的参数或权重。

在操作中，经训练的生成式对抗网络500输入合成图像502并输出修改的图像514，所述修改的图像对应于具有与生成式对抗网络500被训练来再现的噪声特性相匹配的噪声特性的真实世界图像。可以训练生成式对抗网络500以产生包括特定噪声特性的修改图像514。生成式对抗网络500将具有对应于生成式对抗网络500预期再现的每组噪声特性的多组参数或权重。例如，生成式对抗网络500可以在早晨、中午和晚上照明中的每一者具有低、中和强降雨中的每一者的一组参数。

图6是用于训练深度神经网络400并将其下载到车辆101的过程600的流程图。过程600可以由计算装置的处理器实施，例如将来自传感器的信息作为输入，以及执行命令，以及输出对象信息。过程600包括可以以所示顺序执行的多个框。过程600可以替代地或另外包括更少的框，或者可以包括以不同顺序执行的框。

过程600开始于框602，其中由诸如服务器125中的管理计算机的计算机分析对应于图像的训练数据集的分布。图像数据集包括由包括在车辆101中的相机传感器216获取的真实世界图像，以及由真实感渲染软件生成并由生成式对抗网络500处理以添加逼真噪声的合成图像。图像数据集包括在对应于多个噪声特性的多个环境条件下由车辆101以多个挂车角度210牵引的多个挂车200类型的图像。环境条件包括诸如雨和雪的天气、诸如阴天和明亮的阳光的照明以及诸如烟雾和灰尘的大气。使用机器视觉技术处理每个图像以对噪声类型进行分类并确定图像中存在的每种类型的噪声的分布。例如，可以处理图像以确定平均对比度，其中对比度被定义为暗像素与亮像素的平均值的比率。可以通过使图像平滑化、从原始图像中减去平滑化图像并对差异图像求和来处理图像以确定高空间频率细节的量和大小。处理输入图像以对存在的噪声类型进行分类的结果可以通过确定统计量度(诸如每种噪声类型的分布的平均值和标准偏差)来概括。然后，分析所述分布以根据基于噪声特性的正态分布的预期来确定每种类型和水平的噪声是否在训练数据集中未被充分表示。

在框604处，服务器125中的计算机可以将所获取的图像中的噪声类型的分布与针对用于训练深度神经网络的原始训练数据集中的训练图像集确定的噪声类型的分布进行比较。基于获取的图像中的噪声类型的分布与原始训练数据中的噪声类型的分布的比较，计算机可以生成与训练数据集中未被充分表示的噪声的类型和水平相对应的合成图像并用生成式对抗网络500对它们进行处理以向合成图像添加逼真的噪声水平，如上面关于图5所讨论的。

在框606处，服务器125中的计算机使用包括对应于未被充分表示的噪声类型和水平的合成图像的训练数据集来训练深度神经网络400以确定挂车角度210，如上文关于图4所讨论的。

在框608处，服务器125中的计算机使用对应于训练数据集的一部分的测试数据集来测试深度神经网络400的性能。测试数据集被确定为包括挂车角度210和噪声特性，所述噪声特性具有与如上文关于图3所讨论的训练数据集中的分布匹配的分布。

在框610处，由服务器125中的计算机检查深度神经网络400的性能，以基于每种类型的噪声特性来确定深度神经网络400的性能是否良好。对于每种类型的噪声特性的90％，通过检查深度神经网络400是否确定挂车角度210在基准真相挂车角度210的指定量(例如+/-5度)内来确定良好性能。如果确定任何噪声特性类型对于指定的百分比(例如，90％)未实现由深度神经网络输出的正确挂车角度210，例如基准真相的+/-5度，则将关于哪些噪声特性类型确实未达到指定百分比(例如，90％)的数据(正确挂车角度210)传递到框612。当所有噪声特性类型都实现至少90％的正确挂车角度210输出时，过程600转到框614。

在框612处，由服务器125中的计算机重新分析噪声特性的分布，以确定哪些噪声类型和水平对应于未能确定正确挂车角度210。服务器125中的计算机增加与噪声特性分布中的噪声特性的这些类型和水平相对应的图像的数量，并将增加的分布传递回框604，以具有由生成式对抗网络500生成和处理的与这些噪声特性相对应的附加合成图像以添加与在框612处确定的增加的分布相对应的逼真噪声。在框606处，使用增加的数量的图像和对应的基准真相来重新训练深度神经网络400，所述深度神经网络可以在框608处被重新测试并在框608处被重新检查。

在框614处，深度神经网络400的性能已经由服务器125中的计算机确定，以针对与噪声特性分布中所包括的所有噪声类型和水平相对应的所有输入图像的90％找到正确挂车角度210。经训练的深度神经网络400可以被下载到车辆101并且用于操作车辆101，如上面关于图2所讨论的。车辆101中的计算机105可以使用下载的深度神经网络400来确定挂车200附接到车辆101的挂车角度210。计算机105可以使用所确定的挂车角度210来确定用于操作车辆的车辆路径，所述车辆路径将附接的挂车200定位在所确定的目标位置，如以上关于图2所讨论的。例如，计算机105可以基于处理由相机传感器216捕获的图像来确定挂车200的目标位置和取向。例如，目标位置可以是停车位或坡道。计算机105可以确定基于起始挂车角度210向挂车200施加力以将挂车200以目标取向移动到目标位置的车辆路径。计算机105可以将命令传输到车辆动力传动系统、车辆转向和车辆制动器，以在车辆路径上操作车辆101，并且从而将确定的力施加到挂车200并将其以目标取向移动到目标位置。在框614之后，过程600结束。

诸如本文讨论的那些计算装置的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些计算装置的一个或多个计算装置执行并用于执行上文所描述的过程的框或步骤。例如，上文所讨论的过程框可以体现为计算机可执行命令。

计算机可执行命令可以根据使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：Java^TM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。一般来说，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所描述的过程中的一者或多者。此类命令和其他数据可以存储在文件中并使用各种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。

计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。这种介质可以采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或者计算机可从其读取的任何其他介质。

计算机105可以是如上所述的计算机105，或者可以包括专用电子电路，所述专用电子电路包括针对特定操作而制造的ASIC，例如，用于处理传感器数据和/或传送传感器数据的ASIC。在另一个示例中，计算机140可包括FPGA，所述FPGA是被制造为可由用户配置的集成电路。通常，在电子设计自动化中使用诸如VHDL(超高速集成电路硬件描述语言)的硬件描述语言来描述诸如FPGA和ASIC的数字和混合信号系统。例如，ASIC是基于制造前提供的VHDL编程而制造的，而FPGA内部的逻辑部件可以基于例如存储在电连接到FPGA电路的存储器中的VHDL编程来配置。在一些示例中，处理器、ASIC和/或FPGA电路的组合可以包括在计算机105中。

除非本文做出明确的相反指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和一般的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。

术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。

修饰值或结果的副词“大约”意味着形状、结构、测量值、值、确定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何形状、距离、测量值、值、确定、计算等有偏差。

在附图中，相同的附图标记指示相同的元件。此外，可以改变这些元件中的一些或全部。关于本文所描述的介质、过程、系统、方法等，应当理解，尽管此类过程等的步骤或框已被描述为按照特定顺序的序列发生，但是此类过程可以通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应当理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。

根据本发明，提供了一种系统，其具有：计算装置，所述计算装置包括：处理器；以及存储器，所述存储器包括可由所述处理器执行以进行以下操作的指令：基于多个真实世界图像来训练深度神经网络；基于通过深度神经网络识别多个真实世界图像中的包括一个或多个对象类型的一个或多个物理特征来确定深度神经网络的准确度低于阈值；基于根据识别一个或多个物理特征确定深度神经网络的准确度低于阈值，使用真实感图像渲染软件程序和生成式对抗网络来生成多个合成图像；基于多个真实世界图像和多个合成图像重新训练深度神经网络；并且输出重新训练的深度神经网络。

根据一个实施例，本发明的特征还在于以下指令：基于识别一个或多个物理特征来确定重新训练的深度神经网络的准确度；基于针对一个或多个物理特征和一个或多个环境条件确定深度神经网络的准确度低于阈值来从真实感图像渲染软件程序和生成式对抗网络生成第二多个合成图像；以及基于多个真实世界图像、第一多个合成图像和第二多个合成图像来重新训练深度神经网络。

根据一个实施例，包括在第一多个合成图像中的物理特征是从真实世界图像确定的。

根据一个实施例，物理特征包括一个或多个对象类型，所述一个或多个对象类型包括多个类型的车辆挂车，其中每个对象类型包括至少一个或多个挂车部件或相对于车辆的一个或多个挂车角度。

根据一个实施例，挂车部件包括挂车舌杆配置、挂车侧面配置、挂车颜色和挂车纹理。

根据一个实施例，物理特征包括环境条件，所述环境条件包括天气、照明、大气、地面类型和纹理以及背景树叶。

根据一个实施例，可以将对应于多个真实世界图像的物理特征输入到真实感图像渲染软件程序以生成第一多个合成图像。

根据一个实施例，来自真实感图像渲染软件程序的输出被输入到生成式对抗网络以生成第二多个合成图像。

根据一个实施例，与多个真实世界图像相对应的包括挂车角度的物理特征用作基准真相来训练深度神经网络。

根据一个实施例，生成式对抗网络包括生成修改的合成图像的生成网络和确定修改的合成图像是否对应于真实世界图像的鉴别网络。

根据一个实施例，可以训练生成网络以生成修改的合成图像，鉴别网络将所述修改的合成图像接受为对应于真实世界图像。

根据一个实施例，可以使用真实世界图像来训练鉴别网络。

根据一个实施例，本发明的特征还在于以下指令：基于与多个真实世界图像和第一多个合成图像中的物理特征的出现相对应的分布，将所述多个真实世界图像和所述多个合成图像划分为训练部分和测试部分。

根据一个实施例，重新训练的深度神经网络被输出到包括处理器和存储器的车辆计算机，所述存储器存储重新训练的深度神经网络。

根据一个实施例，本发明的特征还在于车辆计算机存储器，所述车辆计算机存储器存储将图像输入到重新训练的深度神经网络以确定要在其上操作的车辆路径的指令。

根据本发明，一种方法包括：基于多个真实世界图像来训练深度神经网络；基于通过深度神经网络识别多个真实世界图像中的包括一个或多个对象类型的一个或多个物理特征来确定深度神经网络的准确度低于阈值；基于根据识别一个或多个物理特征确定深度神经网络的准确度低于阈值，使用真实感图像渲染软件程序和生成式对抗网络来生成多个合成图像；基于多个真实世界图像和多个合成图像重新训练深度神经网络；以及输出重新训练的深度神经网络。

在本发明的一个方面，所述方法包括：基于识别一个或多个物理特征来确定重新训练的深度神经网络的准确度；基于针对一个或多个物理特征和一个或多个环境条件确定深度神经网络的准确度低于阈值来从真实感图像渲染软件程序和生成式对抗网络生成第二多个合成图像；以及基于多个真实世界图像、第一多个合成图像和第二多个合成图像来重新训练深度神经网络。

在本发明的一个方面，包括在第一多个合成图像中的物理特征是从真实世界图像确定的。

在本发明的一个方面，物理特征包括一个或多个对象类型，所述一个或多个对象类型包括多个类型的车辆挂车，其中每个对象类型包括至少一个或多个挂车部件或相对于车辆的一个或多个挂车角度。

在本发明的一个方面，挂车部件包括挂车舌杆配置、挂车侧面配置、挂车颜色和挂车纹理。

Claims (15)

1.一种方法，其包括：

基于多个真实世界图像来训练深度神经网络；

基于通过所述深度神经网络识别所述多个真实世界图像中的包括一个或多个对象类型的一个或多个物理特征来确定所述深度神经网络的准确度低于阈值；

基于根据识别所述一个或多个物理特征确定所述深度神经网络的所述准确度低于阈值，使用真实感图像渲染软件程序和生成式对抗网络来生成多个合成图像；

基于所述多个真实世界图像和所述多个合成图像来重新训练所述深度神经网络；以及

输出所述重新训练的深度神经网络。

2.如权利要求1所述的方法，其还包括：基于识别所述一个或多个物理特征来确定所述重新训练的深度神经网络的准确度；

基于针对所述一个或多个物理特征和一个或多个环境条件确定所述深度神经网络的所述准确度低于阈值来从所述真实感图像渲染软件程序和所述生成式对抗网络生成第二多个合成图像；以及

基于所述多个真实世界图像、所述第一多个合成图像和所述第二多个合成图像来重新训练所述深度神经网络。

3.如权利要求1所述的方法，其中包括在所述第一多个合成图像中的所述物理特征是从所述真实世界图像确定的。

4.如权利要求1所述的方法，其中所述物理特征包括一个或多个对象类型，所述一个或多个对象类型包括多个类型的车辆挂车，其中每个对象类型包括至少一个或多个挂车部件或相对于车辆的一个或多个挂车角度。

5.如权利要求4所述的方法，其中挂车部件包括挂车舌杆配置、挂车侧面配置、挂车颜色和挂车纹理。

6.如权利要求1所述的方法，其中所述物理特征包括环境条件，所述环境条件包括天气、照明、大气、地面类型和纹理以及背景树叶。

7.如权利要求1所述的方法，其中将对应于所述多个真实世界图像的所述物理特征输入到所述真实感图像渲染软件程序以生成所述第一多个合成图像。

8.如权利要求1所述的方法，其中来自所述真实感图像渲染软件程序的所述输出被输入到所述生成式对抗网络以生成所述第二多个合成图像。

9.如权利要求1所述的方法，其中与所述多个真实世界图像相对应的包括挂车角度的所述物理特征被用作基准真相来训练所述深度神经网络。

10.如权利要求1所述的方法，其中所述生成式对抗网络包括生成修改的合成图像的生成网络和确定所述修改的合成图像是否对应于真实世界图像的鉴别网络。

11.如权利要求10所述的方法，其中训练所述生成网络以生成修改的合成图像，所述鉴别网络将所述修改的合成图像接受为对应于真实世界图像。

12.如权利要求11所述的方法，其中使用真实世界图像来训练所述鉴别网络。

13.如权利要求1所述的方法，其还包括基于与所述多个真实世界图像和所述第一多个合成图像中的所述物理特征的出现相对应的分布，将所述多个真实世界图像和所述多个合成图像划分为训练部分和测试部分。

14.如权利要求1所述的方法，其中将所述重新训练的深度神经网络输出到包括处理器和存储器的车辆计算机，所述存储器存储所述重新训练的深度神经网络。

15.一种系统，其包括被编程为执行如权利要求1至14中任一项所述的方法的计算机。

Images