CN113467875A - 训练方法、预测方法、装置、电子设备以及自动驾驶车辆 - Google Patents

Abstract

本公开公开了用于训练渲染效率优化模型的方法、预测方法、装置、电子设备、存储介质、自动驾驶车辆以及计算机程序产品，涉及人工智能技术领域，尤其涉及智能交通和自动驾驶技术领域。用于训练渲染效率优化模型的方法具体实现方案为：获取训练样本，其中，训练样本包括渲染效率数据和与渲染效率数据对应的标签，渲染效率数据表征影响人机界面的渲染效率的数据，标签表征用于优化人机界面的渲染效率所需执行的操作；以及利用训练样本训练神经网络模型，得到渲染效率优化模型。

Description

训练方法、预测方法、装置、电子设备以及自动驾驶车辆

技术领域

本公开涉及人工智能技术领域，尤其涉及智能交通和自动驾驶技术领域，具体涉及用于训练渲染效率优化模型的方法、预测方法、装置、电子设备、存储介质、自动驾驶车辆以及计算机程序产品。

背景技术

人机界面是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。显示器或者触摸屏是人机界面的重要部件，用于展示物化信息。

渲染技术的发展使得人机界面能够以仿真模拟的方式呈现图像信息，使人机交互更为简单化、直观化。但是如何能实时并且趋近真实的呈现图像信息，成为渲染技术发展的一大挑战。

发明内容

本公开提供了一种用于训练渲染效率优化模型的方法、预测方法、装置、电子设备、存储介质、自动驾驶车辆以及计算机程序产品。

根据本公开的一方面，提供了一种用于训练渲染效率优化模型的方法，包括：获取训练样本，其中，训练样本包括渲染效率数据和与渲染效率数据对应的标签，渲染效率数据表征影响人机界面的渲染效率的数据，标签表征用于优化人机界面的渲染效率所需执行的操作；以及利用训练样本训练神经网络模型，得到渲染效率优化模型。

根据本公开的另一方面，提供了一种预测方法，包括：获取目标渲染效率数据；以及将目标渲染效率数据输入渲染效率优化模型，得到与目标渲染效率数据对应的预测结果，其中，渲染效率优化模型是利用用于训练渲染效率优化模型的方法训练的。

根据本公开的另一方面，提供了一种用于训练渲染效率优化模型的装置，包括：第一获取模块，用于获取训练样本，其中，训练样本包括渲染效率数据和与渲染效率数据对应的标签，渲染效率数据表征影响人机界面的渲染效率的数据，标签表征用于优化人机界面的渲染效率所需执行的操作；以及训练模块，用于利用训练样本训练神经网络模型，得到渲染效率优化模型。

根据本公开的另一方面，提供了一种预测装置，包括：第二获取模块，用于获取目标渲染效率数据；以及预测模块，用于将目标渲染效率数据输入渲染效率优化模型，得到与目标渲染效率数据对应的预测结果，其中，渲染效率优化模型是利用用于训练渲染效率优化模型的方法训练的。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

根据本公开的另一方面，提供了一种自动驾驶车辆，包括如上述所述的电子设备。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用预测方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的用于训练渲染效率优化模型的方法的流程图；

图3A示意性示出了根据本公开实施例的人机界面的应用场景图；

图3B示意性示出了根据本公开实施例的人机界面的显示的信息示意图；

图4示意性示出了根据本公开实施例的无人驾驶设备行驶的场景图；

图5示意性示出了根据本公开实施例的预测方法的流程图；

图6示意性示出了根据本公开另一实施例的用于训练渲染效率优化模型的装置的框图；

图7示意性示出了根据本公开实施例的预测装置的框图；以及

图8示意性示出了根据本公开实施例的适于实现用于训练渲染效率优化模型的方法或预测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在HMI(Human Machine Interface，人机界面)的渲染技术中，效率优化是非常重要的一个方面。在HMI的渲染过程中尤其是无人驾驶设备(例如自动驾驶车辆)中的人机界面的渲染过程中既需要显示高精地图的数据信息，还需要显示实时的路况信息，同时在无人驾驶设备的人机交互界面中，还有大量的提示警示信息需要展示。而所有这些需要渲染的信息会对HMI的渲染硬件造成巨大的渲染压力，挑战车载的渲染硬件性能。

本公开提供了用于训练渲染效率优化模型的方法、预测方法、装置、电子设备、存储介质、自动驾驶车辆以及计算机程序产品。

根据本公开的实施例，用于训练渲染效率优化模型的方法可以包括：获取训练样本，其中，训练样本包括渲染效率数据和与渲染效率数据对应的标签，渲染效率数据表征影响人机界面的渲染效率的数据，标签表征用于优化人机界面的渲染效率所需执行的操作；以及利用训练样本训练神经网络模型，得到渲染效率优化模型。

根据本公开的另一实施例，预测方法可以包括：获取目标渲染效率数据；以及将目标渲染效率数据输入渲染效率优化模型，得到与目标渲染效率数据对应的预测结果，其中，渲染效率优化模型是利用用于训练渲染效率优化模型的方法训练的。

图1示意性示出了根据本公开实施例的可以应用预测方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用预测方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的预测方法及装置。

如图1所示，根据该实施例的系统架构100可以包括无人驾驶设备101，网络102和服务器103。网络102用以在无人驾驶设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用无人驾驶设备101通过网络102与服务器103交互，以接收或发送消息等。

无人驾驶设备101可以是四轮轿车、三轮车或者其他无人驾驶的交通工具，例如自动驾驶车辆。无人驾驶设备101上可以安装有用于实现人机界面的显示屏，还可以安装有各种摄像头、红外扫描感应器和/或激光雷达等信息采集设备，用于采集周围环境的信息。

服务器103可以是提供各种服务的服务器，例如对用户利用无人驾驶设备101所浏览的内容、所选择的目标位置的导航提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给无人驾驶设备101。

需要说明的是，本公开实施例所提供的预测方法一般可以由无人驾驶设备101执行。相应地，本公开实施例所提供的预测装置也可以设置于无人驾驶设备101中。

或者，本公开实施例所提供的预测方法一般也可以由服务器103执行。相应地，本公开实施例所提供的预测装置一般可以设置于服务器103中。本公开实施例所提供的预测方法也可以由不同于服务器103且能够与无人驾驶设备101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的预测装置也可以设置于不同于服务器103且能够与无人驾驶设备101和/或服务器103通信的服务器或服务器集群中。

例如，在用户在无人驾驶设备101的人机界面上确定一目标导航位置时，无人驾驶设备101可以通过信息采集设备获取周围环境信息，然后将获取的周围环境信息发送给服务器103，由服务器103对该信息转换为待渲染数据，并对待渲染数据进行分析，确定执行优化人机界面的渲染效率所需执行的操作。或者由能够与无人驾驶设备101和/或服务器103通信的服务器或服务器集群对待渲染数据进行分析，并最终实现执行渲染的操作。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的用于训练渲染效率优化模型的方法的流程图。

如图2所示，该方法包括操作S210～S220。

在操作S210，获取训练样本，其中，训练样本包括渲染效率数据和与渲染效率数据对应的标签，渲染效率数据表征影响人机界面的渲染效率的数据，标签表征用于优化人机界面的渲染效率所需执行的操作。

在操作S220，利用训练样本训练神经网络模型，得到渲染效率优化模型。

根据本公开的实施例，人机界面，可以指用户界面或使用者界面，是人与计算机之间传递、交换信息的媒介和对话接口。

根据本公开的实施例，渲染技术是实现人机界面交互的一项重要工作。渲染是指从模型生成图像的过程，利用渲染能够将三维场景中的模型，按照设定好的环境、灯光、材质等参数，二维投影成数字图像。

根据本公开的实施例，对渲染效率数据不做具体限定，只要是表征影响人机界面的渲染效率的数据即可，在此不再赘述。

根据本公开的实施例，对与渲染效率数据对应的标签不做具体限定，只要是表征用于优化人机界面的渲染效率所需执行的操作即可，在此不再赘述。

根据本公开的实施例，神经网络模型可以指由大量的、简单的神经元广泛地互相连接而形成的复杂网络模型。在本公开的实施例中，神经网络模型，可以是深度神经网络模型，也可以是循环神经网络模型，还可以是卷积神经网络模型。

根据本公开的实施例，利用包括渲染效率数据和与渲染效率数据对应的标签的训练样本训练神经网络模型，可以得到渲染效率优化模型。利用本公开实施例的渲染效率优化模型，可以基于渲染效率数据，预测用于优化人机界面的渲染效率所需执行的操作，提高渲染效率，并缓解对渲染硬件造成的压力，实现实时提供优化渲染策略，为高效渲染提供依据。

下面参考图3A、图3B以及图4，结合具体实施例对图2所示的方法做进一步说明。

图3A示意性示出了根据本公开实施例的人机界面的应用场景图。

图3B示意性示出了根据本公开实施例的人机界面的显示的信息示意图。

如图3A所示，人机界面310可以为无人驾驶设备的人机界面。该人机界面可以设置于无人驾驶设备的方向盘一侧，方便用户与无人驾驶设备进行人机交互。

如图3B所示，在无人驾驶设备上安装的人机界面，显示的内容可以包括高精地图的数据信息320，实时采集的路况信息，还可以包括大量的提示警示信息等。

根据本公开的实施例，无人驾驶设备上的人机界面需要高实时性的渲染，不能有任何延时。即，当收到服务器发送的数据或收到传感器发送的信息的时候，要立即对数据进行渲染，从而给到用户最重要、且无延迟的驾驶信息，以保证安全可靠。

利用本公开实施例提供的渲染效率优化模型，可以更好的应用于无人驾驶设备上的人机界面，以便基于渲染效率数据，预测用于优化人机界面的渲染效率所需执行的操作，并根据该操作来提高渲染效率，体现其实时渲染的效果，保证无人驾驶的安全性与可靠性。

根据本公开的实施例，可以通过如下操作来获取训练样本。

例如，根据渲染效率影响条件，确定用于优化人机界面的渲染效率所需执行的操作和影响渲染效率的参数；根据参数，获取渲染效率数据；将用于优化人机界面的渲染效率所需执行的操作确定为与渲染效率数据对应的标签；以及根据渲染效率数据和与渲染效率数据对应的标签，得到训练样本。

根据本公开的实施例，渲染效率影响条件可以是在进行渲染过程中，影响渲染效率的步骤、操作条件或者操作参数。但是并不局限于此，还可以是在进行渲染之前，对渲染资源的加载、剔除等渲染效率影响条件。

根据本公开的实施例，渲染效率数据可以是载入资源的时长、渲染资源的体积、与渲染效果相关的数据、与地图信息相关的数据、与数据包相关的数量中的一种或多种。

根据本公开的实施例，可以将与数据包相关的数量作为渲染效率数据。与数据包相关的数量可以包括接收数据包的数量、发送数据包的数量、收发的数据包的数量均值、收发的数据包的数量方差中的一种或多种。

根据本公开的实施例，数据包可以是信息采集设备采集得到的数据压缩包，数据包的数量越多，越为真实的进行环境追踪，但是，数据包的数量越多，则可能会造成拥堵，导致渲染的速率随之降低，难以满足实时性要求。

根据本公开的实施例，可以通过参考与数据包相关的数量，来确定实时数据对场景优化的影响。例如某区域为高速路段，会有很少量的发送的数据包以及接收的数据包。将与数据包相关的数量作为渲染效率数据可以表明有可能会快速通过并且不会停留太久，根据该信息可以指导进行预先加载和立即剔除的操作。

根据本公开的实施例，载入资源的时长可以是目标文件的加载时长，但是并不局限于此，还可以是目标文件的解析时长。其中，目标文件可以是二进制格式的目标文件，例如文件格式为binary的目标文件。在本公开的实施例中，目标文件的加载时长可以是目标文件从硬盘中读入内存中所需时长。在本公开的实施例中，目标文件的解析时长可以是将目标文件进行解析分析形成渲染资源所需的时长。

根据本公开的实施例，可以仅将目标文件的加载时长作为影响渲染效率的参数，也可以仅将目标文件的解析时长作为影响渲染效率的参数，还可以同时将目标文件的加载时长和目标文件的解析时长作为影响渲染效率的参数。

根据本公开的实施例，将目标文件的加载时长和目标文件的解析时长同时作为影响渲染效率的参数，更能有利于得到用于渲染效率所需执行的操作的精准预测。

根据本公开的实施例，渲染资源可以是基于目标文件解析生成的渲染资源。在本公开的实施例中，渲染资源的体积可以是帧缓存的大小，其帧缓存用于存储纹理对象。其中，帧缓存的读取和刷新都影响渲染效率。

根据本公开的实施例，将渲染资源的体积作为影响渲染效率的参数进行考虑，可以避免或者改善由CPU端向GPU端的数据同步的耗时。

根据本公开的实施例，与渲染效果相关的数据可以包括纹理数据、着色器数据、光照数据中的一种或多种。

根据本公开的实施例，纹理可以是图像的轮廓和边缘。纹理在导入时会被压缩，纹理数据不仅影响纹理的噪声点的多少，还可能会影响渲染的延迟以及卡顿，进而最终影响渲染效率。

根据本公开的实施例，与渲染效果相关的数据还可以包括材质，材质可以包括平铺信息，颜色色调等。基于材质以及光照数据可以决定着色器数据，例如着色器的类型。

根据本公开的实施例，利用着色器对纹理进行着色，考虑纹理数据、着色器数据、光照数据等影响实施渲染的特效，能够有效分析着色的损耗，以及最终影响人机界面上具体像素数量。

根据本公开的实施例，与地图信息相关的数据可以包括斑马线的数量、停止线的数量、交通信号灯的数量、道路的数量、路口的数量、绿化带的数量、目标区域的面积中的一种或多种。

图4示意性示出了根据本公开实施例的无人驾驶设备行驶的场景图。

如图4所示，无人驾驶设备行驶在道路上，需要利用信息采集装置例如相机对周围环境进行信息采集。需要采集的信息例如可以是边缘线410、斑马线420、道路430、交通信号灯440、以及路口450等与地图信息相关的数据。

根据本公开的实施例，通过获悉与地图信息相关的数据，可以获悉限速提示、岔口信息、行人车辆等信息，实现道路安全状况监测与道路精细导航。

应注意，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，与地图信息相关的数据的数据量越大，在渲染时很可能会造成拥堵和大量的耗时。

根据本公开的实施例，将与地图信息相关的数据作为影响渲染效率的参数，与实际相结合，考虑到特殊情况特殊位置，使渲染效率提升更有效。

根据本公开的实施例，标签可以是预先加载目标文件的时间、删除目标文件的时间、需要加载的目标文件的层级细节中的一种或多种。

根据本公开的实施例，预先加载目标文件的时间可以是预先加载目标文件的时机，但是并不局限于此，还有可能是将目标文件解析为渲染资源的时间。

根据本公开的实施例，加载目标文件的过程与渲染线程有可能会互相影响，进而导致渲染的堵塞造成效率的降低。因此，合理进行预先加载目标文件将避免渲染堵塞，提高渲染效率。

根据本公开的实施例，删除目标文件的时间可以是剔除目标文件的时机。例如，不对该目标文件的内容进行渲染及显示。及时删除目标文件可以更为有效的减少渲染消耗，释放渲染资源，避免渲染卡顿。

根据本公开的实施例，需要加载的目标文件的层级细节可以是用于表征渲染先后顺序的层级关系。渲染层级越大，渲染越靠后。即，需要加载的目标文件的层级细节说明渲染过程中的渲染顺序。

根据本公开的实施例，该标签作为渲染效率数据的输出结果，可以选取正样本标签来进行训练，也可以选取负样本标签来进行训练，采用正训练样本与负训练样本结合的训练方式可以更好的训练模型。

根据本公开的实施例，可以通过如下具体操作来利用训练样本训练神经网络模型，得到渲染效率优化模型。

例如，将渲染效率数据输入神经网络模型，得到与渲染效率数据对应的预测结果；基于损失函数，利用标签和与渲染效率数据对应的预测结果，得到输出值；根据输出值，调整神经网络模型的模型参数，直至输出值收敛；以及将在输出值的收敛情况下得到的神经网络模型确定为渲染效率优化模型。

根据本公开的实施例，可以利用反向传播算法进行神经网络模型的训练。在本公开的实施例中，可以先正向计算得到损失函数，然后反向求导梯度下降。

根据本公开的实施例，神经网络模型的类型不做限定。例如，可以是卷积神经网络，也可以是深度神经网络，还可以是多层前馈神经网络。

根据本公开的实施例，损失函数的类型不做限定。例如，可以是平均绝对误差，也可以是均方误差，还可以是平均偏差误差。只要是与神经网络模型相匹配，能够进行模型训练的损失函数即可。

根据本公开的实施例，其输出值的收敛情况可以是输出值小于或等于输出值阈值，也可以是输出值基本不变，即前后两次输出值的差值小于或等于差值阈值。

根据本公开的实施例，标签可以是与渲染效率数据对应的实际结果。该标签可以是正样本标签，但是并不局限于此，还可以是负样本标签。

根据本公开的实施例，利用上述方式训练后的渲染效率优化模型，可以准确有效的进行用于优化人机界面的渲染效率所需执行的操作的预测分析，为进行实时渲染提供实际渲染操作的指导与依据。

图5示意性示出了根据本公开实施例的预测方法的流程图。

如图5所示，该方法包括操作S510～S520。

在操作S510，获取目标渲染效率数据。

在操作S520，将目标渲染效率数据输入渲染效率优化模型，得到与目标渲染效率数据对应的预测结果，其中，渲染效率优化模型是利用根据用于训练渲染效率优化模型的方法训练的。

根据本公开的实施例，目标渲染效率数据可以是与训练样本中的渲染效率数据相同参数的数据，但是并不局限于此，还可以是训练样本中的渲染效率数据相同参数的部分数据。

根据本公开的实施例，预测结果可以是与标签相对应的结果。例如，预先加载目标文件的时间、删除目标文件的时间、需要加载的目标文件的层级细节中的一种或多种结果。

根据本公开的实施例，基于目标渲染效率数据，通过渲染效率优化模型来进行结果的预测。其预测效果好且精准。有利于根据预测结果实时优化渲染操作策略进而达到高效的渲染。

下面结合具体实施例对图5所示的方法做进一步说明。

根据本公开的实施例，在得到与目标渲染效率数据对应的预测结果后，可以执行与目标渲染效率数据对应的预测结果所表征的操作，以便得到渲染效率优化结果。

根据本公开的实施例，对执行与目标渲染效率数据对应的预测结果所表征的操作的类型不做具体限定。例如，可以是根据预先加载目标文件的时间以及需要加载的目标文件的层级细节来加载目标文件，还可以是根据删除目标文件的时间删除目标文件。

根据本公开的实施例，利用与目标渲染效率数据对应的预测结果作为渲染策略，执行与目标渲染效率数据对应的预测结果所表征的操作，能够对实时渲染起到渲染效率优化的效果。

根据本公开的实施例，根据渲染效率优化结果，确定效果评估值；以及根据效果评估值和效果评估阈值，得到评估结果，其中，评估结果用于评估操作的可行性。

根据本公开的实施例，根据渲染效率优化结果来确定效果评估值，并根据效果评估值得到评估结果。在本公开的实施例中，基于渲染效率优化结果得到评估结果，基于评估结果可以评判渲染效率优化模型预测的渲染策略的优劣程度。也能保证在实际实时渲染过程中，渲染效率的优化与渲染效果的提高。

根据本公开的其他实施例，还可以基于该评估结果，对渲染效率优化模型进行优化训练，保证渲染效率优化模型的实时有效性。

根据本公开的实施例，效果评估值可以包括帧率均值，但是并不局限于此，还可以包括帧率方差。在本公开的实施例中，帧率均值可以是目标渲染区间内的实时帧率的平均值。帧率方差可以是目标渲染区间内的实时帧率的方差。

根据本公开的实施例，效果评估阈值可以包括帧率均值阈值，但是并不局限于此，还可以包括帧率方差阈值。其效果评估阈值可以根据效果评估值的选择来进行调整，只要满足效果评估阈值与效果评估值的基准一致即可。

根据本公开的实施例，评估结果可以是操作具有可行性，还可以是操作不具有可行性。在本公开的实施例中，该操作可以是指执行与目标渲染效率数据对应的预测结果所表征的操作。

根据本公开的实施例，在确定帧率均值大于或等于帧率均值阈值的情况下，得到评估结果是操作具有可行性。但并不局限于此。还可以是在确定帧率方差小于或等于帧率方差阈值的情况下，得到评估结果是操作具有可行性。此外，还可以是在确定帧率均值大于或等于帧率均值阈值并且帧率方差小于或等于帧率方差阈值的情况下，得到评估结果是操作具有可行性。

根据本公开的实施例，在确定帧率均值小于帧率均值阈值且帧率方差大于帧率方差阈值的情况下，得到评估结果是操作不具有可行性。

图6示意性示出了根据本公开实施例的用于训练渲染效率优化模型的装置的框图。

如图6所示，用于训练渲染效率优化模型的装置600可以包括第一获取模块610和训练模块620。

第一获取模块610，用于获取训练样本，其中，训练样本包括渲染效率数据和与渲染效率数据对应的标签，渲染效率数据表征影响人机界面的渲染效率的数据，标签表征用于优化人机界面的渲染效率所需执行的操作。

训练模块620，用于利用训练样本训练神经网络模型，得到渲染效率优化模型。

根据本公开的实施例，第一获取模块可以包括第一确定单元、获取单元、第二确定单元、以及第一得到单元。

第一确定单元，用于根据渲染效率影响条件，确定用于优化人机界面的渲染效率所需执行的操作和影响渲染效率的参数。

获取单元，用于根据参数，获取渲染效率数据。

第二确定单元，用于将用于优化人机界面的渲染效率所需执行的操作确定为与渲染效率数据对应的标签。

第一得到单元，用于根据渲染效率数据和与渲染效率数据对应的标签，得到训练样本。

根据本公开的实施例，渲染效率数据包括以下至少一项：载入资源的时长、渲染资源的体积、与渲染效果相关的数据、与地图信息相关的数据和与数据包相关的数量。

根据本公开的实施例，载入资源的时长包括目标文件的加载时长和/或目标文件的解析时长；

其中，与渲染效果相关的数据包括以下至少一项：纹理数据、着色器数据和光照数据；

其中，与地图信息相关的数据包括以下至少一项：斑马线的数量、停止线的数量、交通信号灯的数量、道路的数量、路口的数量、绿化带的数量和目标区域的面积；

其中，与数据包相关的数量包括以下至少一项：接收数据包的数量、发送数据包的数量、收发的数据包的数量均值和收发的数据包的数量方差。

根据本公开的实施例，标签包括以下至少一项：预先加载目标文件的时间、删除目标文件的时间和需要加载的目标文件的层级细节。

根据本公开的实施例，训练模块可以包括第二得到单元、第三得到单元、调整单元、以及第三确定单元。

第二得到单元，用于将渲染效率数据输入神经网络模型，得到与渲染效率数据对应的预测结果。

第三得到单元，用于基于损失函数，利用标签和与渲染效率数据对应的预测结果，得到输出值。

调整单元，用于根据输出值，调整神经网络模型的模型参数，直至输出值收敛。

第三确定单元，用于将在输出值的收敛情况下得到的神经网络模型确定为渲染效率优化模型。

根据本公开的实施例，人机界面为无人驾驶设备的人机界面。

图7示意性示出了根据本公开实施例的预测装置的框图。

如图7所示，预测装置700可以包括第二获取模块710以及预测模块720。

第二获取模块710，用于获取目标渲染效率数据。

预测模块720，用于将目标渲染效率数据输入渲染效率优化模型，得到与目标渲染效率数据对应的预测结果，其中，渲染效率优化模型是利用用于训练渲染效率优化模型的方法训练的。

根据本公开的实施例，预测装置700还包括执行模块。

执行模块，用于执行与目标渲染效率数据对应的预测结果所表征的操作，得到渲染效率优化结果。

根据本公开的实施例，预测装置700还包括确定模块以及评估模块。

确定模块，用于根据渲染效率优化结果，确定效果评估值。

评估模块，用于根据效果评估值和效果评估阈值，得到评估结果，其中，评估结果用于评估操作的可行性。

根据本公开的实施例，效果评估值包括帧率均值和/或帧率方差，效果评估阈值包括帧率均值阈值和/或帧率方差阈值，其中，帧率均值是目标渲染区间内的实时帧率的平均值，帧率方差是目标渲染区间内的实时帧率的方差。

根据本公开的实施例，评估模块可以包括第四得到单元和第五得到单元。

第四得到单元，用于在确定帧率均值大于或等于帧率均值阈值和/或帧率方差小于或等于帧率方差阈值的情况下，得到评估结果是操作具有可行性。

第五得到单元，用于在确定帧率均值小于帧率均值阈值且帧率方差大于帧率方差阈值的情况下，得到评估结果是操作不具有可行性。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种自动驾驶车辆和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如用于训练渲染效率优化模型的方法或者预测方法。例如，在一些实施例中，用于训练渲染效率优化模型的方法或者预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的用于训练渲染效率优化模型的方法或者预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于训练渲染效率优化模型的方法或者预测方法。

根据本公开的实施例，电子设备可以获取目标渲染效率数据，从而进行图像视频渲染处理和渲染效率的预测。

根据本公开的实施例，本公开还提供一种自动驾驶车辆，可以包括电子设备，还可以包括通信部件、用于实现人机界面的显示屏以及用于采集周围环境信息的信息采集设备等。其中，通信部件、显示屏、信息采集设备与电子设备之间通信连接。

根据本公开的实施例，电子设备可以与通信部件、显示屏以及信息采集设备一体集成，也可以与通信部件、显示屏以及信息采集设备分体设置。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种用于训练渲染效率优化模型的方法，包括：

获取训练样本，其中，所述训练样本包括渲染效率数据和与所述渲染效率数据对应的标签，所述渲染效率数据表征影响人机界面的渲染效率的数据，所述标签表征用于优化所述人机界面的渲染效率所需执行的操作；以及

利用所述训练样本训练神经网络模型，得到所述渲染效率优化模型。

2.根据权利要求1所述的方法，其中，所述获取训练样本，包括：

根据渲染效率影响条件，确定用于优化所述人机界面的渲染效率所需执行的操作和影响渲染效率的参数；

根据所述参数，获取所述渲染效率数据；

将所述用于优化所述人机界面的渲染效率所需执行的操作确定为与所述渲染效率数据对应的标签；以及

根据所述渲染效率数据和与所述渲染效率数据对应的标签，得到所述训练样本。

3.根据权利要求1或2所述的方法，其中，所述渲染效率数据包括以下至少一项：载入资源的时长、渲染资源的体积、与渲染效果相关的数据、与地图信息相关的数据和与数据包相关的数量。

4.根据权利要求3所述的方法，其中，所述载入资源的时长包括目标文件的加载时长和/或所述目标文件的解析时长；

其中，所述与渲染效果相关的数据包括以下至少一项：纹理数据、着色器数据和光照数据；

其中，所述与地图信息相关的数据包括以下至少一项：斑马线的数量、停止线的数量、交通信号灯的数量、道路的数量、路口的数量、绿化带的数量和目标区域的面积；

其中，所述与数据包相关的数量包括以下至少一项：接收数据包的数量、发送数据包的数量、收发的数据包的数量均值和收发的数据包的数量方差。

5.根据权利要求1～4中任一项所述的方法，其中，所述标签包括以下至少一项：预先加载目标文件的时间、删除所述目标文件的时间和需要加载的所述目标文件的层级细节。

6.根据权利要求1～5中任一项所述的方法，其中，所述利用所述训练样本训练神经网络模型，得到所述渲染效率优化模型，包括：

将所述渲染效率数据输入所述神经网络模型，得到与所述渲染效率数据对应的预测结果；

基于损失函数，利用所述标签和与所述渲染效率数据对应的预测结果，得到输出值；

根据所述输出值，调整所述神经网络模型的模型参数，直至所述输出值收敛；以及

将在所述输出值的收敛情况下得到的神经网络模型确定为所述渲染效率优化模型。

7.根据权利要求1～6中任一项所述的方法，其中，所述人机界面为无人驾驶设备的人机界面。

8.一种预测方法，包括：

获取目标渲染效率数据；以及

将所述目标渲染效率数据输入渲染效率优化模型，得到与所述目标渲染效率数据对应的预测结果，

其中，所述渲染效率优化模型是利用根据权利要求1～7中任一项所述的方法训练的。

9.根据权利要求8所述的方法，还包括：

执行与所述目标渲染效率数据对应的预测结果所表征的操作，得到渲染效率优化结果。

10.根据权利要求9所述的方法，还包括：

根据所述渲染效率优化结果，确定效果评估值；以及

根据所述效果评估值和效果评估阈值，得到评估结果，其中，所述评估结果用于评估所述操作的可行性。

11.根据权利要求10所述的方法，其中，所述效果评估值包括帧率均值和/或帧率方差，所述效果评估阈值包括帧率均值阈值和/或帧率方差阈值，其中，所述帧率均值是目标渲染区间内的实时帧率的平均值，所述帧率方差是所述目标渲染区间内的实时帧率的方差；

所述根据所述效果评估值和效果评估阈值，得到评估结果，包括：

在确定所述帧率均值大于或等于帧率均值阈值和/或所述帧率方差小于或等于帧率方差阈值的情况下，得到所述评估结果是所述操作具有可行性；以及

在确定所述帧率均值小于所述帧率均值阈值且所述帧率方差大于所述帧率方差阈值的情况下，得到所述评估结果是所述操作不具有可行性。

12.一种用于训练渲染效率优化模型的装置，包括：

第一获取模块，用于获取训练样本，其中，所述训练样本包括渲染效率数据和与所述渲染效率数据对应的标签，所述渲染效率数据表征影响人机界面的渲染效率的数据，所述标签表征用于优化所述人机界面的渲染效率所需执行的操作；以及

训练模块，用于利用所述训练样本训练神经网络模型，得到所述渲染效率优化模型。

13.根据权利要求12所述的装置，其中，所述第一获取模块包括：

第一确定单元，用于根据渲染效率影响条件，确定用于优化所述人机界面的渲染效率所需执行的操作和影响渲染效率的参数；

获取单元，用于根据所述参数，获取所述渲染效率数据；

第二确定单元，用于将所述用于优化所述人机界面的渲染效率所需执行的操作确定为与所述渲染效率数据对应的标签；以及

第一得到单元，用于根据所述渲染效率数据和与所述渲染效率数据对应的标签，得到所述训练样本。

14.根据权利要求12或13所述的装置，其中，所述训练模块包括：

第二得到单元，用于将所述渲染效率数据输入所述神经网络模型，得到与所述渲染效率数据对应的预测结果；

第三得到单元，用于基于损失函数，利用所述标签和与所述渲染效率数据对应的预测结果，得到输出值；

调整单元，用于根据所述输出值，调整所述神经网络模型的模型参数，直至所述输出值收敛；以及

第三确定单元，用于将在所述输出值的收敛情况下得到的神经网络模型确定为所述渲染效率优化模型。

15.一种预测装置，包括：

第二获取模块，用于获取目标渲染效率数据；以及

预测模块，用于将所述目标渲染效率数据输入渲染效率优化模型，得到与所述目标渲染效率数据对应的预测结果，

其中，所述渲染效率优化模型是利用根据权利要求1～7中任一项所述的方法训练的。

16.根据权利要求15所述的装置，还包括：

执行模块，用于执行与所述目标渲染效率数据对应的预测结果所表征的操作，得到渲染效率优化结果。

17.根据权利要求16所述的装置，还包括：

确定模块，用于根据所述渲染效率优化结果，确定效果评估值；以及

评估模块，用于根据所述效果评估值和效果评估阈值，得到评估结果，其中，所述评估结果用于评估所述操作的可行性。

18.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～7或8～11中任一项所述的方法。

19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～7或8～11中任一项所述的方法。

20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～7或8～11中任一项所述的方法。

21.一种自动驾驶车辆，包括如权利要求18所述的电子设备。

Images