CN117114141B - 模型训练的方法、评估方法、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体提供一种模型训练的方法、评估方法、计算机设备及存储介质，旨在解决提高模型训练效率的问题。为此目的，本发明提供的方法包括获取在模型训练过程中训练产生的临时模型，采用临时模型对测试数据执行模型推理任务并获取在执行模型推理任务的过程中针对测试数据产生的数据特征，根据测试数据与数据特征进行模型训练评估。基于上述方法，可以在模型训练过程中进行模型训练评估，不再需要等到模型训练结束才能进行模型训练评估，这样在发现模型训练存在问题之后可以及时地解决，有效提高了训练效率并避免了训练资源浪费。

Description

模型训练的方法、评估方法、计算机设备及存储介质

技术领域

本发明涉及人工智能技术领域，具体涉及一种模型训练的方法、评估方法、计算机设备及存储介质。

背景技术

AI（Artificial Intelligence）大模型（例如自动驾驶感知大模型）的训练过程通常比较长，且只能根据训练结束后的训练结果去评估训练结果是否达到期望目标。如果未达到期望目标，就需要重新训练，势必会浪费大量的时间，降低AI模型的训练效率。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何提高模型训练效率的技术问题的模型训练的模型训练的方法、评估方法、计算机设备及存储介质。

在第一方面，提供一种模型训练的评估方法，所述方法包括：

获取在模型训练过程中训练产生的临时模型；

采用所述临时模型对测试数据执行模型推理任务，并获取在执行模型推理任务的过程中针对所述测试数据产生的数据特征；

根据所述测试数据与所述数据特征进行模型训练评估。

在上述模型训练的评估方法的一个技术方案中，“根据所述测试数据与所述数据特征进行模型训练评估”的步骤具体包括：

对所述测试数据与所述数据特征进行可视化处理；

根据可视化处理的结果进行模型训练评估；

和/或，

所述测试数据包括图像和/或雷达点云。

在上述模型训练的评估方法的一个技术方案中，“对所述测试数据与所述数据特征进行可视化处理”的步骤具体包括：

分别获取针对各测试数据产生的数据特征；

将各测试数据分别与各自对应的数据特征进行融合，以形成各测试数据的融合数据；

分别对各融合数据进行可视化处理。

在上述模型训练的评估方法的一个技术方案中，“对所述测试数据与所述数据特征进行可视化处理”的步骤还包括：

采用图形化工具对所述测试数据进行显示，并在显示的结果上叠加显示所述数据特征。

在上述模型训练的评估方法的一个技术方案中，“获取在模型训练过程中训练产生的临时模型”的步骤具体包括：

定时获取在模型训练过程中训练产生的临时模型，以便能够根据定时获取的临时模型，在模型训练过程中定时地进行模型训练评估。

在上述模型训练的评估方法的一个技术方案中，所述方法还包括：

根据每次定时地进行模型训练评估的评估结果，获取所述评估结果的变化趋势；

根据所述变化趋势，再次进行模型训练评估。

在上述模型训练的评估方法的一个技术方案中，“根据所述测试数据与所述数据特征进行模型训练评估”的步骤还包括：

获取所述测试数据所表征对象的第一对象信息，与所述数据特征所表征对象的第二对象信息之间的信息偏差；

根据所述信息偏差，进行模型训练评估。

在第二方面，提供一种模型训练的方法，所述方法包括：

在模型训练的过程中，采用上述第一方面提供的模型训练的评估方法进行模型训练评估；

根据评估的结果，优化模型训练。

在第三方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述模型训练评估或模型训练方法的技术方案中任一项技术方案所述的方法。

在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述模型训练评估或模型训练方法的技术方案中任一项技术方案所述的方法。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明提供的模型训练的评估方法的技术方案中，可以获取在模型训练过程中训练产生的临时模型，采用临时模型对测试数据执行模型推理任务，并获取在执行模型推理任务的过程中针对测试数据产生的数据特征，根据测试数据与数据特征进行模型训练评估。基于上述实施方式，可以在模型训练过程中进行模型训练评估，不再需要等到模型训练结束才能进行模型训练评估，这样在发现模型训练存在问题之后可以及时地解决，有效避免了现有技术中只能在模型训练结束后进行模型训练评估，且在评估结果没有达到期望目标时必须要重新进行训练，导致训练效率降低、浪费训练资源的问题。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：

图1是根据本发明的一个实施例的模型训练评估方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的根据测试数据与数据特征进行模型训练评估的方法的主要步骤流程示意图；

图3是根据本发明的另一个实施例的根据测试数据与数据特征进行模型训练评估的方法的主要步骤流程示意图；

图4是根据本发明的一个实施例的模型训练方法的主要步骤流程示意图；

图5是根据本发明的一个实施例的计算机设备的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

下面对本发明提供的模型训练评估方法的实施例进行说明。

参阅附图1，图1是根据本发明的一个实施例的模型训练评估方法的主要步骤流程示意图。如图1所示，本发明实施例中的模型训练评估方法主要包括下列步骤S101至步骤S103。

步骤S101：获取在模型训练过程中训练产生的临时模型。

模型是指AI模型，在一些实施方式中模型可以是AI大模型。例如模型可以是自动驾驶大模型，自动驾驶大模型包括但不限于环境感知模型、规划与决策模型等等。

在对模型训练时通常是对其进行多次迭代训练，直至满足预设的模型收敛条件，再停止训练。预设的模型收敛条件可以是模型训练的效果指标（如准确率）满足预设条件或者迭代训练的次数达到预设的次数阈值。

在本实施例中进行训练之前的模型可以理解成初始模型，完成训练的模型可以理解成最终模型，而在开始进行训练且在完成训练之前这个过程中的模型可以理解成是临时模型。此外，在这个过程中在对模型每进行一次迭代训练之后就可以将完成这次迭代训练的模型作为一个临时模型，即每进行一次迭代训练就可以产生一个临时模型。

在本实施例中可以采用检查点（check point，ckpt）算法，在模型训练的过程中获取并存储训练产生的临时模型。基于此，可以将临时模型中所有模型参数保存到一个文件中，当需要使用临时模型时，从这个文件中获取模型参数，再恢复成临时模型即可。

步骤S102：采用临时模型对测试数据执行模型推理任务，并获取在执行模型推理任务的过程中针对测试数据产生的数据特征。

对模型训练的目的是使其具备模型推理功能，而控制模型实现其模型推理功能可以理解成是执行模型推理任务。以训练数据和测试数据是图像，模型是自动驾驶模型为例，采用训练数据中的图像训练自动驾驶模型的目的可以是使其能够根据图像对进行自动驾驶控制。将训练数据中的图像输入到自动驾驶模型，该模型可以输出自动驾驶控制的结果，这个过程可以理解成是对训练数据中的图像执行模型推理任务。类似的，将测试数据中的图像输入到自动驾驶模型得到自动驾驶控制的结果，这个过程可以理解成是对测试数据中的图像执行模型推理任务。又例如，仍以模型是自动驾驶模型为例，训练数据和测试数据可以是雷达点云，其中，雷达点云包括但不限于激光雷达点云和毫米波雷达点云等。以激光雷达点云为例，可以采用训练数据中的激光雷达点云训练自动驾驶模型的目的可以是使其能够根据激光雷达点云对进行自动驾驶控制。将训练数据中的激光雷达点云输入到自动驾驶模型，该模型可以输出自动驾驶控制的结果，这个过程可以理解成是对训练数据中的激光雷达点云执行模型推理任务。此外，在一些例子中，训练数据和测试数据可以同时包含图像和雷达点云，执行模型推理任务与上述过程类似，在此不再赘述。

在采用模型对训练数据或测试数据执行模型推理任务时，会先通过模型提取训练数据或测试数据的数据特征，再根据数据特征获取推理的结果。例如，以车道线检测模型为例，可以先通过车道线检测模型提取测试数据中图像的图像特征，再根据图像特征获取车道线的矢量信息。

步骤S103：根据测试数据与数据特征进行模型训练评估。

数据特征的准确性与模型推理结果的准确性息息相关，数据特征越准确则模型推理结果越准确，进而可以确定模型性能也就越好。测试数据包含了其所表征对象的原始信息，数据特征包含了这个对象的特征信息，因此通过对测试数据与数据特征进行比对，可以判断出数据特征是否准确包含了这个对象的特征信息，如果准确包含了特征信息，则表明数据特征也是比较准确的，表明此时训练产生的临时模型具备较好的模型性能。

以训练数据和测试数据是车道线图像，模型是车道线检测模型为例，对上述模型训练评估的方法进行简单说明。具体地，测试数据所表征的对象是车道线，其包含了车道线的原始信息（包括但不限于位置、长度、宽度等），通过车道线检测模型对车道线图像进行特征提取得到车道线特征，这个车道线特征包含了车道线图像中车道线的特征信息（包括但不限于位置、长度、宽度等）。以原始信息和特征信息都是车道线位置为例，通过对测试数据与数据特征进行比对，可以判断数据特征中车道线的特征信息是否与测试数据中车道线的原始信息一致或比较接近；若一致或比较接近，则表明数据特征比较准确，此时临时模型的模型性能也比较好。

基于上述步骤S101至步骤S103所述的方法，可以在模型训练过程中进行模型训练评估，不再需要等到模型训练结束才能进行模型训练评估，这样在发现模型训练存在问题之后可以及时地解决，有效提高了模型训练的效率并减少了对训练资源的浪费。

下面对上述步骤S101和S103作进一步说明。

一、对步骤S101进行说明。

在上述步骤S101的一些实施方式中，可以定时获取在模型训练过程中训练产生的临时模型，以便能够根据定时获取的临时模型，在模型训练过程中定时地进行模型训练评估。本领域技术人员可以根据实际需求灵活地设定定时获取并存储临时模型的频率，本发明实施例对此不作具体限定。进一步，在一些实施方式中，还可以根据每次定时地进行模型训练评估的评估结果，获取评估结果的变化趋势，进而根据变化趋势再次进行模型训练评估。如果评估结果的变化趋势呈现为越来越好，则表明模型性能正在越来越好，不需要优化模型训练，继续进行监测与评估即可；如果变化趋势呈现为越来越差或波动比较大，则表明模型性能越来越差或不稳定，因此需要优化模型训练。例如，在模型训练初期，模型提取数据特征的能力还比较弱，在步骤S103中根据测试数据及其数据特征进行模型训练评估时可能会得到较差的评估结果，但是只要在此之后评估结果的变化趋势呈现越来越好的状态，就不需要优化模型训练。

二、对步骤S103进行说明。

在上述步骤S103的一些实施方式中，可以通过图2所示的下列步骤S1031至步骤S1032，进行模型训练评估。

步骤S1031：对测试数据与数据特征进行可视化处理。

根据前述步骤S103的描述可知，测试数据包含了其所表征对象的原始信息，数据特征包含了这个对象的特征信息，通过对测试数据与数据特征进行可视化处理，可以将这个对象的原始信息和特征信息直观地显示出来，增强二者的比对效果，使得用户能够快速且准确地判断出二者是否存在较大的偏差，进而确定模型训练的评估结果。

在一些实施方式中，可以采用图形化工具对测试数据进行显示并在显示的结果上叠加显示数据特征。通过叠加显示的方式，可以更加直观地呈现出测试数据中对象的原始信息与数据特征中对象的特征信息之间的差异，有利于准确地进行模型训练评估。

步骤S1032：根据可视化处理的结果进行模型训练评估。

例如，对象是车道线，测试数据中对象的原始信息是车道线位置，数据特征中对象的特征信息也是车道线位置。通过对测试数据与数据特征进行可视化处理，可以得到测试数据与数据特征中车道线位置的显示结果，利用这个显示结果可以判断测试数据与数据特征中车道线位置是否一致或接近；若是，则表明数据特征比较准确，本次训练产生的临时模型的性能比较好；若否，则表明数据特征不太准确，本次训练产生的临时模型的性能不太好。

基于上述步骤S1031至步骤S1032所述的方法，可以通过可视化的方式，便捷且准确地完成模型训练评估。

下面对上述步骤S1031作进一步说明。

在上述步骤S1031的一些实施方式中，可以通过下列步骤11至步骤13，对测试数据与数据特征进行可视化处理。

步骤11：分别获取针对各测试数据产生的数据特征。

在本发明实施例中可以设置包含多个测试数据的测试数据集，采用临时模型对这个测试数据集中的测试数据分别执行模型推理任务，此时针对这个测试数据集中的各测试数据都会产生相应的数据特征。

步骤12：将各测试数据分别与各自对应的数据特征进行融合，以形成各测试数据的融合数据。

基于此步骤，可以在对多个测试数据执行模型推理任务的情况下，将各测试数据与各自对应的数据特征组合在一起，不会发生混乱。

步骤13：分别对各融合数据进行可视化处理。

具体地，针对各融合数据，分别单独地进行可视化处理，避免将测试数据与其他测试数据的数据特征进行可视化处理。

基于上述步骤11至步骤13所述的方法，可以在对多个测试数据执行模型推理任务的情况下，准确地利用各测试数据评估模型训练。

在上述步骤S103的一些实施方式中，可以通过图3所示的下列步骤S1033至步骤S1034，进行模型训练评估。

步骤S1033：获取测试数据所表征对象的第一对象信息，与数据特征所表征对象的第二对象信息之间的信息偏差。

第一对象信息与前述方法实施例中测试数据中对象的原始信息含义相同，第二对象信息与前述方法实施例中数据特征中这个对象的特征信息含义相同。通过此步骤，可以自动地对第一、第二对象信息进行比对，获取二者之间的偏差。

步骤S1034：根据信息偏差进行模型训练评估。

具体地，可以获取信息偏差的变化趋势，若信息偏差的变化趋势为越来越小，则表明数据特征的提取越来越准确，也即模型的性能越来越好，反之则表明模型的性能不好，需要优化模型训练。

基于上述步骤S1033至步骤S1034所述的方法，无需进行可视化处理，即可根据测试数据与数据特征，自动地进行模型训练评估。

下面对本发明提供的模型训练方法的实施例进行说明。

参阅附图4，图4是根据本发明的一个实施例的模型训练方法的主要步骤流程示意图。如图4所示，本发明实施例中的模型训练方法主要包括下列步骤S201至步骤S202。

步骤S201：在模型训练的过程中，模型训练的评估方法进行模型训练评估。此步骤中的模型训练的评估方法可以采用前述方法实施例所述的模型训练的评估方法。

步骤S202：根据评估的结果优化模型训练。

具体地，若评估的结果表明模型的性能不好，即训练效果不好，则需要优化模型训练，反之则不需要优化模型训练。

需要说明的是，本领域技术人员可以根据实际需求灵活地采用模型训练的优化方法，对模型训练进行优化，本发明实施例不对模型训练的优化方法作具体限定，只要在根据评估的结果判断出需要优化模型训练之后能够按照采用的方法优化模型训练，提高模型性能即可。

基于上述步骤S201至步骤S202所述的方法，可以在模型训练的过程中评估模型训练的效果，并据此优化模型训练，以提高模型训练的效果，使得训练好的模型具备较高的性能。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本发明中描述的技术方案属于等同技术方案，因此也将落入本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机设备。

参阅附图5，图5是根据本发明的一个计算机设备实施例的主要结构示意图。如图5所示，本发明实施例中的计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的模型训练评估或模型训练方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的模型训练评估或模型训练方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的模型训练评估或模型训练方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的模型训练评估或模型训练方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的模型训练评估或模型训练方法，即每个处理器分别执行上述方法实施例的模型训练评估或模型训练方法的不同步骤，来共同实现上述方法实施例的模型训练评估或模型训练方法。

上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述计算机设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。

进一步，本发明还提供了一种计算机可读存储介质。

在根据本发明的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的模型训练评估或模型训练方法的程序，该程序可以由处理器加载并运行以实现上述模型训练评估或模型训练方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (5)

1.一种模型训练的评估方法，其特征在于，所述方法包括：

获取在模型训练过程中训练产生的临时模型；

采用所述临时模型对测试数据执行模型推理任务，并获取在执行模型推理任务的过程中针对所述测试数据产生的数据特征，所述测试数据包含其所表征对象的原始信息，所述数据特征包含所述对象的特征信息；

根据所述测试数据与所述数据特征进行模型训练评估；

其中，

所述根据所述测试数据与所述数据特征进行模型训练评估包括：

对所述测试数据与所述数据特征进行可视化处理，根据可视化处理的结果进行模型训练评估，所述可视化处理包括采用图形化工具对所述测试数据进行显示，并在显示的结果上叠加显示所述数据特征；

获取所述测试数据所表征对象的第一对象信息，与所述数据特征所表征对象的第二对象信息之间的信息偏差；

若所述信息偏差的变化趋势为大，则对模型训练的方法进行优化并继续模型训练评估；若所述信息偏差的变化趋势为小，则不对模型训练的方法进行优化并继续模型训练评估；

所述对所述测试数据与所述数据特征进行可视化处理，包括：分别获取针对各测试数据产生的数据特征；将各测试数据分别与各自对应的数据特征进行融合，以形成各测试数据的融合数据；分别对各融合数据进行可视化处理；

进行训练之前的模型为初始模型，完成训练的模型为最终模型，在开始进行训练且在完成训练之前这个过程中的模型为临时模型，在这个过程中在对模型每进行一次迭代训练之后，将完成这次迭代训练的模型作为一个临时模型，即每进行一次迭代训练就产生一个临时模型；

采用检查点算法，在模型训练的过程中获取并存储训练产生的临时模型，将临时模型中所有模型参数保存到一个文件中，当需要使用临时模型时，从这个文件中获取模型参数，再恢复成临时模型；

训练数据和测试数据是车道线图像，模型是车道线检测模型，测试数据所表征的对象是车道线，其包含了车道线的原始信息，所述原始信息为长度或宽度，通过车道线检测模型对车道线图像进行特征提取得到车道线特征，所述车道线特征包含了车道线图像中车道线的特征信息，所述特征信息为长度或宽度；

在采用模型对训练数据或测试数据执行模型推理任务时，先通过车道线检测模型提取训练数据或测试数据中图像的图像特征，再根据图像特征获取车道线的矢量信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据每次定时地进行模型训练评估的信息偏差，获取所述信息偏差的变化趋势；

根据所述变化趋势，继续进行模型训练评估。

3.一种车道线检测模型训练的方法，其特征在于，所述方法包括：

在车道线检测模型训练的过程中，采用权利要求1至2中任一项所述的模型训练的评估方法进行模型训练评估；

根据评估的结果，优化模型训练。

4.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至2中任一项所述的模型训练的评估方法或者执行权利要求3所述的车道线检测模型训练的方法。

5.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至2中任一项所述的模型训练的评估方法或者执行权利要求3所述的车道线检测模型训练的方法。