CN115374944B - 模型推理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开关于一种模型推理方法、装置、电子设备和存储介质，属于数据处理、自动驾驶云端、决策系统技术领域。方法包括：获取输入数据和n个第一模型；获取输入数据的特征，并基于输入数据，对n个第一模型分别进行模型推理，得到n个第一模型的推理结果，获取输入数据的特征的过程与对第一模型进行模型推理的过程并行；基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果。由此，可实现获取输入数据的特征的过程与模型推理的过程并行，有助于提升输入数据的推理结果的获取效率，适用于自动驾驶云端、决策系统中的模型的模型推理过程，有助于缩短自动驾驶场景下的模型推理耗时，改善了自动驾驶性能。

Description

模型推理方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机应用技术领域，尤其涉及一种模型推理方法、装置、电子设备和存储介质。

背景技术

目前，随着人工智能技术的不断发展，模型在智能推荐、分类、自动驾驶云端、决策系统等领域中得到了广泛应用，具有自动化程度高、人工成本低等优点。比如，可将数据输入自动驾驶云端、决策系统中的模型中，对模型进行模型推理以获取推理结果，推理结果可包括规划路线、障碍物位置、碰撞风险等。然而，相关技术中的推理结果的获取存在耗时长、效率低的问题，比如自动驾驶云端、决策系统中的模型的模型推理耗时长，影响自动驾驶性能。

发明内容

本公开提供一种模型推理方法、装置、电子设备、计算机可读存储介质，以至少解决相关技术中的推理结果的获取存在耗时长、效率低，比如自动驾驶云端、决策系统中的模型的模型推理耗时长，影响自动驾驶性能的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种模型推理方法，包括：获取输入数据和n个第一模型，其中，n为正整数；获取所述输入数据的特征，并基于所述输入数据，对n个所述第一模型分别进行模型推理，得到n个所述第一模型的推理结果，其中，获取所述输入数据的特征的过程与对所述第一模型进行模型推理的过程并行；基于所述输入数据的特征和n个所述第一模型的推理结果，获取所述输入数据的推理结果。

在本公开的一个实施例中，所述获取所述输入数据的特征，并基于所述输入数据，对n个所述第一模型分别进行模型推理，得到n个所述第一模型的推理结果，包括：获取特征提取模型；对所述特征提取模型和第i个第一模型进行组合，得到第i个第二模型，并基于所述第i个第二模型更新所述第i个第一模型，其中，1≤i≤n，i为正整数；将所述输入数据输入所述第i个第一模型，由所述第i个第一模型对所述输入数据进行特征提取，并输出所述输入数据的第i个特征，并基于所述输入数据对第i个第一模型进行模型推理，由所述第i个第一模型输出第i个第一模型的推理结果，其中，所述第i个第一模型对所述输入数据进行特征提取的过程与对第i个第一模型进行模型推理的过程并行。

在本公开的一个实施例中，所述输入数据的特征包括n个特征，所述输入数据的第i个特征用于指示第i个第一模型匹配的第一场景，其中，1≤i≤n，i为正整数。

在本公开的一个实施例中，所述基于所述输入数据的特征和n个所述第一模型的推理结果，获取所述输入数据的推理结果，包括：获取当前场景；基于所述当前场景和n个所述第一场景，从n个所述第一模型中确定目标模型；将所述目标模型的推理结果确定为所述输入数据的推理结果。

在本公开的一个实施例中，所述基于所述当前场景和n个所述第一场景，从n个所述第一模型中确定目标模型，包括：从n个所述第一场景中，确定包含所述当前场景的第二场景；将所述第二场景对应的第一模型确定为所述目标模型。

在本公开的一个实施例中，所述基于所述输入数据的特征和n个所述第一模型的推理结果，获取所述输入数据的推理结果，包括：获取当前场景；基于所述当前场景和n个所述第一场景，确定n个所述第一模型对应的权重；基于所述第i个第一模型对应的权重和所述第i个第一模型的推理结果，获取所述输入数据的推理结果。

在本公开的一个实施例中，所述基于所述当前场景和n个所述第一场景，确定n个所述第一模型对应的权重，包括：从n个所述第一场景中，确定包含所述当前场景的第二场景，以及不包含所述当前场景的第三场景；确定所述第二场景对应的第一模型对应的权重为第一权重，并确定所述第三场景对应的第一模型对应的权重为第二权重，其中，所述第一权重大于所述第二权重。

在本公开的一个实施例中，所述基于所述第i个第一模型对应的权重和所述第i个第一模型的推理结果，获取所述输入数据的推理结果，包括：获取所述第i个第一模型对应的权重和所述第i个第一模型的推理结果之间的乘积；获取n个所述第一模型对应的乘积的和值，并将所述和值确定为所述输入数据的推理结果。

在本公开的一个实施例中，对每个所述第一模型进行模型推理的过程并行。

根据本公开实施例的第二方面，提供一种模型推理装置，包括：第一获取模块，被配置为执行获取输入数据和n个第一模型，其中，n为正整数；推理模块，被配置为执行获取所述输入数据的特征，并基于所述输入数据，对n个所述第一模型分别进行模型推理，得到n个所述第一模型的推理结果，其中，获取所述输入数据的特征的过程与对所述第一模型进行模型推理的过程并行；第二获取模块，被配置为执行基于所述输入数据的特征和n个所述第一模型的推理结果，获取所述输入数据的推理结果。

在本公开的一个实施例中，所述推理模块，还被配置为执行：获取特征提取模型；对所述特征提取模型和第i个第一模型进行组合，得到第i个第二模型，并基于所述第i个第二模型更新所述第i个第一模型，其中，1≤i≤n，i为正整数；将所述输入数据输入所述第i个第一模型，由所述第i个第一模型对所述输入数据进行特征提取，并输出所述输入数据的第i个特征，并基于所述输入数据对第i个第一模型进行模型推理，由所述第i个第一模型输出第i个第一模型的推理结果，其中，所述第i个第一模型对所述输入数据进行特征提取的过程与对第i个第一模型进行模型推理的过程并行。

在本公开的一个实施例中，所述输入数据的特征包括n个特征，所述输入数据的第i个特征用于指示第i个第一模型匹配的第一场景，其中，1≤i≤n，i为正整数。

在本公开的一个实施例中，所述第二获取模块，还被配置为执行：获取当前场景；基于所述当前场景和n个所述第一场景，从n个所述第一模型中确定目标模型；将所述目标模型的推理结果确定为所述输入数据的推理结果。

在本公开的一个实施例中，所述第二获取模块，还被配置为执行：从n个所述第一场景中，确定包含所述当前场景的第二场景；将所述第二场景对应的第一模型确定为所述目标模型。

在本公开的一个实施例中，所述第二获取模块，还被配置为执行：获取当前场景；基于所述当前场景和n个所述第一场景，确定n个所述第一模型对应的权重；基于所述第i个第一模型对应的权重和所述第i个第一模型的推理结果，获取所述输入数据的推理结果。

在本公开的一个实施例中，所述第二获取模块，还被配置为执行：从n个所述第一场景中，确定包含所述当前场景的第二场景，以及不包含所述当前场景的第三场景；确定所述第二场景对应的第一模型对应的权重为第一权重，并确定所述第三场景对应的第一模型对应的权重为第二权重，其中，所述第一权重大于所述第二权重。

在本公开的一个实施例中，所述第二获取模块，还被配置为执行：获取所述第i个第一模型对应的权重和所述第i个第一模型的推理结果之间的乘积；获取n个所述第一模型对应的乘积的和值，并将所述和值确定为所述输入数据的推理结果。

在本公开的一个实施例中，对每个所述第一模型进行模型推理的过程并行。

根据本公开实施例的第三方面，提供一种电子设备，包括处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为实现本公开实施例第一方面所述方法的步骤。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开实施例第一方面所述方法的步骤。

本公开的实施例提供的技术方案至少带来以下有益效果：获取输入数据和n个第一模型，获取输入数据的特征，并基于输入数据，对n个第一模型分别进行模型推理，得到n个第一模型的推理结果，其中，获取输入数据的特征的过程与对第一模型进行模型推理的过程并行，基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果。由此，可实现获取输入数据的特征的过程与模型推理的过程并行，有助于减少输入数据的推理结果的获取耗时，提升输入数据的推理结果的获取效率，适用于自动驾驶云端、决策系统中的模型的模型推理过程，有助于缩短自动驾驶场景下的模型推理耗时，改善了自动驾驶性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种模型推理方法的流程图。

图2是根据另一示例性实施例示出的一种模型推理方法的流程图。

图3是根据一示例性实施例示出的一种模型推理方法的示意图。

图4是根据一示例性实施例示出的一种模型推理方法中获取输入数据的推理结果的流程图。

图5是根据另一示例性实施例示出的一种模型推理方法中获取输入数据的推理结果的流程图。

图6是根据一示例性实施例示出的一种模型推理装置的框图。

图7是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

图1是根据一示例性实施例示出的一种模型推理方法的流程图，如图1所示，本公开实施例的模型推理方法，包括以下步骤。

S101，获取输入数据和n个第一模型，其中，n为正整数。

需要说明的是，本公开实施例的模型推理方法的执行主体为电子设备，电子设备包括手机、笔记本、台式电脑、车载终端、智能家电等。本公开实施例的模型推理方法可以由本公开实施例的模型推理装置执行，本公开实施例的模型推理装置可以配置在任意电子设备中，以执行本公开实施例的模型推理方法。

需要说明的是，对输入数据不做过多限定，比如，输入数据包括但不限于用户的生理体征数据、用户对电子设备的行为数据、用户在APP（Application，应用程序）端、网页端的行为数据、路网数据、图像数据、车辆的行驶数据等。比如，行为数据包括但不限于用户登录次数、登录时长、登录时间、安装或者卸载对象的行为数据、资源变化数据等。其中，对象包括但不限于APP、皮肤、字体等，资源可为交易金额，或者可为用于交易的积分，资源变化数据包括但不限于累计交易金额、累计交易次数、累计消耗积分、累计积分使用次数，图像数据包括车辆周围环境的图像数据（比如前方道路的图像数据），车辆的行驶数据包括但不限于车辆的位置、目的地位置、航向偏角、前轮转向角、剩余电量等。

需要说明的是，n个第一模型均为训练好的模型，对第一模型、n均不做过多限定，比如，n可为5、10。

比如，可将输入数据输入第一模型中，由第一模型输出用户的标签。此时第一模型用于生成用户的标签。应说明的是，对标签不做过多限定，比如，标签包括但不限于兴趣、偏好、活跃度、等级、类别、评分等。

比如，可将输入数据输入第一模型中，由第一模型输出用户的推送对象。此时第一模型用于生成用户的推送对象。应说明的是，对推送对象不做过多限定，比如，推送对象包括但不限于商品、视频、音乐、文章等。

比如，可将输入数据输入自动驾驶云端、决策系统中的第一模型中，由第一模型输出规划路线、障碍物位置、碰撞风险等。此时第一模型用于生成规划路线、障碍物位置、碰撞风险等。其中，输入数据包括但不限于路网数据、图像数据、车辆的行驶数据等。

S102，获取输入数据的特征，并基于输入数据，对n个第一模型分别进行模型推理，得到n个第一模型的推理结果，其中，获取输入数据的特征的过程与对第一模型进行模型推理的过程并行。

需要说明的是，对输入数据的特征不做过多限定。比如，输入数据的特征为向量形式。

在一种实施方式中，输入数据的特征用于指示n个第一模型中，与输入数据匹配的目标模型。可以理解的是，不同的第一模型适用于不同的输入数据。比如，第一模型包括第一模型A1、A2、A3，输入数据包括输入数据1、2、3，输入数据1的特征用于指示第一模型A1、A2、A3中，与输入数据1匹配的目标模型A1，输入数据2的特征用于指示第一模型A1、A2、A3中，与输入数据2匹配的目标模型A2，输入数据3的特征用于指示第一模型A1、A2、A3中，与输入数据3匹配的目标模型A3。

在一种实施方式中，获取输入数据的特征，包括将输入数据输入特征提取模型，由特征提取模型输出输入数据的特征。应说明的是，对特征提取模型不做过多限定。

需要说明的是，每个第一模型均对应一个推理结果，即n个第一模型的推理结果包括n个推理结果。不同的第一模型可对应不同的推理结果。对第一模型进行模型推理的方式不做过多限定，比如，可运行推理引擎，并基于推理引擎，将输入数据分别输入n个第一模型中，由n个第一模型分别输出推理结果。

本公开的实施例中，获取输入数据的特征的过程与对第一模型进行模型推理的过程并行，即在获取输入数据的特征的同时，对第一模型进行模型推理。

在一种实施方式中，对每个第一模型进行模型推理的过程并行，即同时对每个第一模型进行模型推理。比如，第一模型包括第一模型A1、A2、A3，对第一模型A1、A2、A3进行模型推理的过程并行。由此，可实现每个第一模型的并行模型推理，有助于减少模型推理耗时，提升模型推理效率。

S103，基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果。

在一种实施方式中，输入数据的特征用于指示n个第一模型中，与输入数据匹配的目标模型。基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果，包括基于输入数据的特征，确定n个第一模型中，与输入数据匹配的目标模型，将目标模型的推理结果确定为输入数据的推理结果。

本公开的实施例提供的模型推理方法，获取输入数据和n个第一模型，获取输入数据的特征，并基于输入数据，对n个第一模型分别进行模型推理，得到n个第一模型的推理结果，其中，获取输入数据的特征的过程与对第一模型进行模型推理的过程并行，基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果。由此，可实现获取输入数据的特征的过程与模型推理的过程并行，有助于减少输入数据的推理结果的获取耗时，提升输入数据的推理结果的获取效率，适用于自动驾驶云端、决策系统中的模型的模型推理过程，有助于缩短自动驾驶场景下的模型推理耗时，改善了自动驾驶性能。

图2是根据另一示例性实施例示出的一种模型推理方法的流程图，如图2所示，本公开实施例的模型推理方法，包括以下步骤。

S201，获取输入数据和n个第一模型，其中，n为正整数。

S202，获取特征提取模型。

步骤S201-S202的相关内容可参见上述实施例，这里不再赘述。

S203，对特征提取模型和第i个第一模型进行组合，得到第i个第二模型，并基于第i个第二模型更新第i个第一模型，其中，1≤i≤n，i为正整数。

需要说明的是，基于第i个第二模型更新第i个第一模型，指的是将第i个第二模型确定为更新后的第i个第一模型。

需要说明的是，对特征提取模型和第i个第一模型进行组合的方式不做过多限定，比如，特征提取模型、第i个第一模型之间为并行关系。

比如，如图3所示，第一模型包括第一模型A1、A2、A3，可对特征提取模型B和第一模型A1进行组合，得到第二模型C1，并基于第二模型C1更新第一模型A1，可对特征提取模型B和第一模型A2进行组合，得到第二模型C2，并基于第二模型C2更新第一模型A2，可对特征提取模型B和第一模型A3进行组合，得到第二模型C3，并基于第二模型C3更新第一模型A3。

S204，将输入数据输入第i个第一模型，由第i个第一模型对输入数据进行特征提取，并输出输入数据的第i个特征，并基于输入数据对第i个第一模型进行模型推理，由第i个第一模型输出第i个第一模型的推理结果，其中，第i个第一模型对输入数据进行特征提取的过程与对第i个第一模型进行模型推理的过程并行。

本公开的实施例中，第i个第一模型输出输入数据的第i个特征，并输出第i个第一模型的推理结果，即第i个第一模型的输出为二元组（输入数据的第i个特征，第i个第一模型的推理结果）。此时输入数据的特征包括输入数据的n个特征，或者，基于输入数据的n个特征得到输入数据的特征，比如，将输入数据的n个特征的平均值确定为输入数据的特征。

本公开的实施例中，第i个第一模型对输入数据进行特征提取的过程与对第i个第一模型进行模型推理的过程并行，即第i个第一模型对输入数据进行特征提取的同时，对第i个第一模型进行模型推理。

继续以图3为例，将输入数据分别输入第一模型A1、A2、A3，第一模型A1输出输入数据的第1个特征，并输出第一模型A1的推理结果，第一模型A2输出输入数据的第2个特征，并输出第一模型A2的推理结果，第一模型A3输出输入数据的第3个特征，并输出第一模型A3的推理结果。

第一模型A1对输入数据进行特征提取的过程与对第一模型A1进行模型推理的过程并行，第一模型A2对输入数据进行特征提取的过程与对第一模型A2进行模型推理的过程并行，第一模型A3对输入数据进行特征提取的过程与对第一模型A3进行模型推理的过程并行。

比如，第一模型A1、A2、A3对输入数据进行特征提取的过程，与对第一模型A1、A2、A3进行模型推理的过程并行。

S205，基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果。

步骤S205的相关内容可参见上述实施例，这里不再赘述。

本公开的实施例提供的模型推理方法，对特征提取模型和第i个第一模型进行组合，得到第i个第二模型，并基于第i个第二模型更新第i个第一模型，将输入数据输入第i个第一模型，由第i个第一模型对输入数据进行特征提取，并输出输入数据的第i个特征，并基于输入数据对第i个第一模型进行模型推理，由第i个第一模型输出第i个第一模型的推理结果，其中，第i个第一模型对输入数据进行特征提取的过程与对第i个第一模型进行模型推理的过程并行。由此，可基于第二模型更新第一模型，实现了第一模型的特征提取的过程与对第一模型进行模型推理的过程并行，有助于减少输入数据的推理结果的获取耗时，提升输入数据的推理结果的获取效率，适用于自动驾驶云端、决策系统中的模型的模型推理过程，有助于缩短自动驾驶场景下的模型推理耗时，改善了自动驾驶性能。

在上述任一实施例的基础上，输入数据的特征包括n个特征，输入数据的第i个特征用于指示第i个第一模型匹配的第一场景，其中，1≤i≤n，i为正整数。可以理解的是，输入数据的第i个特征与第i个第一模型对应，第一模型与第一场景一一对应。

比如，输入数据的第i个特征的获取，包括将输入数据输入第i个第一模型，由第i个第一模型对输入数据进行特征提取，并输出输入数据的第i个特征。

可以理解的是，不同的第一模型可匹配不同的第一场景。对第一场景不做过多限定，比如，第一场景可依据季节、时间段、位置、日期、天气等因素来划分。比如，依据季节可划分为春季、夏季、秋季、冬季四个场景，依据时间段可划分为上班时间段、下班时间段、白天、夜晚等场景，依据位置可划分为城市、农村等场景，依据日期可划分为工作日、节假日、休息日等，依据天气可划分为舒适、炎热、寒冷等场景。

可以理解的是，第一模型匹配的第一场景可包含多个场景。比如，第一模型匹配的第一场景包括春季、白天、工作日等。

如图4所示，步骤S103中基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果，包括：

S401，获取当前场景。

需要说明的是，当前场景指的是当前时刻时的场景，当前场景的数量为至少一个。比如，当前场景包括春季、夜晚、工作日等。

在一种实施方式中，以执行主体为手机为例，获取当前场景，包括手机从服务器中获取影响场景的因素，基于影响场景的因素来确定当前场景。应说明的是，对影响场景的因素不做过多限定，比如，影响场景的因素包括但不限于季节、时间段、位置、日期、天气等。比如，手机可向服务器发送请求信息，服务器可响应于请求信息，向手机发送影响场景的因素。

S402，基于当前场景和n个第一场景，从n个第一模型中确定目标模型。

S403，将目标模型的推理结果确定为输入数据的推理结果。

在一种实施方式中，基于当前场景和n个第一场景，从n个第一模型中确定目标模型，包括从n个第一场景中，确定包含当前场景的第二场景，将第二场景对应的第一模型确定为目标模型。由此，该方法中可将第二场景对应的第一模型确定为目标模型，即目标模型匹配的第一场景包含当前场景，有助于提升输入数据的推理结果的精度。

需要说明的是，第二场景指的是包含当前场景的第一场景，第二场景为部分或者全部的第一场景，第二场景可包含多个场景。

在一种实施方式中，第二场景的数量为多个，可从第二场景对应的第一模型中随机选取一个第一模型，作为目标模型。

在一种实施方式中，第二场景的数量为多个，基于当前场景和n个第一场景，从n个第一模型中确定目标模型，包括从n个第一场景中，确定包含当前场景的数量最多的第四场景，将第四场景对应的第一模型确定为目标模型。由此，该方法中可将第四场景对应的第一模型确定为目标模型，即目标模型匹配的第一场景包含当前场景的数量最多，有助于提升输入数据的推理结果的精度。

需要说明的是，第四场景指的是包含当前场景数量最多的第一场景，第四场景为部分或者全部的第一场景，第四场景可包含多个场景。

比如，第一模型A1匹配的第一场景包括春季、白天、工作日，第一模型A2匹配的第一场景包括春季、城市、工作日，第一模型A3匹配的第一场景包括夏季、城市。

若当前场景包括春季，则可确定第二场景包括第一模型A1匹配的第一场景、第一模型A2匹配的第一场景，则可将第一模型A1或者A2确定为目标模型，并将第一模型A1或者A2的推理结果确定为输入数据的推理结果。

若当前场景包括城市，则可确定第二场景包括第一模型A2匹配的第一场景、第一模型A3匹配的第一场景，则可将第一模型A2或者A3确定为目标模型，并将第一模型A2或者A3的推理结果确定为输入数据的推理结果。

若当前场景包括春季、白天，则可确定第四场景为第一模型A1匹配的第一场景，则可将第一模型A1确定为目标模型，并将第一模型A1的推理结果确定为输入数据的推理结果。

若当前场景包括春季、城市，则可确定第四场景为第一模型A2匹配的第一场景，则可将第一模型A2确定为目标模型，并将第一模型A2的推理结果确定为输入数据的推理结果。

若当前场景包括夏季、城市，则可确定第四场景为第一模型A3匹配的第一场景，则可将第一模型A3确定为目标模型，并将第一模型A3的推理结果确定为输入数据的推理结果。

由此，该方法中可综合考虑到当前场景和n个第一模型匹配的第一场景，以从n个第一模型中确定目标模型，使得目标模型的筛选更加准确，将目标模型的推理结果确定为输入数据的推理结果，进而提升输入数据的推理结果的准确性。

如图5所示，步骤S103中基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果，包括：

S501，获取当前场景。

S502，基于当前场景和n个第一场景，确定n个第一模型对应的权重。

可以理解的是，不同的第一模型，可对应不同的权重。权重的取值范围为[0,1]。比如，n个第一模型对应的权重的和值为1，或者，n个第一模型对应的权重的和值大于1。

在一种实施方式中，基于当前场景和n个第一场景，确定n个第一模型对应的权重，包括从n个第一场景中，确定包含当前场景的第二场景，以及不包含当前场景的第三场景，确定第二场景对应的第一模型对应的权重为第一权重，并确定第三场景对应的第一模型对应的权重为第二权重，其中，第一权重大于第二权重。由此，该方法中可基于第一模型匹配的第一场景是否包含当前场景，确定第一模型对应的权重。

需要说明的是，第二场景指的是包含当前场景的第一场景，第三场景指的是不包含当前场景的第一场景，第二场景的数量与第三场景的数量的和值为n（即第一场景的数量），第三场景为部分或者全部的第一场景，第三场景可包含多个场景。第二场景的相关内容，可参见上述实施例，这里不再赘述。

需要说明的是，对第一权重、第二权重均不做过多限定，比如，第一权重为1，第二权重为0。

比如，第一模型A1匹配的第一场景包括春季、白天、工作日，第一模型A2匹配的第一场景包括春季、城市、工作日，第一模型A3匹配的第一场景包括夏季、城市。

若当前场景包括春季，则可确定第二场景包括第一模型A1匹配的第一场景、第一模型A2匹配的第一场景，第三场景包括第一模型A3匹配的第一场景，则可确定第一模型A1、A2对应的权重为1，确定第一模型A3对应的权重为0。

若当前场景包括城市，则可确定第二场景包括第一模型A2匹配的第一场景、第一模型A3匹配的第一场景，第三场景包括第一模型A1匹配的第一场景，则可确定第一模型A1对应的权重为0，确定第一模型A2、A3对应的权重为1。

在一种实施方式中，基于当前场景和n个第一场景，确定n个第一模型对应的权重，包括基于第一场景包含的当前场景的数量，确定第一场景对应的第一模型对应的权重，其中，第一场景包含的当前场景的数量与第一场景对应的第一模型对应的权重正相关。由此，该方法中可基于第一模型匹配的第一场景包含的当前场景的数量，确定第一模型对应的权重。

比如，第一模型A1匹配的第一场景包括春季、白天、工作日，第一模型A2匹配的第一场景包括春季、城市、工作日，第一模型A3匹配的第一场景包括夏季、城市。

若当前场景包括春季、白天，则第一模型A1、A2、A3匹配的第一场景包含的当前场景（春季、白天）的数量分别为2、1、0，则可确定第一模型A1、A2、A3对应的权重分别为0.6、0.4、0。

若当前场景包括春季、城市，则第一模型A1、A2、A3匹配的第一场景包含的当前场景（春季、城市）的数量分别为1、2、1，则可确定第一模型A1、A2、A3对应的权重分别为0.25、0.5、0.25。

若当前场景包括夏季、城市，则第一模型A1、A2、A3匹配的第一场景包含的当前场景（夏季、城市）的数量分别为0、1、2，则可确定第一模型A1、A2、A3对应的权重分别为0、0.4、0.6。

S503，基于第i个第一模型对应的权重和第i个第一模型的推理结果，获取输入数据的推理结果。

在一种实施方式中，n个第一模型对应的权重的和值为1，基于第i个第一模型对应的权重和第i个第一模型的推理结果，获取输入数据的推理结果，包括获取第i个第一模型对应的权重和第i个第一模型的推理结果之间的乘积，获取n个第一模型对应的乘积的和值，并将和值确定为输入数据的推理结果。

在一种实施方式中，n个第一模型对应的权重的和值大于1，基于第i个第一模型对应的权重和第i个第一模型的推理结果，获取输入数据的推理结果，包括获取第i个第一模型对应的权重和第i个第一模型的推理结果之间的乘积，获取n个第一模型对应的乘积的平均值，并将平均值确定为输入数据的推理结果。

由此，该方法中可综合考虑到当前场景和n个第一模型匹配的第一场景，确定n个第一模型对应的权重，并基于n个第一模型对应的权重和n个第一模型的推理结果，获取输入数据的推理结果，可综合考虑到n个第一模型的推理结果来得到输入数据的推理结果，进而提升输入数据的推理结果的准确性。

图6是根据一示例性实施例示出的一种模型推理装置的框图。参照图6，本公开实施例的模型推理装置100，包括：第一获取模块110、推理模块120和第二获取模块130。

第一获取模块110被配置为执行获取输入数据和n个第一模型，其中，n为正整数；

推理模块120被配置为执行获取所述输入数据的特征，并基于所述输入数据，对n个所述第一模型分别进行模型推理，得到n个所述第一模型的推理结果，其中，获取所述输入数据的特征的过程与对所述第一模型进行模型推理的过程并行；

第二获取模块130被配置为执行基于所述输入数据的特征和n个所述第一模型的推理结果，获取所述输入数据的推理结果。

在本公开的一个实施例中，所述推理模块120还被配置为执行：获取特征提取模型；对所述特征提取模型和第i个第一模型进行组合，得到第i个第二模型，并基于所述第i个第二模型更新所述第i个第一模型，其中，1≤i≤n，i为正整数；将所述输入数据输入所述第i个第一模型，由所述第i个第一模型对所述输入数据进行特征提取，并输出所述输入数据的第i个特征，并基于所述输入数据对第i个第一模型进行模型推理，由所述第i个第一模型输出第i个第一模型的推理结果，其中，所述第i个第一模型对所述输入数据进行特征提取的过程与对第i个第一模型进行模型推理的过程并行。

在本公开的一个实施例中，所述输入数据的特征包括n个特征，所述输入数据的第i个特征用于指示第i个第一模型匹配的第一场景，其中，1≤i≤n，i为正整数。

在本公开的一个实施例中，所述第二获取模块130还被配置为执行：获取当前场景；基于所述当前场景和n个所述第一场景，从n个所述第一模型中确定目标模型；将所述目标模型的推理结果确定为所述输入数据的推理结果。

在本公开的一个实施例中，所述第二获取模块130还被配置为执行：从n个所述第一场景中，确定包含所述当前场景的第二场景；将所述第二场景对应的第一模型确定为所述目标模型。

在本公开的一个实施例中，所述第二获取模块130还被配置为执行：获取当前场景；基于所述当前场景和n个所述第一场景，确定n个所述第一模型对应的权重；基于所述第i个第一模型对应的权重和所述第i个第一模型的推理结果，获取所述输入数据的推理结果。

在本公开的一个实施例中，所述第二获取模块130还被配置为执行：从n个所述第一场景中，确定包含所述当前场景的第二场景，以及不包含所述当前场景的第三场景；确定所述第二场景对应的第一模型对应的权重为第一权重，并确定所述第三场景对应的第一模型对应的权重为第二权重，其中，所述第一权重大于所述第二权重。

在本公开的一个实施例中，所述第二获取模块130还被配置为执行：获取所述第i个第一模型对应的权重和所述第i个第一模型的推理结果之间的乘积；获取n个所述第一模型对应的乘积的和值，并将所述和值确定为所述输入数据的推理结果。

在本公开的一个实施例中，对每个所述第一模型进行模型推理的过程并行。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开的实施例提供的模型推理装置，获取输入数据和n个第一模型，获取输入数据的特征，并基于输入数据，对n个第一模型分别进行模型推理，得到n个第一模型的推理结果，其中，获取输入数据的特征的过程与对第一模型进行模型推理的过程并行，基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果。由此，可实现获取输入数据的特征的过程与模型推理的过程并行，有助于减少输入数据的推理结果的获取耗时，提升输入数据的推理结果的获取效率，适用于自动驾驶云端、决策系统中的模型的模型推理过程，有助于缩短自动驾驶场景下的模型推理耗时，改善了自动驾驶性能。

图7是根据一示例性实施例示出的一种电子设备的框图。

如图7所示，电子设备200包括：

存储器210及处理器220，连接不同组件（包括存储器210和处理器220）的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本公开实施例所述的模型推理方法。

总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。

电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质（图7未显示，通常称为“硬盘驱动器”）。尽管图7中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组（至少一个）程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本公开所描述的实施例中的功能和/或方法。

电子设备200也可以与一个或多个外部设备290（例如键盘、指向设备、显示器291等）通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图7所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。

需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的模型推理方法的解释说明，此处不再赘述。

本公开实施例提供的电子设备，可以执行如前所述的模型推理方法，获取输入数据和n个第一模型，获取输入数据的特征，并基于输入数据，对n个第一模型分别进行模型推理，得到n个第一模型的推理结果，其中，获取输入数据的特征的过程与对第一模型进行模型推理的过程并行，基于输入数据的特征和n个第一模型的推理结果，获取输入数据的推理结果。由此，可实现获取输入数据的特征的过程与模型推理的过程并行，有助于减少输入数据的推理结果的获取耗时，提升输入数据的推理结果的获取效率，适用于自动驾驶云端、决策系统中的模型的模型推理过程，有助于缩短自动驾驶场景下的模型推理耗时，改善了自动驾驶性能。

为了实现上述实施例，本公开还提出一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的模型推理方法的步骤。

可选的，计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种模型推理方法，运用于自动驾驶场景，其特征在于，包括：

获取输入数据和n个第一模型，其中，n为正整数；所述输入数据包括路网数据、图像数据、车辆的行驶数据的至少一种，所述第一模型用于生成规划路线、障碍物位置、碰撞风险的至少一种；

获取所述输入数据的特征，并基于所述输入数据，对n个所述第一模型分别进行模型推理，得到n个所述第一模型的推理结果，其中，获取所述输入数据的特征的过程与对所述第一模型进行模型推理的过程并行；所述输入数据的特征包括n个特征，所述输入数据的第i个特征用于指示第i个第一模型匹配的第一场景，其中，1≤i≤n，i为正整数；

基于所述输入数据的特征和n个所述第一模型的推理结果，获取所述输入数据的推理结果；

所述基于所述输入数据的特征和n个所述第一模型的推理结果，获取所述输入数据的推理结果，包括：

从服务器中获取影响场景的因素，基于影响场景的因素来确定当前场景；

基于所述当前场景和n个所述第一场景，从n个所述第一模型中确定目标模型；

将所述目标模型的推理结果确定为所述输入数据的推理结果；

其中，所述获取所述输入数据的特征，并基于所述输入数据，对n个所述第一模型分别进行模型推理，得到n个所述第一模型的推理结果，包括：

获取特征提取模型；

对所述特征提取模型和第i个第一模型进行组合，得到第i个第二模型，并基于所述第i个第二模型更新所述第i个第一模型，其中，1≤i≤n，i为正整数；

将所述输入数据输入所述第i个第一模型，由所述第i个第一模型对所述输入数据进行特征提取，并输出所述输入数据的第i个特征，并基于所述输入数据对第i个第一模型进行模型推理，由所述第i个第一模型输出第i个第一模型的推理结果，其中，所述第i个第一模型对所述输入数据进行特征提取的过程与对第i个第一模型进行模型推理的过程并行。

2.根据权利要求1所述的方法，其特征在于，所述基于所述当前场景和n个所述第一场景，从n个所述第一模型中确定目标模型，包括：

从n个所述第一场景中，确定包含所述当前场景的第二场景；

将所述第二场景对应的第一模型确定为所述目标模型。

3.根据权利要求1所述的方法，其特征在于，所述基于所述输入数据的特征和n个所述第一模型的推理结果，获取所述输入数据的推理结果，包括：

获取当前场景；

基于所述当前场景和n个所述第一场景，确定n个所述第一模型对应的权重；

基于所述第i个第一模型对应的权重和所述第i个第一模型的推理结果，获取所述输入数据的推理结果。

4.根据权利要求3所述的方法，其特征在于，所述基于所述当前场景和n个所述第一场景，确定n个所述第一模型对应的权重，包括：

从n个所述第一场景中，确定包含所述当前场景的第二场景，以及不包含所述当前场景的第三场景；

确定所述第二场景对应的第一模型对应的权重为第一权重，并确定所述第三场景对应的第一模型对应的权重为第二权重，其中，所述第一权重大于所述第二权重。

5.根据权利要求3所述的方法，其特征在于，所述基于所述第i个第一模型对应的权重和所述第i个第一模型的推理结果，获取所述输入数据的推理结果，包括：

获取所述第i个第一模型对应的权重和所述第i个第一模型的推理结果之间的乘积；

获取n个所述第一模型对应的乘积的和值，并将所述和值确定为所述输入数据的推理结果。

6.根据权利要求1所述的方法，其特征在于，对每个所述第一模型进行模型推理的过程并行。

7.一种模型推理装置，运用于自动驾驶场景，其特征在于，包括：

第一获取模块，被配置为执行获取输入数据和n个第一模型，其中，n为正整数；所述输入数据包括路网数据、图像数据、车辆的行驶数据的至少一种，所述第一模型用于生成规划路线、障碍物位置、碰撞风险的至少一种；

推理模块，被配置为执行获取所述输入数据的特征，并基于所述输入数据，对n个所述第一模型分别进行模型推理，得到n个所述第一模型的推理结果，其中，获取所述输入数据的特征的过程与对所述第一模型进行模型推理的过程并行；所述输入数据的特征包括n个特征，所述输入数据的第i个特征用于指示第i个第一模型匹配的第一场景，其中，1≤i≤n，i为正整数；

第二获取模块，被配置为执行基于所述输入数据的特征和n个所述第一模型的推理结果，获取所述输入数据的推理结果；

所述第二获取模块，还被配置为执行：

从服务器中获取影响场景的因素，基于影响场景的因素来确定当前场景；

基于所述当前场景和n个所述第一场景，从n个所述第一模型中确定目标模型；

将所述目标模型的推理结果确定为所述输入数据的推理结果；

其中，所述推理模块，还被配置为执行：

获取特征提取模型；

对所述特征提取模型和第i个第一模型进行组合，得到第i个第二模型，并基于所述第i个第二模型更新所述第i个第一模型，其中，1≤i≤n，i为正整数；

将所述输入数据输入所述第i个第一模型，由所述第i个第一模型对所述输入数据进行特征提取，并输出所述输入数据的第i个特征，并基于所述输入数据对第i个第一模型进行模型推理，由所述第i个第一模型输出第i个第一模型的推理结果，其中，所述第i个第一模型对所述输入数据进行特征提取的过程与对第i个第一模型进行模型推理的过程并行。

8.根据权利要求7所述的装置，其特征在于，所述第二获取模块，还被配置为执行：

从n个所述第一场景中，确定包含所述当前场景的第二场景；

将所述第二场景对应的第一模型确定为所述目标模型。

9.根据权利要求7所述的装置，其特征在于，所述第二获取模块，还被配置为执行：

获取当前场景；

基于所述当前场景和n个所述第一场景，确定n个所述第一模型对应的权重；

基于所述第i个第一模型对应的权重和所述第i个第一模型的推理结果，获取所述输入数据的推理结果。

10.根据权利要求9所述的装置，其特征在于，所述第二获取模块，还被配置为执行：

从n个所述第一场景中，确定包含所述当前场景的第二场景，以及不包含所述当前场景的第三场景；

确定所述第二场景对应的第一模型对应的权重为第一权重，并确定所述第三场景对应的第一模型对应的权重为第二权重，其中，所述第一权重大于所述第二权重。

11.根据权利要求9所述的装置，其特征在于，所述第二获取模块，还被配置为执行：

获取所述第i个第一模型对应的权重和所述第i个第一模型的推理结果之间的乘积；

获取n个所述第一模型对应的乘积的和值，并将所述和值确定为所述输入数据的推理结果。

12.根据权利要求7所述的装置，其特征在于，对每个所述第一模型进行模型推理的过程并行。

13.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

实现权利要求1-6中任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

Images