CN114572233A - 基于模型集合的预测方法、电子设备及自动驾驶车辆 - Google Patents

Abstract

本公开提供了一种基于模型集合的预测方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品，涉及人工智能技术领域，尤其涉及自动驾驶技术领域。具体实现方案为：在确定针对待处理数据的第一结果满足预定条件的情况下，从精确匹配模型集合中确定与待处理数据相匹配的目标精确匹配模型；将待处理数据输入至目标精确匹配模型中，得到第二结果；以及基于第一结果和第二结果，确定目标结果。

Description

基于模型集合的预测方法、电子设备及自动驾驶车辆

技术领域

本公开涉及人工智能技术领域，尤其涉及自动驾驶技术领域，具体涉及基于模型集合的预测方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品。

背景技术

自动驾驶车辆可以通过感知部件例如传感器来感知周围环境，得到周围环境数据。将周围环境数据与地图导航数据相结合，经过计算做出驾驶决策。最后通过控制和执行系统按照驾驶决策完成自动驾驶车辆的自动驾驶。

自动驾驶车辆的感知、计算、以及决策等方面的自动驾驶性能，是自动驾驶车辆得以广泛应用的重要考虑因素。

发明内容

本公开提供了一种基于模型集合的预测方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品。

根据本公开的一方面，提供了一种基于模型集合的预测方法，包括：在确定针对待处理数据的第一结果满足预定条件的情况下，从精确匹配模型集合中确定与所述待处理数据相匹配的目标精确匹配模型；将所述待处理数据输入至所述目标精确匹配模型中，得到第二结果；以及基于所述第一结果和所述第二结果，确定目标结果。

根据本公开的另一方面，提供了一种基于模型集合的预测装置，包括：模型匹配模块，用于在确定针对待处理数据的第一结果满足预定条件的情况下，从精确匹配模型集合中确定与所述待处理数据相匹配的目标精确匹配模型；精配输入模块，用于将所述待处理数据输入至所述目标精确匹配模型中，得到第二结果；以及结果确定模块，用于基于所述第一结果和所述第二结果，确定目标结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本公开的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如本公开的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本公开的方法。

根据本公开的另一方面，提供了一种自动驾驶车辆，包括如本公开的电子设备。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用基于模型集合的预测方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的基于模型集合的预测方法的流程图；

图3示意性示出了根据本公开实施例的基于模型集合的预测方法的应用场景图；

图4示意性示出了根据本公开另一实施例的基于模型集合的预测方法的流程图；

图5示意性示出了根据本公开实施例的确定目标精确匹配模型的流程示意图；

图6示意性示出了根据本公开实施例的基于模型集合的预测装置的框图；以及

图7示意性示出了根据本公开实施例的适于实现基于模型集合的预测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种基于模型集合的预测方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图1示意性示出了根据本公开实施例的可以应用基于模型集合的预测方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括传感器101、102、103，网络104和服务器105。网络104用以在传感器101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

传感器101、102、103可以通过网络104与服务器105交互，以接收或发送消息等。

传感器101、102、103可以是集成在自动驾驶车辆106上的功能元件，例如红外传感器、超声波传感器、毫米波雷达、信息采集装置等等。传感器101、102、103可以用于采集自动驾驶车辆106周围的障碍物的状态数据以及周围道路数据。

服务器105也可以是集成在自动驾驶车辆106上，但是并不局限于此，也可以设置在能够与车载终端建立通信的远端，可以具体实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。

服务器105可以是提供各种服务的服务器。在服务器105上可以安装有例如地图类应用、基于模型集合的预测类应用等。以服务器105在运行该基于模型集合的预测类应用为例：通过网络104接收来自传感器101、102、103传输的障碍物的状态数据、道路数据、自动驾驶车辆的状态数据。可以将障碍物的状态数据、道路数据、自动驾驶车辆的状态数据中的一种或多种作为待处理数据。对待处理数据进行处理，得到第一结果。在确定针对待处理数据的第一结果满足预定条件的情况下，从精确匹配模型集合中确定与待处理数据相匹配的目标精确匹配模型。将待处理数据输入至目标精确匹配模型中，得到第二结果。基于第一结果和第二结果，确定目标结果。

需要说明的是，本公开实施例所提供的基于模型集合的预测方法一般可以由服务器105执行。相应地，本公开实施例所提供的基于模型集合的预测装置也可以设置于服务器105中。但是并不局限于此。本公开实施例所提供的基于模型集合的预测方法一般也可以由传感器101、102、或103执行。相应地，本公开实施例所提供的基于模型集合的预测装置也可以设置于传感器101、102、或103中。

应该理解，图1中的传感器、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的传感器、网络和服务器。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2示意性示出了根据本公开实施例的基于模型集合的预测方法的流程图。

如图2所示，该方法包括操作S210～S230。

在操作S210，在确定针对待处理数据的第一结果满足预定条件的情况下，从精确匹配模型集合中确定与待处理数据相匹配的目标精确匹配模型。

在操作S220，将待处理数据输入至目标精确匹配模型中，得到第二结果。

在操作S230，基于第一结果和第二结果，确定目标结果。

根据本公开的实施例，待处理数据的类型不做限定，例如，待处理数据可以包括图像、文字、语音以及图谱等。待处理数据的数量不做限定，例如，可以包括多帧视频帧、一段文字或者一个图谱。只要是具有一定处理意义的待处理数据即可。

根据本公开的实施例，针对待处理数据的第一结果可以包括针对图像中对象的识别结果，例如，第一结果为图像中的动物对象的类别结果。但是并不局限于此。针对待处理数据的第一结果还可以包括针对语音的识别结果，例如，第一结果为基于语音转换得到的文本信息。针对待处理数据的第一结果还可以包括针对图谱得到的识别结果，例如，图谱为基于障碍物的历史时刻的状态数据生成的，第一结果为障碍物的未来时刻的状态数据。

根据本公开的实施例，第一结果满足预定条件可以包括：确定第一结果不正确、确定第一结果的准确度低于准确度阈值、或者确定第一结果的置信度低于置信度阈值。

根据本公开的实施例，在确定针对待处理数据的第一结果满足预定条件的情况下，可以从精确匹配模型集合中确定与待处理数据相匹配的目标精确匹配模型。利用目标精确匹配模型处理待处理数据，得到第二结果。例如可以将待处理数据输入至目标精确匹配模型中，得到第二结果。可以基于第一结果和第二结果来确定目标结果，以便利用第二结果来辅助确定第一结果是否正确。

根据本公开的实施例，利用与待处理数据相匹配的目标精确匹配模型来处理待处理数据，能够在第一结果不能获得精准、可靠的结果的情况下，辅助第一结果来确定目标结果，以提高目标结果的准确性。

根据本公开的实施例，以自动驾驶场景为例，待处理数据可以包括自动驾驶场景下的场景数据。例如，待处理数据为用于表征行驶中的自动驾驶车辆周围存在障碍物的场景下的场景数据。还例如，待处理数据为用于表征行驶至十字路口场景下的场景数据。

根据本公开的实施例，待处理数据可以包括障碍物的状态数据，例如障碍物的当前时刻的状态数据和历史时刻的状态数据。状态数据可以包括障碍物的位置数据、加速度数据、速度数据、以及行驶方向等中的一种或多种。自动驾驶车辆可以基于障碍物的当前时刻的状态数据和历史时刻的状态数据来确定第一结果。第一结果可以包括障碍物的未来时刻的状态数据。例如，障碍物未来时刻的位置数据、加速度数据、速度数据、以及行驶方向等中的一种或多种数据。但是并不局限于此。第一结果还可以包括综合障碍物未来时刻的位置数据、加速度数据、速度数据、以及行驶方向等数据而得到的最终数据，例如障碍物的目标轨迹数据。图3示意性示出了根据本公开实施例的基于模型集合的预测方法的应用场景图。

如图3所示，以自动驾驶车辆310为例，在自动驾驶车辆310的前方具有障碍物车辆320。自动驾驶车辆310可以通过传感器采集障碍物车辆320的状态数据。自动驾驶车辆310的状态数据、障碍物车辆320的状态数据，例如行驶方向，均与道路数据相关。例如行驶至T字型路口330时，则障碍物车辆320以及自动驾驶车辆310在未来时刻的行驶方向包括向左行驶或者向右行驶，不包括向前行驶的情况。

如图3所示，在障碍物车辆320与自动驾驶车辆310行驶于相邻的两个车道上，且前后间隔距离小于距离阈值的情况下，障碍物车辆320在未来时刻例如距离当前时刻的下一秒时刻，转换车道行驶至自动驾驶车辆310的车道上的可能性低。因前后间隔距离小，若障碍物车辆320转换车道，会存在障碍物车辆320与自动驾驶车辆310相撞的问题。

根据本公开的实施例，可以将障碍物的状态数据、自动驾驶车辆的状态数据、以及道路数据等相结合，作为待处理数据。利用三者结合确定的待处理数据来确定障碍物在未来时刻的状态数据，更为合理且准确。

根据本公开的实施例，可以利用通用模型来处理待处理数据，以此得到第一结果。

例如，基于多个障碍物的状态数据，生成障碍物图谱。障碍物图谱中的节点用于表征障碍物，障碍物图谱中的多个节点彼此之间的连接边用于表征多个障碍物彼此之间的关联关系。该障碍物图谱中的关联关系可以通过多个障碍物彼此之间的间距来确定。基于道路数据，生成道路图谱。道路图谱中的节点用于表征道路，道路图谱中的多个节点彼此之间的连接边用于表征道路彼此之间的关联关系。该道路图谱中的关联关系可以通过多个道路彼此之间的交叉程度来确定。

根据本公开的实施例，通用模型可以包括级联的图神经网络和循环神经网络。但是并不局限于此。通用模型还可以包括级联的图神经网络、循环神经网络、分类器等。只要是能够处理包括障碍物图谱、道路图谱以及自动驾驶车辆的状态数据的待处理数据，得到障碍物的未来时刻的状态数据的深度学习模型即可。

根据本公开的实施例，利用本公开实施例提供的通用模型，可以针对多数的交通场景得到准确性的结果输出，基于对障碍物在未来时刻的状态数据的精准预测，可以为确定自动驾驶车辆的驾驶决策起到关键作用。在交通场景比较特殊的情况下，例如，在道路为T字型、道路为急转弯曲道路、障碍物突然并道、或者发生例如闯黄灯等违规行为的交通场景的情况下，因通用模型在此之前并未学习过特殊情况的交通场景的特征，利用通用模型处理待处理数据而得到的第一结果，将会与真实情况存在一定的偏差。在此情况下，可以从精确匹配模型集合中确定与待处理数据相匹配的目标精确匹配模型，该目标精确匹配模型可以是适用于处理该交通场景的处理模型。可以利用目标精确匹配模型来处理待处理数据，得到第二结果。基于第一结果和第二结果，确定目标结果。以便利用第二结果来辅助确定第一结果的准确性，进而得到目标结果。以使得在特殊的交通场景的情况下，也能够得到准确的目标结果。

利用本公开实施例提供的基于模型集合的预测方法，应用于障碍物的轨迹预测场景中，可以利用通用模型来扩大交通场景的适用范围，利用精确匹配模型集合辅助通用模型来提高对输出的目标结果的精确度。

图4示意性示出了根据本公开另一实施例的基于模型集合的预测方法的流程图。

如图4所示，该方法包括操作S410～S460。

在操作S410，将待处理数据输入至通用模型中，得到第一结果。

在操作S420，确定第一结果是否满足预定条件。在不满足预定条件的情况下，执行操作S430；在满足预定条件的情况下，执行操作S440。

在操作S430，将第一结果作为目标结果。

在操作S440，从精确匹配模型集合中确定与待处理数据相匹配的目标精确匹配模型。

在操作S450，将待处理数据输入至目标精确匹配模型中，得到第二结果。

在操作S460，基于第一结果和第二结果，确定目标结果。

根据本公开的实施例，第一结果可以包括多个第一类别结果和多个通用置信度，多个通用置信度与多个第一类别结果一一对应。

根据本公开的实施例，可以在多个通用置信度各自均小于置信度阈值的情况下，确定第一结果满足预定条件。在多个通用置信度中的一个通用置信度大于或者等于置信度阈值的情况下，确定第一结果不满足预定条件。

例如，基于待处理数据确定第一结果，第一结果表征障碍物A的行驶方向。第一结果包括向右行驶的第一类别结果以及第一类别结果的通用置信度(例如为0.1)、向右行驶的第二类别结果以及第二类别结果的通用置信度(例如为0.1)、以及直行的第三类别结果以及第三类别结果的通用置信度(例如为0.8)。可以确定置信度阈值为0.7。在第三类别结果的通用置信度为0.8，大于置信度阈值为0.7的情况下，该第一结果不满足预定条件。可以直接将第一结果作为目标结果。

还例如，基于待处理数据确定第一结果，第一结果表征障碍物A的行驶方向。第一结果包括向右行驶的第一类别结果以及第一类别结果的通用置信度(例如为0.3)、向右行驶的第二类别结果以及第二类别结果的通用置信度(例如为0.3)、以及直行的第三类别结果以及第三类别结果的通用置信度(例如为0.4)。可以确定置信度阈值为0.7。在第一类别结果、第二类别结果以及第三类别结果各自的通用置信度均小于置信度阈值的情况下，该第一结果满足预定条件。可以通过第二结果来辅助确定第一结果是否正确，基于第一结果和第二结果，确定目标结果。

根据本公开的实施例，基于第一结果和第二结果，确定目标结果可以包括如下操作。

例如，在第一结果与第二结果相同的情况下，将第一结果作为目标结果。在第一结果和第二结果不同的情况下，将第二结果作为目标结果。

还例如，第一结果包括多个第一类别结果和多个通用置信度，多个通用置信度与多个第一类别结果一一对应。第二结果包括多个第二类别结果和多个精配置信度，多个第二类别结果与多个精配置信度一一对应。多个第一类别结果与多个第二类别结果一一对应。针对多个第一类别结果中的每个第一类别结果，确定与第一类别结果类别相同的第二类别结果，作为目标第二类别结果。加权求和第一类别结果的通用置信度和目标第二类别结果的精配置信度，得到多个置信度。多个置信度与多个第一类别结果一一对应。从多个置信度中确定目标置信度。将与目标置信度相对应的第一类别结果作为目标结果。

根据本公开的实施例，加权求和第一类别结果的通用置信度和目标第二类别结果的精配置信度，得到多个置信度可以包括：为第一类别结果的通用置信度配置第一权重，为目标第二类别结果的精配置信度配置第二权重。确定第一权重与通用置信度的第一乘积以及第二权重与精配置信度的第二乘积。将第一乘积与第二乘积相加，得到置信度。依此类推，确定与多个第一类别结果一一对应的多个置信度。

根据本公开的实施例，第一权重和第二权重的数值不做限定，可以为0或者其他任一数值。可以根据实际情况自行拟定，在此不再赘述。

根据本公开的实施例，从多个置信度中确定目标置信度可以包括：将多个置信度中置信度最高的作为目标置信度。也可以将多个置信度中置信度高于预定置信度阈值的作为目标置信度。还可以将多个置信度按照由高到低的顺序进行排序，得到排序结果。按照排序结果，将预定数量的置信度作为目标置信度。

图5示意性示出了根据本公开实施例的确定目标精确匹配模型的流程示意图。

如图5所示，精确匹配模型集合510中包括多个精确匹配模型。还可以预先设置场景示例集合520。场景示例集合520中包括多个场景示例。多个精确匹配模型与多个场景示例一一对应。可以基于待处理数据530，从场景示例集合520中确定与待处理数据相匹配的目标场景示例。基于目标场景示例，从精确匹配模型集合510中确定与目标场景示例相匹配的目标精确匹配模型540。将待处理数据输入至目标精确匹配模型540中，得到第二结果550。根据本公开的实施例，多个精确匹配模型与多个场景示例一一对应可以指，针对多个场景示例中的每个场景示例，存在与场景示例相对应的精确匹配模型。通过待处理数据来从多个场景示例中确定目标场景示例可以理解为，待处理数据所表征的场景与目标场景示例相匹配。进而利用与目标场景示例相对应的目标精确匹配模型来处理待处理数据，能够更有针对性，得到的第二结果的准确度高。

根据本公开的实施例，从多个场景示例中确定与待处理数据相匹配的目标场景示例可以包括操作：从待处理数据中确定目标待处理子数据，其中，待处理数据包括多个待处理子数据。针对多个场景示例中的每个场景示例，确定目标待处理子数据与场景示例的场景示例数据之间的相似度，得到多个相似度。基于多个相似度，从多个场景示例中确定目标场景示例。

根据本公开的实施例，多个场景示例各自对应的目标待处理子数据可以相同，也可以不同。目标待处理子数据可以包括障碍物的状态子数据、自动驾驶车辆的状态子数据、道路子数据、周围环境数据中的一种或多种。

例如，道路子数据包括道路弯曲程度、道路中车道数量、道路中路口数量等中的一种或多种。

例如，障碍物的状态子数据包括加速度数据、速度数据、位置数据、行驶方向等中的一种或多种。

例如，自动驾驶车辆的状态子数据包括加速度数据、速度数据、位置数据、行驶方向等中的一种或多种。

例如，周围环境数据包括指示牌、信号灯等中的一种或多种。

根据本公开的实施例，场景示例的类型不做限定，例如，可以根据交通拥堵程度来确定多个场景示例，但是并不局限于此，还可以根据自动驾驶车辆的行驶安全程度来确定多个场景示例，还可以根据道路数据、障碍物的状态数据以及自动驾驶车辆的状态数据的综合数据，来确定交通坏例(Badcase)，将不同类型的多个坏例作为场景示例。

根据本公开的其他实施例，场景示例可以根据自动驾驶场景的不同来划分，例如场景示例可以包括用于表征在自动驾驶车辆周围存在障碍物的情况下，在未来时刻是否会发生轻急刹、猛急刹、有责碰撞、或者无责碰撞等的示例。还例如，场景示例还可以包括用于表征在自动驾驶车辆行驶至十字路口的情况下，在未来时刻是否会发生违规使用信号灯、逆行、闯红灯、压线、或者占道等的示例。

场景示例还可以根据自动驾驶车辆所处的危险程度来划分，例如，按照普通、注意以及危险等三个危险程度来划分。普通场景示例可以包括例如轻急刹、或者违规使用信号灯的示例，注意场景示例可以包括例如猛急刹、主车画龙、无责碰撞、或者轻度违反交规(例如压线、占道、闯黄灯)等的示例，危险场景示例可以包括例如有责碰撞、或者重度违反交规(例如逆行、闯红灯)等的示例。

根据本公开的实施例，目标待处理子数据与场景示例的场景示例数据之间的相似度的确定方式不做限定，例如可以分别提取目标待处理子数据与场景示例的场景示例数据的特征向量，求取两个特征向量之间的相似度。可以采用例如欧式距离、或者马氏距离来确定两个特征向量之间的相似度，在此不做限定。

根据本公开的实施例，可以将相似度最高的场景示例作为目标场景示例。也可以将相似度大于或者等于相似度阈值的场景示例作为目标场景示例。只要是能够基于多个相似度，从多个场景示例中确定目标场景示例的方式即可。

根据本公开的实施例，多个精确匹配模型与多个场景示例一一对应可以指，针对多个精确匹配模型中的每个精确匹配模型，可以利用与场景示例相关的训练样本来训练初始精确匹配模型，得到精确匹配模型。

根据本公开的实施例，精确匹配模型可以包括级联的图神经网络和循环神经网络。但是并不局限于此。精确匹配模型还可以包括级联的图神经网络、循环神经网络、分类器等。只要是能够处理包括障碍物图谱、道路图谱以及与自动驾驶车辆的状态数据的待处理数据，得到障碍物的未来时刻的状态数据的深度学习模型即可。

根据本公开的实施例，精确匹配模型的训练方法不做限定，训练精确匹配模型的损失函数不做限定，例如可以采用交叉损失函数，只要是与精确匹配模型的网络结构相匹配的损失函数即可。

根据本公开的实施例，训练样本可以包括障碍物图谱、道路图谱以及与自动驾驶车辆的状态数据的样本数据，以及与样本数据相匹配的标签。标签可以为障碍物的预定时刻的状态数据。

利用与场景示例相关的训练样本训练初始精确匹配模型来得到精确匹配模型，可以使得精确匹配模型学习到对应场景示例的场景示例数据中的特征，进而使得利用目标精确匹配模型得到的第二结果的准确度提高。

图6示意性示出了根据本公开实施例的基于模型集合的预测装置的框图。

如图6所示，基于模型集合的预测装置600可以包括模型匹配模块610、精配输入模块620、以及结果确定模块630。

模型匹配模块610，用于在确定针对待处理数据的第一结果满足预定条件的情况下，从精确匹配模型集合中确定与待处理数据相匹配的目标精确匹配模型。

精配输入模块620，用于将待处理数据输入至目标精确匹配模型中，得到第二结果。

结果确定模块630，用于基于第一结果和第二结果，确定目标结果。

根据本公开的实施例，基于模型集合的预测装置可以包括通用输入模块、以及条件确定模块。

通用输入模块，用于将待处理数据输入至通用模型中，得到第一结果，其中，第一结果包括多个第一类别结果和多个通用置信度，多个通用置信度与多个第一类别结果一一对应。

条件确定模块，用于在多个通用置信度各自均小于置信度阈值的情况下，确定第一结果满足预定条件。

根据本公开的实施例，模型匹配模块可以包括场景确定单元、以及模型确定单元。

场景确定单元，用于从多个场景示例中确定与待处理数据相匹配的目标场景示例。

模型确定单元，用于从精确匹配模型集合中确定与目标场景示例相匹配的目标精确匹配模型，其中，精确匹配模型集合包括多个精确匹配模型，多个精确匹配模型与多个场景示例一一对应。

根据本公开的实施例，场景确定单元可以包括第一确定子单元、第二确定子单元、以及第三确定子单元。

第一确定子单元，用于从待处理数据中确定目标待处理子数据，其中，待处理数据包括多个待处理子数据。

第二确定子单元，用于针对多个场景示例中的每个场景示例，确定目标待处理子数据与场景示例的场景示例数据之间的相似度，得到多个相似度。

第三确定子单元，用于基于多个相似度，从多个场景示例中确定目标场景示例。

根据本公开的实施例，结果确定模块可以包括第一置信确定单元、第二置信确定单元、以及结果确定单元。

第一置信确定单元，用于针对多个第一类别结果中的每个第一类别结果，加权求和第一类别结果的通用置信度和目标第二类别结果的精配置信度，得到多个置信度，其中，第二结果包括多个第二类别结果和多个精配置信度，多个第二类别结果与多个精配置信度一一对应，目标第二类别结果是与第一类别结果类别相同的第二类别结果。

第二置信确定单元，用于从多个置信度中确定目标置信度。

结果确定单元，用于将与目标置信度相对应的第一类别结果作为目标结果。

根据本公开的实施例，待处理数据包括以下至少一项：障碍物的状态数据、自动驾驶车辆的状态数据、道路数据。

根据本公开的实施例，目标精确匹配模型或者通用模型包括级联的图神经网络和循环神经网络。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品和一种自动驾驶车辆。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例的方法。

根据本公开的实施例，一种配置有上述电子设备的自动驾驶车辆，配置的电子设备可在其处理器执行时能够实现上述实施例所描述的基于模型集合的预测方法。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如基于模型集合的预测方法。例如，在一些实施例中，基于模型集合的预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的基于模型集合的预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于模型集合的预测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程基于模型集合的预测装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种基于模型集合的预测方法，包括：

在确定针对待处理数据的第一结果满足预定条件的情况下，从精确匹配模型集合中确定与所述待处理数据相匹配的目标精确匹配模型；

将所述待处理数据输入至所述目标精确匹配模型中，得到第二结果；以及

基于所述第一结果和所述第二结果，确定目标结果。

2.根据权利要求1所述的方法，还包括：

将所述待处理数据输入至通用模型中，得到所述第一结果，其中，所述第一结果包括多个第一类别结果和多个通用置信度，所述多个通用置信度与所述多个第一类别结果一一对应；以及

在所述多个通用置信度各自均小于置信度阈值的情况下，确定所述第一结果满足所述预定条件。

3.根据权利要求1或2所述的方法，其中，所述从精确匹配模型集合中确定与所述待处理数据相匹配的目标精确匹配模型包括：

从多个场景示例中确定与所述待处理数据相匹配的目标场景示例；以及

从所述精确匹配模型集合中确定与所述目标场景示例相匹配的所述目标精确匹配模型，其中，所述精确匹配模型集合包括多个精确匹配模型，所述多个精确匹配模型与所述多个场景示例一一对应。

4.根据权利要求3所述的方法，其中，所述从多个场景示例中确定与所述待处理数据相匹配的目标场景示例包括：

从所述待处理数据中确定目标待处理子数据，其中，所述待处理数据包括多个待处理子数据；

针对多个场景示例中的每个场景示例，确定所述目标待处理子数据与所述场景示例的场景示例数据之间的相似度，得到多个相似度；以及

基于所述多个相似度，从所述多个场景示例中确定所述目标场景示例。

5.根据权利要求2至4中任一项所述的方法，其中，所述基于所述第一结果和所述第二结果，确定目标结果包括：

针对所述多个第一类别结果中的每个第一类别结果，加权求和所述第一类别结果的通用置信度和目标第二类别结果的精配置信度，得到多个置信度，其中，所述第二结果包括多个第二类别结果和多个精配置信度，所述多个第二类别结果与所述多个精配置信度一一对应，所述目标第二类别结果是与所述第一类别结果类别相同的第二类别结果；

从所述多个置信度中确定目标置信度；以及

将与所述目标置信度相对应的第一类别结果作为所述目标结果。

6.根据权利要求1至5中任一项所述的方法，其中，所述待处理数据包括以下至少一项：

障碍物的状态数据、自动驾驶车辆的状态数据、道路数据。

7.根据权利要求2所述的方法，其中，所述目标精确匹配模型或者通用模型包括级联的图神经网络和循环神经网络。

8.一种基于模型集合的预测装置，包括：

模型匹配模块，用于在确定针对待处理数据的第一结果满足预定条件的情况下，从精确匹配模型集合中确定与所述待处理数据相匹配的目标精确匹配模型；

精配输入模块，用于将所述待处理数据输入至所述目标精确匹配模型中，得到第二结果；以及

结果确定模块，用于基于所述第一结果和所述第二结果，确定目标结果。

9.根据权利要求8所述的装置，还包括：

通用输入模块，用于将所述待处理数据输入至通用模型中，得到所述第一结果，其中，所述第一结果包括多个第一类别结果和多个通用置信度，所述多个通用置信度与所述多个第一类别结果一一对应；以及

条件确定模块，用于在所述多个通用置信度各自均小于置信度阈值的情况下，确定所述第一结果满足所述预定条件。

10.根据权利要求8或9所述的装置，其中，所述模型匹配模块包括：

场景确定单元，用于从多个场景示例中确定与所述待处理数据相匹配的目标场景示例；以及

模型确定单元，用于从所述精确匹配模型集合中确定与所述目标场景示例相匹配的所述目标精确匹配模型，其中，所述精确匹配模型集合包括多个精确匹配模型，所述多个精确匹配模型与所述多个场景示例一一对应。

11.根据权利要求10所述的装置，其中，所述场景确定单元包括：

第一确定子单元，用于从所述待处理数据中确定目标待处理子数据，其中，所述待处理数据包括多个待处理子数据；

第二确定子单元，用于针对多个场景示例中的每个场景示例，确定所述目标待处理子数据与所述场景示例的场景示例数据之间的相似度，得到多个相似度；以及

第三确定子单元，用于基于所述多个相似度，从所述多个场景示例中确定所述目标场景示例。

12.根据权利要求9至11中任一项所述的装置，其中，所述结果确定模块包括：

第一置信确定单元，用于针对所述多个第一类别结果中的每个第一类别结果，加权求和所述第一类别结果的通用置信度和目标第二类别结果的精配置信度，得到多个置信度，其中，所述第二结果包括多个第二类别结果和多个精配置信度，所述多个第二类别结果与所述多个精配置信度一一对应，所述目标第二类别结果是与所述第一类别结果类别相同的第二类别结果；

第二置信确定单元，用于从所述多个置信度中确定目标置信度；以及

结果确定单元，用于将与所述目标置信度相对应的第一类别结果作为所述目标结果。

13.根据权利要求8至12中任一项所述的装置，其中，所述待处理数据包括以下至少一项：

障碍物的状态数据、自动驾驶车辆的状态数据、道路数据。

14.根据权利要求9所述的装置，其中，所述目标精确匹配模型或者通用模型包括级联的图神经网络和循环神经网络。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至7中任一项所述的方法。

18.一种自动驾驶车辆，包括如权利要求15所述的电子设备。

Images