CN114596552B - 信息处理方法、训练方法、装置、设备、车辆及介质 - Google Patents

Abstract

本公开提供了一种信息处理方法、深度学习模型的训练方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品，涉及人工智能技术领域，尤其涉及自动驾驶技术领域。具体实现方案为：利用深度学习模型处理掩码的目标图谱，得到目标对象的特征向量；基于目标对象的特征向量，得到目标对象的目标特征信息；以及利用目标对象的初始特征信息和目标特征信息，训练深度学习模型，得到目标深度学习模型，目标对象的初始特征信息包括目标对象的未掩码的特征信息。

Description

信息处理方法、训练方法、装置、设备、车辆及介质

技术领域

本公开涉及人工智能技术领域，尤其涉及自动驾驶技术领域，具体涉及信息处理方法、深度学习模型的训练方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品。

背景技术

自动驾驶车辆可以通过感知部件例如传感器来感知周围环境，得到周围环境数据。将周围环境数据与地图导航数据相结合，经过计算做出驾驶决策。最后通过控制和执行系统按照驾驶决策完成自动驾驶车辆的自动驾驶。

自动驾驶车辆的感知、计算、以及决策等方面的自动驾驶性能，是自动驾驶车辆得以广泛应用的重要考虑因素。

发明内容

本公开提供了一种信息处理方法、深度学习模型的训练方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品。

根据本公开的一方面，提供了一种深度学习模型的训练方法，包括：利用深度学习模型处理掩码的目标图谱，得到目标对象的特征向量，其中，所述掩码的目标图谱包括多个节点，所述节点用于表征对象，所述多个节点彼此之间的连接边用于表征多个对象彼此之间的关联关系，所述多个节点中的目标节点的特征信息被掩码，所述目标节点与所述多个对象中的所述目标对象相匹配；基于所述目标对象的特征向量，得到所述目标对象的目标特征信息；以及利用所述目标对象的初始特征信息和所述目标特征信息，训练所述深度学习模型，得到目标深度学习模型，其中，所述目标对象的初始特征信息包括所述目标对象的未掩码的特征信息。

根据本公开的另一方面，提供了一种信息处理方法，可以包括：将待处理对象的历史信息输入至目标深度学习模型中，得到所述待处理对象的特征向量；以及基于所述待处理对象的特征向量，生成所述待处理对象在未来时刻的目标对象信息，其中，所述目标深度学习模型是利用本公开所述方法训练得到的。

根据本公开的另一方面，提供了一种深度学习模型的训练装置，包括：处理模块，用于利用深度学习模型处理掩码的目标图谱，得到目标对象的特征向量，其中，所述掩码的目标图谱包括多个节点，所述节点用于表征对象，所述多个节点彼此之间的连接边用于表征多个对象彼此之间的关联关系，所述多个节点中的目标节点的特征信息被掩码，所述目标节点与所述多个对象中的所述目标对象相匹配；输出模块，用于基于所述目标对象的特征向量，得到所述目标对象的目标特征信息；以及训练模块，用于利用所述目标对象的初始特征信息和所述目标特征信息，训练所述深度学习模型，得到目标深度学习模型，其中，所述目标对象的初始特征信息包括所述目标对象的未掩码的特征信息。

根据本公开的另一方面，提供了一种信息处理装置，包括：输入模块，用于将待处理对象的历史信息输入至目标深度学习模型中，得到所述待处理对象的特征向量；以及信息生成模块，用于基于所述待处理对象的特征向量，生成所述待处理对象在未来时刻的目标对象信息，其中，所述目标深度学习模型是利用本公开所述装置训练得到的。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本公开的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如本公开的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本公开的方法。

根据本公开的另一方面，提供了一种自动驾驶车辆，包括如本公开的电子设备。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用信息处理方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图；

图3示意性示出了根据本公开实施例的确定对象的信息的示意图；

图4A示意性示出了根据本公开实施例的生成掩码的目标图谱的流程示意图；

图4B示意性示出了根据本公开另一实施例的生成掩码的目标图谱的流程示意图；

图5示意性示出了根据本公开另一实施例的深度学习模型的训练方法的流程图；

图6示意性示出了根据本公开实施例的信息处理方法的流程图；

图7示意性示出了根据本公开实施例的深度学习模型的训练装置的框图；

图8示意性示出了根据本公开实施例的信息处理装置的框图；以及

图9示意性示出了根据本公开实施例的适于实现信息处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种信息处理方法、深度学习模型的训练方法、装置、电子设备、自动驾驶车辆、存储介质以及程序产品。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图1示意性示出了根据本公开实施例的可以应用信息处理方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括传感器101、102、103，网络104和服务器105。网络104用以在传感器101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

传感器101、102、103可以通过网络104与服务器105交互，以接收或发送消息等。

传感器101、102、103可以是集成在自动驾驶车辆106上的功能元件，例如红外传感器、超声波传感器、毫米波雷达、信息采集装置等等。传感器101、102、103可以用于采集自动驾驶车辆106周围的障碍物的状态信息以及周围道路信息。

服务器105也可以是集成在自动驾驶车辆106上，但是并不局限于此，也可以设置在能够与车载终端建立通信的远端，可以具体实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。

服务器105可以是提供各种服务的服务器。在服务器105上可以安装有例如地图类应用、信息处理类应用等。以服务器105在运行该信息处理类应用为例：通过网络104接收来自传感器101、102、103传输的障碍物的信息。将信息输入至目标深度学习模型中，得到障碍物的特征向量。基于障碍物的特征向量，生成障碍物在未来时刻的例如状态信息。根据状态信息，确定障碍物的目标预测轨迹。以便基于障碍物的目标预测轨迹，确定具有避障能力的自动驾驶决策。

需要说明的是，本公开实施例所提供的信息处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的信息处理装置也可以设置于服务器105中。但是并不局限于此。本公开实施例所提供的信息处理方法一般也可以由传感器101、102、或103执行。相应地，本公开实施例所提供的信息处理装置也可以设置于传感器101、102、或103中。

应该理解，图1中的传感器、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的传感器、网络和服务器。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图。

如图2所示，该方法包括操作S210～S230。

在操作S210，利用深度学习模型处理掩码的目标图谱，得到目标对象的特征向量，其中，掩码的目标图谱包括多个节点，节点用于表征对象，多个节点彼此之间的连接边用于表征多个对象彼此之间的关联关系，多个节点中的目标节点的特征信息被掩码，目标节点与多个对象中的目标对象相匹配。

在操作S220，基于目标对象的特征向量，得到目标对象的目标特征信息。

在操作S230，利用目标对象的初始特征信息和目标特征信息，训练深度学习模型，得到目标深度学习模型，其中，目标对象的初始特征信息包括目标对象的未掩码的特征信息。

根据本公开的实施例，掩码的目标图谱可以包括多个节点和多个节点彼此之间的连接边。节点用于表征对象。多个节点彼此之间的连接边用于表征多个对象彼此之间的关联关系。多个节点中的目标节点的特征信息被掩码，目标节点与多个对象中的目标对象相匹配。

根据本公开的实施例，目标节点的特征信息被掩码可以理解为：与目标节点相匹配的目标对象的特征信息被掩码。目标对象的特征信息被掩码，可以是目标对象的部分特征信息被掩码，但是并不局限于此，也可以是目标对象的全部特征信息被掩码。

根据本公开的实施例，掩码(mask)可以理解为特征信息被预定信息替换，例如被错误信息替换或者被无表征意义的信息例如0所替换，由此实现遮掩目标节点的特征信息。

根据本公开的实施例，目标节点的数量不做限定，例如可以为1、2、或者3等，只要是目标节点的数量小于掩码的目标图谱中的节点的总数量即可。

根据本公开的实施例，掩码的目标图谱中的多个节点彼此之间存在关联关系、或者交互关系，可以利用本公开实施例提供的深度学习模型处理掩码的目标图谱，基于掩码的目标图谱中的未被掩码的节点的特征信息，来经过特征融合计算得到与目标节点相对应的目标对象的特征向量。

根据本公开的实施例，可以利用解码器对目标对象的特征向量进行解码处理，得到目标对象的目标特征信息。该目标特征信息是通过解码经过特征融合计算得到的目标对象的特征向量而得到的，该目标特征信息可以是对目标节点的被掩码的特征信息的恢复。

根据本公开的实施例，目标对象的初始特征信息可以包括目标对象的未掩码的特征信息，例如，表征目标对象的未被掩码前的原始、或者真实的特征信息。可以将目标对象的初始特征信息作为真实信息，例如模型训练过程中的标签。可以将目标对象的目标特征信息是深度学习模型通过融合未被掩码的节点的特征信息计算得到的信息，可以作为深度学习模型计算得到的结果。目标特征信息与初始特征信息的接近程度可以体现深度学习模型利用未被掩码的节点的特征信息来得到目标节点的初始特征信息的能力。可以基于目标特征信息和初始特征信息来调整深度学习模型的参数，以使得深度学习模型能够更好地学习融合各个节点的特征信息，使得深度学习模型提取特征的能力越来越强。

利用本公开实施例提供的深度学习模型的训练方法，可以利用深度学习模型处理掩码的目标图谱，得到表征深度学习模型处理能力的目标对象的目标特征信息，以目标对象的初始特征信息作为基准，形成自监督训练的训练方法，解放人工标注的工作，提高训练样本的数据量，进而提高训练的效率以及提高目标深度学习模型的精度。

根据本公开的实施例，节点用于表征的对象的类型不做限定。只要是多个对象之间存在关联关系，能够利用表征对象的节点形成图谱，利于深度学习模型学习谱图中节点的特征信息以及与节点相关联的节点的特征信息即可。

根据本公开的实施例，节点用于表征的对象可以是指障碍物。连接边可以是指多个障碍物彼此之间的关联关系。针对自动驾驶车辆，可以通过图谱的方式将多个障碍物各自的特征信息以及多个障碍物彼此之间的关联关系进行体现，使得深度学习模型能够学习到更多的融合信息，进而对合理规划驾驶决策起到重要的作用。

根据本公开的其他实施例，节点用于表征的对象还可以是指实体。连接边可以是指多个实体彼此之间的关联关系。在检索或者问答应用中，可以通过图谱的方式将多个实体各自的属性信息以及多个实体彼此之间的关联关系进行体现，使得深度学习模型能够学习到更多的融合信息，进而对提高答复结果的准确性起到重要的作用。

根据本公开的实施例，以对象为障碍物为例，障碍物可以包括静态障碍物和动态障碍物。静态障碍物可以包括但并不局限于道路边沿设置的围杆、花坛、指示牌、路灯、红绿灯等。动态障碍物可以包括但并不局限于动态变化的行人、车辆等。

图3示意性示出了根据本公开实施例的确定对象示意图。

如图3所示，自动驾驶车辆310在例如3月1日上午10时至10时5分在AA道路上行驶。自动驾驶车辆310可以利用集成的传感器来采集周围环境的障碍物的信息。周围环境可以指符合预定位置信息的环境。例如，以自动驾驶车辆310所处位置为圆心，以预定距离为半径确定采集区域。可以结合地图信息来确定采集区域的位置信息，由此得到预定位置信息。可以将所处的位置信息与预定位置信息相匹配，例如位于采集区域内的初始障碍物作为与自动驾驶车辆310相关的障碍物，例如行人320和第一车辆330。将所处的位置信息与预定位置信息不相匹配，例如位于采集区域外的初始障碍物，例如第二车辆340舍弃。

根据本公开的其他实施例，还可以基于预定时间信息和预定位置信息，确定与自动驾驶车辆相关的多个障碍物。例如，传感器实时采集障碍物的信息，可以将障碍物的信息与采集时间信息相映射。可以将采集时间信息与预定时间信息例如3月1日上午10时至3月1日上午10时2分相匹配，且所处位置信息符合预定位置信息的多个初始障碍物作为与自动驾驶车辆相关的多个障碍物。

需要说明的是，预定时间信息可以根据实际情况自行设定。预定位置信息也可以根据实际情况自行设定，例如根据传感器的采集信息的最远距离。

根据本公开的实施例，可以将自动驾驶车辆在真实场景中自动驾驶过程中遇到的多个障碍物作为构建掩码的目标图谱中的节点表征的对象，使得深度学习模型能够学习到更为真实的对象的特征信息，进而提高深度学习模型的训练精度。

图4A示意性示出了根据本公开实施例的生成掩码的目标图谱的流程示意图。

如图4A所示，可以以自动驾驶车辆周围的静态障碍物和动态障碍物为对象。多个对象的数量可以不做限定，例如可以为2个，但是并不局限于此，还可以为3个或者更多例如80个。对象的信息可以包括不同历史时刻的信息，例如，对象的信息可以包括多个历史时刻的信息，例如以0.1秒为间隔，16个历史时刻的信息。例如距离当前时刻为0.1s间隔的历史时刻的信息、距离当前时刻为0.2s间隔的历史时刻的信息、……、距离当前时刻为1.6s间隔的历史时刻的信息。

如图4A所示，对象的每个历史时刻的信息可以包括动态障碍物的状态信息，例如动态障碍物的位置信息(m)、加速度信息(a)、速度信息(v)、行驶方向(n)、动态障碍物的体积信息(y)等。

如图4A所示，可以将多个对象划分为目标对象410和目标关联对象420。目标关联对象420为多个对象中除目标对象410外的其他对象。目标对象的数量和目标关联对象的数量可以相同，也可以不同。目标对象的数量或者目标关联对象的数量可以包括1个，但是并不局限于此，还可以包括2个或者更多例如8个。

如图4A所示，可以利用特征提取模块来提取目标对象410的信息，得到目标对象410的初始第一特征信息411。掩码目标对象410的初始第一特征信息411，得到目标对象410的第一特征信息412。可以利用特征提取模块提取目标关联对象420的信息，得到第二特征信息421。基于第一特征信息412和第二特征信息421，生成掩码后的目标图谱430。

根据本公开的实施例，特征提取模块可以作为深度学习模型的一个子模型，但是并不局限于此，特征提取模型还可以是与深度学习模型不相关的模型。

根据本公开的实施例，掩码目标对象的初始第一特征信息，得到目标对象的第一特征信息可以包括如下操作：利用预定数据来替换初始第一特征信息中的矩阵元素，得到目标对象的第一特征信息。但是并不局限于此。还可以利用初始第一特征信息中的矩阵元素乘以数值0，得到矩阵元素为0的目标对象的第一特征信息。

根据本公开的实施例，基于第一特征信息和第二特征信息，生成掩码的目标图谱可以包括如下操作：基于目标对象和目标关联对象，确定多个节点。多个节点的特征信息分别与第一特征信息和第二特征信息一一对应。基于目标对象与目标对象彼此之间的关联关系、目标对象与目标关联对象彼此之间的关联关系、以及目标对象与目标关联对象彼此之间的关联关系，确定多个节点彼此之间的连接边，由此得到掩码的目标图谱。

根据本公开的实施例，以障碍物作为对象，关联关系可以利用各个障碍物之间的距离来确定。例如，两个障碍物之间的距离越小，受影响程度越大；两个障碍物之间的距离越大，受影响程度越小。但是并不局限于此。关联关系还可以利用各个障碍物的综合信息来确定。例如，两个障碍物之间的距离、行驶方向、速度等综合信息来确定。

图4B示意性示出了根据本公开另一实施例的生成掩码的目标图谱的流程示意图。

如图4B所示的实施例提供的生成掩码后的目标图谱的操作流程与如图4A所示的实施例提供的生成掩码后的目标图谱的操作流程类似。其不同之处在于：掩码目标对象410的信息中的部分信息，得到目标对象410的目标信息。利用特征提取模块提取目标对象的目标信息，得到第三特征信息413。利用特征提取模块提取目标关联对象420的信息，得到第二特征信息421。基于第三特征信息413和第二特征信息421，生成掩码后的目标图谱440。

根据本公开的实施例，掩码目标对象的信息中的部分信息，得到目标对象的目标信息可以包括操作：掩码目标对象的信息中与目标时间信息相匹配的部分信息，得到目标对象的目标信息。

如图4B所示，可以将距离当前时刻为0.1s间隔的历史时刻、以及距离当前时刻为0.2s间隔的历史时刻作为目标时间信息。掩码目标对象的距离当前时刻为0.1s的历史时刻的信息、以及距离当前时刻为0.2s的历史时刻的信息，将目标对象的距离当前时刻为0.3s的历史时刻的信息、……、距离当前时刻为1.6s的历史时刻的信息作为目标对象的目标信息。但是并不局限于此。还可以将距离当前时刻为1.5s间隔的历史时刻、以及距离当前时刻为1.6s间隔的历史时刻作为目标时间信息。掩码目标对象的距离当前时刻为1.5s的历史时刻的信息、以及距离当前时刻为1.6s的历史时刻的信息，将目标对象的距离当前时刻为0.1s的历史时刻的信息、……、距离当前时刻为1.4s的历史时刻的信息作为目标对象的目标信息。目标时间信息不做限定，只要是利用目标时间信息，使得掩码的目标对象的部分信息与保留的目标对象的目标信息之间具有时序关系即可。

利用本公开实施例提供的生成掩码的目标图谱的方法，可以使得深度学习模型更为敏感地捕捉各障碍物之间的与时序相关的特征信息，进而使得目标深度学习模型可以精准地捕捉到与时序相关的特征信息。

图5示意性示出了根据本公开另一实施例的深度学习模型的训练方法的流程图。

如图5所示，深度学习模型可以包括特征提取模块510和图神经网络520。可以利用特征提取模块510来提取目标对象的信息530，得到目标对象的初始特征信息540。可以将目标对象的初始特征信息540作为目标对象的信息标签。

根据本公开的实施例，在掩码的目标图谱是基于第一特征信息和第二特征信息生成的情况下，初始特征信息可以是初始第一特征信息。在掩码的目标图谱是基于第二特征信息和第三特征信息生成的情况下，初始特征信息可以是基于目标对象的未被掩码前的信息，即目标对象的信息生成的。

如图5所示，可以将掩码的目标图谱550输入至图神经网络520中，得到目标对象的特征向量560。基于目标对象的特征向量560，得到目标对象的目标特征信息570。可以基于目标对象的初始特征信息，即初始第一特征信息540和目标特征信息570，确定损失值。基于损失值，调整模型的参数，直至损失值收敛。将损失值收敛时的模型作为经训练的模型。

根据本公开的实施例，基于目标对象的初始特征信息和目标特征信息，确定损失值可以包括：将目标对象的初始特征信息和目标特征信息输入至损失函数中，得到损失值。损失函数的类型不做限定，只要与包括级联的特征提取模块和图神经网络的深度学习模型相匹配即可。

根据本公开的实施例，特征提取模块的网络结构不做限定，例如，特征提取模块可以包括级联的卷积层和池化层。卷积层的卷积核尺寸不做限定，只要是能够将对象的多个历史时刻的多维信息进行特征提取的网络结构即可。

根据本公开的实施例，深度学习模型中处理掩码的目标图谱的模块并不局限于图神经网络(Graph Neural Network，GNN)，还可以为图卷积网络(Graph ConvolutionalNetwork，GCN)，还可以为图自编码器(Graph Auto-Encoders，GAE)。处理掩码的目标图谱的模块的结构不做限定，只要是能够处理掩码的目标图谱的结构即可。

根据本公开的实施例，基于目标对象的特征向量，得到目标对象的目标特征信息的操作可以包括：利用解码器来处理目标对象的特征向量，得到目标对象的目标特征信息。

根据本公开的实施例，解码器可以包括多层感知机(Multi-Layer Perceptron，MLP)，但并不局限于此，还可以包括反卷积层(Deconvolution)，只要是能够处理高维度的目标对象的特征向量来得到低维度的目标对象的目标特征信息的解码器即可。

根据本公开实施例的其他实施例，将本公开实施例提供的深度学习模型应用于障碍物特征提取场景中，可以与障碍物轨迹处理模型联合训练。即训练样本包括障碍物的信息以及障碍物轨迹标签。可以利用训练样本同时训练深度学习模型以及障碍物轨迹处理模型。

根据本公开的实施例，相比于将深度学习模型与其他模型联合训练的方式，采用本公开实施例提供的对深度学习模型单独训练的方法，可以使得深度学习模型的调参过程更为精准。

图6示意性示出了根据本公开实施例的信息处理方法的流程图。

如图6所示，该方法包括操作S610～S620。

在操作S610，将待处理对象的历史信息输入至目标深度学习模型中，得到待处理对象的特征向量。

在操作S620，基于待处理对象的特征向量，生成待处理对象在未来时刻的目标对象信息。

根据本公开的实施例，目标深度学习模型是利用本公开实施例提供的深度学习模型的训练方法训练得到的。

根据本公开的实施例，待处理对象的数量不做限定，一般可以为多个。待处理对象的类型不做限定，例如，待处理对象可以为障碍物，但是并不局限于此，待处理对象还可以为具有实际意义的实体。

根据本公开的实施例，以多个待处理对象为例。目标深度学习模型可以包括特征提取模块和图神经网络。可以利用特征提取模块分别提取多个待处理对象各自的历史信息的特征，得到多个待处理对象各自的特征信息。并基于多个待处理对象各自的特征信息，生成目标图谱。目标图谱中的节点用于表征待处理对象，目标图谱中的多个节点彼此之间的连接边用于表征多个待处理对象彼此之间的关联关系。利用目标深度学习模型处理目标图谱，得到多个待处理对象各自的特征向量。

根据本公开的实施例，针对多个待处理对象中的每个待处理对象，可以利用障碍物轨迹处理模型来基于待处理对象的特征向量，生成待处理对象在未来时刻的目标对象信息。目标对象信息可以为与待处理对象的历史信息相匹配的信息，例如障碍物的位置信息、加速度信息、速度信息、行驶方向等信息中的一种或多种。但是并不局限于此。目标对象信息还可以是综合障碍物的位置信息、加速度信息、速度信息、行驶方向等信息而得到的最终信息，例如障碍物的目标轨迹信息。该障碍物轨迹处理模型的网络结构不做限定，例如可以包括卷积神经网络、循环神经网络、和/或者激活函数等。只要是能够基于待处理对象的特征向量，得到待处理对象在未来时刻的目标对象信息即可。

根据本公开的实施例，目标深度学习模型是利用本公开实施例提供的深度学习模型的训练方法训练得到的，能够提取单个待处理对象的节点的特征信息的同时，能够有效地融合与待处理对象存在关联关系的相邻待处理对象的节点的特征信息。进而使得待处理对象的特征向量在表征待处理对象的历史信息的特征的同时，能够表征与待处理对象存在关联关系的待处理对象的特征。

根据本公开的实施例，相比于基于单个待处理对象的特征信息得到的待处理对象的特征向量，利用本公开实施例提供的方式得到的待处理对象的特征向量，能够将不同待处理对象之间的影响进行考虑并融合，更符合实际情况。应用于障碍物的信息的特征提取场景中，能够更精准地表征多个障碍物之间的交互影响，进而能够使得自动驾驶车辆基于待处理对象的特征向量，得到更为精准的目标对象信息。以使得自动驾驶车辆的避障能力得到提高。

图7示意性示出了根据本公开实施例的深度学习模型的训练装置的框图。

如图7所示，深度学习模型的训练装置700可以包括处理模块710、输出模块720、以及训练模块730。

处理模块710，用于利用深度学习模型处理掩码的目标图谱，得到目标对象的特征向量，其中，掩码的目标图谱包括多个节点，节点用于表征对象，多个节点彼此之间的连接边用于表征多个对象彼此之间的关联关系，多个节点中的目标节点的特征信息被掩码，目标节点与多个对象中的目标对象相匹配。

输出模块720，用于基于目标对象的特征向量，得到目标对象的目标特征信息。

训练模块730，用于利用目标对象的初始特征信息和目标特征信息，训练深度学习模型，得到目标深度学习模型，其中，目标对象的初始特征信息包括目标对象的未掩码的特征信息。

根据本公开的实施例，深度学习模型包括特征提取模块。

根据本公开的实施例，深度学习模型的训练装置还可以包括第一提取模块、第二提取模块、第一掩码模块、以及第一生成模块。

第一提取模块，用于利用特征提取模块提取目标对象的信息，得到目标对象的初始第一特征信息。

第二提取模块，用于利用特征提取模块提取目标关联对象的信息，得到第二特征信息，其中，目标关联对象包括多个对象中除目标对象外的其他对象。

第一掩码模块，用于掩码目标对象的初始第一特征信息，得到目标对象的第一特征信息。

第一生成模块，用于基于第一特征信息和第二特征信息，生成掩码后的目标图谱。

根据本公开的实施例，深度学习模型的训练装置还可以包括第二掩码模块、第三提取模块、第四提取模块、以及第二生成模块。

第二掩码模块，用于掩码目标对象的信息中的部分信息，得到目标对象的目标信息。

第三提取模块，用于利用特征提取模块提取目标对象的目标信息，得到第三特征信息。

第四提取模块，用于利用特征提取模块提取目标关联对象的信息，得到第二特征信息，其中，目标关联对象包括多个对象中除目标对象外的其他对象。

第二生成模块，用于基于第三特征信息和第二特征信息，生成掩码后的目标图谱。

根据本公开的实施例，第二掩码模块可以包括掩码单元。

掩码单元，用于掩码目标对象的信息中与目标时间信息相匹配的部分信息，得到目标对象的目标信息。

根据本公开的实施例，深度学习模型的训练装置还可以包括第一确定模块、以及第二确定模块。

第一确定模块，用于基于预定位置信息和预定时间信息，确定多个对象。

第二确定模块，用于确定多个对象各自的信息。

根据本公开的实施例，深度学习模型包括图神经网络。

根据本公开的实施例，处理模块可以包括处理单元。

处理单元，用于将掩码的目标图谱输入至图神经网络中，得到目标对象的特征向量。

图8示意性示出了根据本公开实施例的信息处理装置的框图。

如图8所示，信息处理装置800可以包括输入模块810、以及信息生成模块820。

输入模块810，用于将待处理对象的历史信息输入至目标深度学习模型中，得到待处理对象的特征向量。

信息生成模块820，用于基于待处理对象的特征向量，生成待处理对象在未来时刻的目标对象信息，

根据本公开的实施例，目标深度学习模型是利用本公开实施例提供的深度学习模型的训练装置训练得到的。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品和一种自动驾驶车辆。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例的方法。

根据本公开的实施例，一种配置有上述电子设备的自动驾驶车辆，配置的电子设备可在其处理器执行时能够实现上述实施例所描述的信息处理方法。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如深度学习模型的训练方法或者信息处理方法。例如，在一些实施例中，深度学习模型的训练方法或者信息处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的深度学习模型的训练方法或者信息处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度学习模型的训练方法或者信息处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种深度学习模型的训练方法，包括：

利用所述深度学习模型，

基于掩码的目标图谱中未被掩码的节点的特征信息，进行特征融合计算得到目标障碍物的特征向量，其中，所述掩码的目标图谱包括多个节点，所述节点用于表征障碍物，所述多个节点彼此之间的连接边用于表征多个障碍物彼此之间的关联关系，所述多个节点中的目标节点的特征信息被掩码，所述目标节点与所述多个障碍物中的所述目标障碍物相匹配；

对目标障碍物的特征向量进行解码处理，得到目标对象的目标特征信息；以及

利用所述目标障碍物的初始特征信息和所述目标特征信息，训练所述深度学习模型，得到目标深度学习模型，其中，所述目标障碍物的初始特征信息包括所述目标障碍物的未掩码的特征信息，

其中，所述掩码的目标图谱是根据以下操作确定的：

根据所述多个障碍物的信息，确定掩码的特征信息，其中，所述障碍物的信息包括障碍物的位置信息、加速度信息、速度信息、行驶方向和体积信息中的至少一个；以及

基于所述掩码的特征信息，生成所述掩码的目标图谱；

所述利用所述目标障碍物的初始特征信息和所述目标特征信息，训练所述深度学习模型，包括：

根据所述初始特征信息和所述目标特征信息，确定损失值，根据所述损失值，调整所述深度学习模型的参数。

2.根据权利要求1所述的方法，其中，所述掩码的特征信息包括第一特征信息和第二特征信息；所述深度学习模型包括特征提取模块；

所述方法还包括：

利用所述特征提取模块提取所述目标障碍物的信息，得到所述目标障碍物的初始第一特征信息；

利用所述特征提取模块提取目标关联障碍物的信息，得到第二特征信息，其中，所述目标关联障碍物包括所述多个障碍物中除所述目标障碍物外的其他障碍物；

掩码所述目标障碍物的初始第一特征信息，得到所述目标障碍物的第一特征信息；以及

基于所述第一特征信息和所述第二特征信息，生成所述掩码后的目标图谱。

3.根据权利要求1所述的方法，其中，所述掩码的特征信息包括第三特征信息和第二特征信息；所述深度学习模型包括特征提取模块；

所述方法还包括：

掩码所述目标障碍物的信息中的部分信息，得到所述目标障碍物的目标信息；

利用所述特征提取模块提取所述目标障碍物的目标信息，得到第三特征信息；

利用所述特征提取模块提取目标关联障碍物的信息，得到第二特征信息，其中，所述目标关联障碍物包括所述多个障碍物中除所述目标障碍物外的其他障碍物；以及

基于所述第三特征信息和所述第二特征信息，生成所述掩码后的目标图谱。

4.根据权利要求3所述的方法，其中，所述掩码所述目标障碍物的信息中的部分信息，得到所述目标障碍物的目标信息包括：

掩码所述目标障碍物的信息中与目标时间信息相匹配的部分信息，得到所述目标障碍物的目标信息。

5.根据权利要求2至4中任一项所述的方法，还包括：

基于预定位置信息和预定时间信息，确定多个障碍物；以及

确定所述多个障碍物各自的信息。

6.根据权利要求1所述的方法，其中，所述深度学习模型包括图神经网络；

所述基于掩码的目标图谱中未被掩码的节点的特征信息，进行特征融合计算得到目标障碍物的特征向量，包括：

将所述掩码的目标图谱输入至所述图神经网络中，得到所述目标障碍物的特征向量。

7.根据权利要求5所述的方法，其中，所述多个障碍物中的至少一个障碍物包括动态障碍物；

所述多个障碍物中的至少一个障碍物的信息包括不同时刻的多个状态信息。

8.一种信息处理方法，包括：

将待处理障碍物的历史信息输入至目标深度学习模型中，得到所述待处理障碍物的特征向量；以及

基于所述待处理障碍物的特征向量，生成所述待处理障碍物在未来时刻的目标障碍物信息，

其中，所述目标深度学习模型是利用根据权利要求1至7任一项所述方法训练得到的。

9.一种深度学习模型的训练装置，包括：

处理模块，用于利用所述深度学习模型，基于掩码的目标图谱中未被掩码的节点的特征信息，进行特征融合计算得到目标障碍物的特征向量，其中，所述掩码的目标图谱包括多个节点，所述节点用于表征障碍物，所述多个节点彼此之间的连接边用于表征多个障碍物彼此之间的关联关系，所述多个节点中的目标节点的特征信息被掩码，所述目标节点与所述多个障碍物中的所述目标障碍物相匹配；

输出模块，用于利用所述深度学习模型，对目标障碍物的特征向量进行解码处理，得到目标对象的目标特征信息；以及

训练模块，用于利用所述目标障碍物的初始特征信息和所述目标特征信息，训练所述深度学习模型，得到目标深度学习模型，其中，所述目标障碍物的初始特征信息包括所述目标障碍物的未掩码的特征信息，

其中，所述掩码的目标图谱是根据以下操作确定的：

根据所述多个障碍物的信息，确定掩码的特征信息，其中，所述障碍物的信息包括障碍物的位置信息、加速度信息、速度信息、行驶方向和体积信息中的至少一个；以及

基于所述掩码的特征信息，生成所述掩码的目标图谱；

所述利用所述目标障碍物的初始特征信息和所述目标特征信息，训练所述深度学习模型，包括：

根据所述初始特征信息和所述目标特征信息，确定损失值，根据所述损失值，调整所述深度学习模型的参数。

10.根据权利要求9所述的装置，其中，所述掩码的特征信息包括第一特征信息和第二特征信息；所述深度学习模型包括特征提取模块；

所述装置还包括：

第一提取模块，用于利用所述特征提取模块提取所述目标障碍物的信息，得到所述目标障碍物的初始第一特征信息；

第二提取模块，用于利用所述特征提取模块提取目标关联障碍物的信息，得到第二特征信息，其中，所述目标关联障碍物包括所述多个障碍物中除所述目标障碍物外的其他障碍物；

第一掩码模块，用于掩码所述目标障碍物的初始第一特征信息，得到所述目标障碍物的第一特征信息；以及

第一生成模块，用于基于所述第一特征信息和所述第二特征信息，生成所述掩码后的目标图谱。

11.根据权利要求10所述的装置，其中，所述掩码的特征信息包括第三特征信息和第二特征信息；所述深度学习模型包括特征提取模块；

所述装置还包括：

第二掩码模块，用于掩码所述目标障碍物的信息中的部分信息，得到所述目标障碍物的目标信息；

第三提取模块，用于利用所述特征提取模块提取所述目标障碍物的目标信息，得到第三特征信息；

第四提取模块，用于利用所述特征提取模块提取目标关联障碍物的信息，得到第二特征信息，其中，所述目标关联障碍物包括所述多个障碍物中除所述目标障碍物外的其他障碍物；以及

第二生成模块，用于基于所述第三特征信息和所述第二特征信息，生成所述掩码后的目标图谱。

12.根据权利要求11所述的装置，其中，所述第二掩码模块包括：

掩码单元，用于掩码所述目标障碍物的信息中与目标时间信息相匹配的部分信息，得到所述目标障碍物的目标信息。

13.根据权利要求10至12中任一项所述的装置，还包括：

第一确定模块，用于基于预定位置信息和预定时间信息，确定多个障碍物；以及

第二确定模块，用于确定所述多个障碍物各自的信息。

14.根据权利要求9所述的装置，其中，所述深度学习模型包括图神经网络；

所述处理模块包括：

处理单元，用于将所述掩码的目标图谱输入至所述图神经网络中，得到所述目标障碍物的特征向量。

15.根据权利要求13所述的装置，其中，所述多个障碍物中的至少一个障碍物包括动态障碍物；

所述多个障碍物中的至少一个障碍物的信息包括不同时刻的多个状态信息。

16.一种信息处理装置，包括：

输入模块，用于将待处理障碍物的历史信息输入至目标深度学习模型中，得到所述待处理障碍物的特征向量；以及

信息生成模块，用于基于所述待处理障碍物的特征向量，生成所述待处理障碍物在未来时刻的目标障碍物信息，

其中，所述目标深度学习模型是利用根据权利要求9至15任一项所述装置训练得到的。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的深度学习模型的训练方法或权利要求8所述的信息处理方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的深度学习模型的训练方法或权利要求8所述的信息处理方法。

19.一种自动驾驶车辆，包括如权利要求17所述的电子设备。

Images