CN114140841A - 点云数据的处理方法、神经网络的训练方法以及相关设备 - Google Patents

Abstract

本申请实施例公开一种点云数据的处理方法、神经网络的训练方法以及相关设备，该方法可用于人工智能领域的点云数据的处理领域中。方法可以包括：获取与目标环境对应的点云数据，点云数据被划分为多个目标立方体；根据每个目标立方体内的目标点的初始信息，生成每个目标立方体的初始特征；根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征；对多个目标立方体的更新后的特征执行特征处理操作，得到与点云数据对应的预测结果。减少了整个点云数据的处理过程中消耗的计算机资源，有利于聚焦于点云数据所携带的重要信息，以提高输出的预测结果的准确度。

Description

点云数据的处理方法、神经网络的训练方法以及相关设备

技术领域

本申请涉及人工智能领域，尤其涉及一种点云数据的处理方法、神经网络的训练方法以及相关设备。

背景技术

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

利用模型对与车辆周围环境对应的点云数据进行目标检测是自动驾驶领域的一种常见的处理方式。具体的，从点云数据中采样得到多个目标关键点，获取与目标关键点距离小于采样半径的多个点的特征，根据与目标关键点距离小于采样半径的多个点的特征对目标关键点的特征进行更新，得到每个目标关键点的更新后特征，根据每个目标关键点的更新后特征进行目标检测，得到与点云数据对应的预测结果。

但由于需要对全部点云进行采样以确定目标关键点，当点云数量较多时，整个点云数据的处理过程会消耗大量的计算机资源。

发明内容

本申请实施例提供了一种点云数据的处理方法、神经网络的训练方法以及相关设备，基于多个目标立方体的特征执行目标检测操作，且根据注意力机制生成第一立方体的更新后的特征，不仅减少了整个点云数据的处理过程中消耗的计算机资源，有利于聚焦于点云数据所携带的重要信息，以提高预测结果的准确度。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种点云数据的处理方法，可用于人工智能领域的点云数据的处理领域中。方法可以包括：执行设备获取与目标环境对应的点云数据，点云数据包括多个目标点的初始信息；将待处理点云数据输入目标模型，以通过目标模型将待处理点云数据划分为多个目标立方体，其中，每个目标立方体内存在S个目标点，S为大于或等于0的整数。执行设备根据每个目标立方体内的目标点的初始信息，通过目标模型生成每个目标立方体的初始特征，并根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征。执行设备根据多个目标立方体的更新后的特征，通过目标模型执行特征处理操作，得到与点云数据对应的预测结果，预测结果表征目标环境中至少一个物体的信息；进一步地，预测结果用于指示目标环境中至少一个物体的位置信息或类别信息。

本实现方式中，根据第一立方体内的目标点的初始信息，通过目标模型生成第一立方体的初始特征之后，还会根据第一立方体的初始特征，根据注意力机制生成第一立方体的更新后的特征，进而根据多个目标立方体的更新后的特征进行目标检测，有利于聚焦于点云数据所携带的重要信息，以提高预测结果的准确度。

在第一方面的一种可能实现方式中，目标模型包括P个第一特征更新模块，P为大于或等于1的整数，执行设备根据注意力机制对多个目标立方体的初始特征进行更新，包括：在第一立方体满足第一预设条件的情况下，执行设备根据注意力机制，通过第一特征更新模块对多个目标立方体的初始特征中的每一个第一立方体进行特征更新。其中，第一立方体为多个目标立方体中的任意一个立方体，第一预设条件为第一立方体为非空立方体，也即第一预设条件为第一立方体不是空立方体，进一步地，非空立方体与空立方体的含义相反，每个空立方体的特征均为预设信息，也即每个非空立方体的特征均不是预设信息；更进一步地，第一立方体的初始特征和第一立方体的更新后的特征具体可以表现为长度为d的向量，预设信息也表现为一个长度为d的向量。作为示例，例如预设信息可以表现为一个包括d个0的向量，或者，例如预设信息可以表现为一个包括d个1的向量，或者，预设信息可以表现为一个包括d个不同数字的向量等。

本申请实施例中，在第一立方体不是空立方体的情况下，才会根据注意力机制对第一立方体进行特征更新，也即在经过第一特征更新模块对与待处理点云数据对应的多个目标立方体进行更新后，与待处理点云数据对应的多个目标立方体中空立方体和非空立方体的分布不会发生改变，从而既实现了多个目标立方体的特征更新，又有利于保留物体的边缘特征。

在第一方面的一种可能实现方式中，方法应用于执行设备，执行设备采用哈希表记录多个目标立方体中的空立方体，该哈希表中还记录有多个目标立方体中的非空立方体。进一步地，与多个目标立方体对应的哈希表可以包括关键字(key)和值两部分，哈希表中的关键字部分可以为基于目标立方体的索引信息得到；若某个目标立方体为空立方体，则与前述为空立方体的目标立方体对应的值可以为预设值，若某个目标立方体不是空立方体，则与前述非空立方体对应的值可以为该目标立方体在所有非空立方体中的顺序。

本申请实施例中，采用哈希表记录多个目标立方体中的空立方体的方式能够大大提高获取非空立方体的特征的过程的效率，进而有利于提高基于点云数据进行目标检测的过程的效率。

在第一方面的一种可能实现方式中，目标模型包括Q个第二特征更新模块，Q为大于或等于1的整数，执行设备根据注意力机制对多个目标立方体的初始特征中的每一个目标立方体的初始特征进行更新，包括：在第一立方体满足第二预设条件的情况下，执行设备根据注意力机制，通过第二特征更新模块对多个目标立方体的初始特征中的每一个第一立方体进行特征更新。其中，第二预设条件为立方体集合中存在非空立方体，该立方体集合包括第一立方体和与第一立方体对应的至少一个第二立方体，至少一个第二立方体为根据注意力机制从多个目标立方体中确定。

本申请实施例中，只有在第一立方体和多个第二立方体均为空立方体的情况下，才会不通过第二特征更新模块对第一立方体的特征进行更新，有利于更多的目标立方体的特征得到更新，有利于提高目标模型的特征获取能力。

在第一方面的一种可能实现方式中，目标模型包括P个第一特征更新模块和Q个第二特征更新模块，执行设备根据注意力机制对多个目标立方体的初始特征中的每一个目标立方体的初始特征进行更新，包括：在第一立方体满足第一预设条件的情况下，执行设备根据注意力机制，通过第一特征更新模块对多个目标立方体的初始特征中的每一个第一立方体进行特征更新。其中，第一预设条件为第一立方体为非空立方体，每个非空立方体的特征均不是预设信息。在第一立方体满足第二预设条件的情况下，执行设备根据注意力机制，通过第二特征更新模块对多个目标立方体的初始特征中的每一个第一立方体进行特征更新。其中，第二预设条件为立方体集合中存在非空立方体，该立方体集合包括第一立方体和与第一立方体对应的至少一个第二立方体，至少一个第二立方体为根据注意力机制从多个目标立方体中确定。

在第一方面的一种可能实现方式中，P的取值大于Q的取值。本申请实施例中，目标模型可以包括P个第一特征更新模块和Q个第二特征更新模块，且P的取值大于Q的取值，从而在尽量保留物体的边缘特征的基础上，提高目标模型的特征获取能力，有利于提高最终得到的预测结果的准确率。

在第一方面的一种可能实现方式中，执行设备根据注意力机制对多个目标立方体的初始特征中的每一个第一立方体进行特征更新，可以包括：执行设备通过第一局部注意力算子，获取与第一立方体对应的至少一个第二立方体，至少一个第二立方体包括第一立方体周围的预设范围内的所有目标立方体，第一立方体周围的预设范围内的每个第二立方体与第一立方体之间的距离小于或等于预设距离阈值，预设距离阈值的取值可以为1个目标立方体、2个目标立方体、3个目标立方体或其他取值等；根据至少一个第二立方体的特征，通过第一局部注意力算子对第一立方体进行特征更新。和/或，

执行设备通过第二局部注意力算子，获取与第一立方体对应的至少一个第二立方体，至少一个第二立方体为以第一立方体作为采样中心，对多个目标立方体进行采样得到；根据至少一个第二立方体的特征，通过第二局部注意力算子对第一立方体进行特征更新。

本申请实施例中，提供了与第一立方体对应的至少一个第二立方体的两种具体位置，提高了本方案的实现灵活性；且至少一个第二立方体为对待处理数据包括的多个目标立方体进行采样得到，也即第二立方体可以不限定为第一立方体周围的立方体，大大扩展了目标模型的感受野，从而提高了目标模型的特征获取能力，有利于提高最终得到的预测结果的准确率。

在第一方面的一种可能实现方式中，执行设备根据注意力机制对多个目标立方体中的每一第一立方体进行特征更新，还包括：执行设备根据第二立方体的特征，生成多个第三立方体的特征，一个第三立方体包括多个第二立方体；根据每个第三立方体的特征，基于全局注意力机制对多个目标立方体中的每一第一立方体进行特征更新，全局注意力机制为注意力机制中的一种。

本申请实施例中，与第一立方体对应的多个第二立方体包括所有目标立方体，也即利用与待处理点云数据对应的所有目标立方体的特征对第一立方体的特征进行更新，进一步扩大了目标模型的感受野，进一步提高了目标模型的特征获取能力；此外，一个第三立方体中包括多个第二立方体，也即将所有目标立方体划分为多个第三立方体，进而利用多个第三立方体的特征更新第一立方体的特征，有利于提高特征更新过程的效率。

在第一方面的一种可能实现方式中，第三立方体的特征可以为第三立方体包括的多个第二立方体的特征的统计值，前述统计值具体可以包括以下任一种或多种统计学特征：最大值、最小值、均值、方差或其他类型的统计学特征等；第三立方体的坐标可以为采用第三立方体包括的多个第二立方体中一个第二立方体的坐标，具体选用哪个第二立方体的坐标作为该第三立方体的坐标可以根据第三立方体的特征采用的是哪种类型的统计学特征来确定。

在第二方面的一种可能实现方式中，执行设备对多个目标立方体的更新后的特征执行特征处理操作，得到与点云数据对应的预测结果，包括：

执行设备对多个目标立方体的更新后的特征执行目标检测操作，得到与点云数据对应的预测结果，预测结果用于指示目标环境中至少一个物体的位置信息，配置有目标模型的执行设备可以为如下任一种设备：车辆、移动机器人或监控数据的处理设备；预测结果用于指示如下任一种信息：车辆周围环境中至少一个物体的位置、移动机器人周围环境中至少一个物体的位置或监控环境中至少一个物体的环境。或者，

执行设备对多个目标立方体的更新后的特征执行人脸识别操作，得到与点云数据对应的预测结果，目标环境中至少一个物体的信息包括目标环境中至少一个物体的类别信息，目标环境中至少一个物体的类别信息用于指示人脸匹配成功或人脸匹配失败，配置有目标模型的执行设备可以为如下任一种设备：终端设备、智能门锁、监控数据的处理设备；或者，

执行设备根据多个目标立方体的更新后的特征执行姿态识别操作，得到与点云数据对应的预测结果，目标环境中至少一个物体的信息包括目标环境中至少一个人体的形体特征和/或目标环境中至少一个人体行走时的步态特征；进一步地，形体特征可以指从视觉上、触觉上可以察觉到的目标对象的外观特征，形体特征可以是目标对象的固有特性，例如胖瘦特征、高矮特征、肌肉强壮特征等等。步态特征是指反映的行走时速度、行走姿势相关的信息。

本申请实施例中，提供了本方案的多个具体应用场景，提高了本方案的实现灵活性。

第二方面，本申请实施例提供了一种点云数据的处理方法，可用于人工智能领域的点云数据的处理领域中。方法可以包括：执行设备获取与目标车辆的周围环境对应的点云数据，其中，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，一个目标立方体内存在S个目标点，S为大于或等于0的整数；执行设备根据每个目标立方体内的目标点的初始信息，生成每个目标立方体的初始特征；根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征；执行设备对多个目标立方体的更新后的特征执行目标检测操作，得到与点云数据对应的预测结果，该预测结果用于指示目标车辆的周围环境中至少一个物体的位置。

在第二方面的一种可能实现方式中，执行设备根据注意力机制对多个目标立方体的初始特征进行更新，包括：在第一立方体满足第一预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体的初始特征进行更新，第一立方体为多个目标立方体中的任意一个立方体，第一预设条件为第一立方体为非空立方体，非空立方体的特征不是预设信息。

在第二方面的一种可能实现方式中，执行设备根据注意力机制对多个目标立方体的初始特征进行更新，还包括：在第一立方体满足第二预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体进行特征更新；其中，第二预设条件为立方体集合中存在非空立方体，立方体集合包括第一立方体和与第一立方体对应的至少一个第二立方体，至少一个第二立方体为根据注意力机制从多个目标立方体中确定。

本申请实施例的第二方面提供的执行设备还可以执行第一方面的各个可能实现方式中执行设备执行的步骤，对于本申请实施例第二方面以及第二方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第三方面，本申请实施例提供了一种神经网络的训练方法，可用于人工智能领域的点云数据的处理领域中。方法可以包括：训练设备获取与目标环境对应的点云数据，其中，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，一个目标立方体内存在S个目标点，S为大于或等于0的整数；训练设备根据每个目标立方体内的目标点的初始信息，通过待训练模型生成每个目标立方体的初始特征，并根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征；根据多个目标立方体的更新后的特征，通过待训练模型执行特征处理操作，得到与点云数据对应的预测结果；训练设备根据目标损失函数，对待训练模型进行训练，其中，目标损失函数用于指示预测结果和与点云数据对应的期望结果之间的相似度。

在第三方面的一种可能实现方式中，训练设备根据注意力机制对多个目标立方体的初始特征进行更新，包括：在第一立方体满足第一预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体的初始特征进行更新，第一立方体为多个目标立方体中的任意一个立方体，第一预设条件为第一立方体为非空立方体，非空立方体的特征不是预设信息。

在第三方面的一种可能实现方式中，训练设备根据注意力机制对多个目标立方体的初始特征进行更新，还包括：在第一立方体满足第二预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体进行特征更新；其中，第二预设条件为立方体集合中存在非空立方体，立方体集合包括第一立方体和与第一立方体对应的至少一个第二立方体，至少一个第二立方体为根据注意力机制从多个目标立方体中确定。

本申请实施例的第三方面提供的训练设备还可以执行第一方面的各个可能实现方式中执行设备执行的步骤，对于本申请实施例第三方面以及第三方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第四方面，本申请实施例提供了一种点云数据的处理方法，可用于人工智能领域的点云数据的处理领域中。方法可以包括：执行设备检测到指示人脸识别的操作；执行设备响应于指示人脸识别的操作，输出人脸识别结果；其中，人脸识别结果包括匹配成功和匹配失败，人脸识别结果根据多个目标立方体的更新后的特征得到，目标立方体的更新后的特征为根据注意力机制对目标立方体的初始特征进行特征更新后得到，目标立方体的初始特征基于采集到的与目标环境对应的点云数据得到，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，一个目标立方体内存在S个目标点，S为大于或等于0的整数。

在第四方面的一种可能实现方式中，检测到指示人脸识别的操作，包括：检测到如下任一种操作时，视为检测到指示人脸识别的操作：解锁手机的操作、支付操作或打开加密数据的操作；或者，检测到用户输入的开门操作；或者，检测到用户输入的人脸匹配操作。本申请实施例中，提供了检测到人脸识别操作的多种应用场景，提高了本方案的实现灵活性。

本申请实施例的第四方面提供的执行设备还可以执行第二方面的各个可能实现方式中执行设备执行的步骤，对于本申请实施例第四方面以及第四方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第二方面中各种可能的实现方式中的描述，此处不再一一赘述。

第五方面，本申请实施例提供了一种点云数据的处理装置，可用于人工智能领域的点云数据的处理领域中。点云数据的处理装置包括：获取模块，用于获取与目标环境对应的点云数据，其中，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，每个目标立方体内存在S个目标点，S为大于或等于0的整数；生成模块，用于根据每个目标立方体内的目标点的初始信息，生成每个目标立方体的初始特征；更新模块，用于根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征；处理模块，用于对多个目标立方体的更新后的特征执行特征处理操作，得到与点云数据对应的预测结果，预测结果表征目标环境中至少一个物体的信息。

本申请实施例的第五方面提供的点云数据的处理装置还可以执行第一方面的各个可能实现方式中执行设备执行的步骤，对于本申请实施例第五方面以及第五方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第六方面，本申请实施例提供了一种神经网络的训练装置，可用于人工智能领域的点云数据的处理领域中。神经网络的训练装置可以包括：获取模块，用于获取与目标环境对应的点云数据，其中，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，一个目标立方体内存在S个目标点，S为大于或等于0的整数；生成模块，用于根据每个目标立方体内的目标点的初始信息，通过待训练模型生成每个目标立方体的初始特征；更新模块，用于根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征；处理模块，用于根据多个目标立方体的更新后的特征，通过待训练模型执行特征处理操作，得到与点云数据对应的预测结果；训练模块，用于根据目标损失函数，对待训练模型进行训练，其中，目标损失函数用于指示预测结果和与点云数据对应的期望结果之间的相似度。

本申请实施例的第六方面提供的神经网络的训练装置还可以执行第三方面的各个可能实现方式中训练设备执行的步骤，对于本申请实施例第六方面以及第六方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第三方面中各种可能的实现方式中的描述，此处不再一一赘述。

第七方面，本申请实施例提供了一种点云数据的处理装置，可用于人工智能领域的点云数据的处理领域中。点云数据的处理装置包括：检测模块，用于检测到指示人脸识别的操作；输出模块，用于响应于指示人脸识别的操作，输出人脸识别结果；其中，人脸识别结果包括匹配成功和匹配失败，人脸识别结果根据多个目标立方体的更新后的特征得到，目标立方体的更新后的特征为根据注意力机制对目标立方体的初始特征进行特征更新后得到，目标立方体的初始特征基于采集到的与目标环境对应的点云数据得到，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，一个目标立方体内存在S个目标点，S为大于或等于0的整数。

本申请实施例的第七方面提供的点云数据的处理装置还可以执行第四方面的各个可能实现方式中执行设备执行的步骤，对于本申请实施例第七方面以及第七方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第三方面中各种可能的实现方式中的描述，此处不再一一赘述。

第八方面，本申请实施例提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面、第二方面或第四方面所述的点云数据的处理方法，或者，使得计算机执行上述第三方面所述的神经网络的训练方法。

第九方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述程序在计算机上运行时，使得计算机执行上述第一方面、第二方面或第四方面所述的点云数据的处理方法，或者，使得计算机执行上述第三方面所述的神经网络的训练方法。

第十方面，本申请实施例提供了一种执行设备，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第一方面、第二方面或第四方面所述的点云数据的处理方法。

第十一方面，本申请实施例提供了一种训练设备，可以包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现上述第三方面所述的神经网络的训练方法。

第十二方面，本申请实施例提供了一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行上述第一方面、第二方面或第四方面所述的点云数据的处理方法，或者，所述处理电路配置为执行上述第三方面所述的神经网络的训练方法。

第十三方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于实现上述各个方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存服务器或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1a为本申请实施例提供的人工智能主体框架的一种结构示意图；

图1b为本申请实施例提供的点云数据的处理方法的一个应用场景图；

图2a为本申请实施例提供的点云数据的处理系统的一种系统架构图；

图2b为本申请实施例提供的点云数据的处理方法的一种流程示意图；

图2c为本申请实施例提供的点云数据的处理方法中目标模型的一种示意图；

图3为本申请实施例提供的点云数据的处理方法的另一种流程示意图；

图4为本申请实施例提供的点云数据的处理方法中待处理点云数据与目标立方体的一种示意图；

图5为本申请实施例提供的待处理点云数据的处理方法中与第一局部注意力算子对应的多个第二立方体的一种示意图；

图6为本申请实施例提供的待处理点云数据的处理方法中与第二局部注意力算子对应的多个第二立方体的一种示意图；

图7为本申请实施例提供的待处理点云数据的处理方法中与全局注意力算子对应的多个第二立方体的一种示意图；

图8为本申请实施例提供的待处理点云数据的处理方法中与第一局部注意力算子和第二局部注意力算子对应的多个第二立方体的一种示意图；

图9a为本申请实施例提供的待处理点云数据的处理方法中第一特征更新模块的一种示意图；

图9b为本申请实施例提供的待处理点云数据的处理方法中第一特征更新模块的一种示意图；

图10为本申请实施例提供的待处理点云数据的处理方法中利用哈希表来判断多个目标立方体是否为空立方体的一种示意图；

图11为本申请实施例提供的待处理点云数据的处理方法中目标模型的特征更新模块的一种示意图；

图12为本申请实施例提供的点云数据的处理方法的又一种流程示意图；

图13为本申请实施例提供的神经网络的训练方法的一种流程示意图；

图14为本申请实施例提供的点云数据的处理方法的另一种流程示意图；

图15为本申请实施例提供的点云数据的处理方法中检测到指示人脸识别的操作的一种示意图；

图16为本申请实施例提供的点云数据的处理装置的一种结构示意图；

图17为本申请实施例提供的点云数据的处理装置的另一种结构示意图；

图18为本申请实施例提供的神经网络的训练装置的一种结构示意图；

图19为本申请实施例提供的点云数据的处理装置的另一种结构示意图；

图20为本申请实施例提供的执行设备的一种结构示意图；

图21为本申请实施例提供的训练设备的一种结构示意图；

图22为本申请实施例提供的芯片的一种结构示意图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

首先对人工智能系统总体工作流程进行描述，请参见图1a，图1a示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。

(1)基础设施

基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片提供，该智能芯片具体可以采用中央处理器(central processing unit，CPU)、嵌入式神经网络处理器(neural-network processing unit，NPU)、图形处理器(graphics processing unit，GPU)、专用集成电路(application specific integrated circuit，ASIC)或现场可编程门阵列(fieldprogrammable gate array，FPGA)等硬件加速芯片；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。

(2)数据

基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。

(3)数据处理

数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。

其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。

推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。

决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。

(4)通用能力

对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。

(5)智能产品及行业应用

智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、智慧城市等。

本申请可以应用于人工智能领域的点云数据的处理领域中，具体的，可以应用于利用点云数据进行目标检测、人脸识别、姿态识别或其他应用场景中，下面对本申请实施例的具体应用场景进行举例说明。

应用场景一：目标检测

本申请实施例中，作为示例，例如在自动驾驶领域中，自动驾驶车辆通过传感器采集自车周围环境所对应的点云数据，并基于采集到的点云数据通过目标模型进行目标检测，得到与点云数据对应的预测结果，该预测结果用于指示目标车辆的周围环境中至少一个物体的位置，自动驾驶车辆可以根据前述预测结果规划自车的行驶路径。为更直观地理解本方案，请参阅图1b，图1b为本申请实施例提供的点云数据的处理方法的一个应用场景图，如图所示，左图中的车辆通过传感器能够采集到右图中示出的点云数据，车辆基于采集到的点云数据通过目标模型进行目标检测，应理解，此处举例仅为方便理解本方案，不用于限定本方案。

需要说明的是，上述车辆可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等，本申请实施例不做特别的限定。

作为另一示例，例如在智能家居领域中，移动机器人(例如扫地机器人、家教机器人或其他可移动的机器人等)可以采集机器人周围环境所对应的点云数据，并基于采集到的点云数据通过目标模型进行目标检测，得到点云数据对应的预测结果，该预测结果用于指示移动机器人周围的至少一个障碍物的位置。

作为另一示例，例如在智能制造领域中，配置于工厂中的监控设备可以采集监控区域所对应的点云数据，并基于采集到的点云数据通过目标模型进行目标检测，得到点云数据对应的预测结果，该预测结果用于指示监控区域中至少一个物体的位置。

应用场景二：人脸识别

本申请实施例中，作为示例，例如在智能终端领域，当终端设备需要解锁屏幕、进行支付、打开加密数据或执行其他操作时，终端设备可以采集周围环境所对应的点云数据，根据采集到的点云数据，通过人脸识别的方式进行身份认证，以实现仅由特定用户成功执行前述操作。

作为另一示例，例如在智能安防领域中，智能门锁可以采集周围环境所对应的点云数据，根据采集到的点云数据，通过人脸识别的方式进行身份认证，以实现仅由特定用户成功打开该智能门锁。

作为另一示例，例如在智能安防领域哄，智能监控可以采集周围环境所对应的点云数据，当周围环境中存在目标人脸时，可以根据采集到的点云数据，获取目标人脸的特征信息，并与数据库中的多个人的人脸特征进行对比，以获取到目标人脸的身份信息等。

应用场景三：姿态识别

本申请实施例中，在智能家居、智能终端或其他领域中，都可以根据采集到的人体的点云数据进行姿态识别，得到与人体对应的姿态特征。

其中，体态特征可以包括形体特征和/或行走时的步态特征。进一步地，形体特征可以指从视觉上、触觉上可以察觉到的目标对象的外观特征，形体特征可以是目标对象的固有特性，例如胖瘦特征、高矮特征、肌肉强壮特征等等。步态特征是指反映的行走时速度、行走姿势相关的信息，由于不同的目标对象在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、体重、重心、肌肉或骨骼受损的程度、生理条件以及个人走路的风格上都存在细微差异，因此不同目标对象的步态特征存在着差异。

作为示例，例如在智能家居场景中，目标对象的移动可以为在地面上行走时的移动，体态特征可以包括行走时的形体特征以及行走时的步态特征，在智能座舱的场景中，目标对象的移动可以为上下车时的移动，体态特征可以包括上下车时的形体特征等等。

需要说明的是，上述举例仅为方便理解本方案的应用场景，不用于限定本方案，此处不对本申请实施例的所有应用场景进行一一列举。在上述种种场景中，均存在整个点云数据的处理过程会消耗大量的计算机资源的问题。

为了解决上述问题，在对本申请实施例提供的点云数据的处理方法进行详细介绍之前，先结合图2a对本申请实施例提供的点云数据的处理系统进行介绍。请先参阅图2a，图2a为本申请实施例提供的点云数据的处理系统的一种系统架构图，在图2a中，点云数据的处理系统200包括执行设备210、训练设备220、数据库230和数据存储系统240，执行设备210中包括计算模块211。

其中，数据库230中存储有训练数据集合，训练设备220生成目标模型/规则201，并利用数据库230中的训练数据集合对目标模型/规则201进行迭代训练，得到成熟的目标模型/规则201。进一步地，目标模型/规则201具体可以采用神经网络或非神经网络类型的模型来实现。

训练设备220得到的成熟的目标模型/规则201可以应用不同的系统或设备中，例如车辆、移动机器人、监控数据的处理设备或其他处理点云数据的设备等等。其中，执行设备210可以调用数据存储系统240中的数据、代码等，也可以将数据、指令等存入数据存储系统240中。数据存储系统240可以置于执行设备210中，也可以为数据存储系统240相对执行设备210是外部存储器。

执行设备210可以获取与目标环境对应的点云数据，计算模块211可以通过目标模型/规则201，根据采集到的点云数据进行目标检测，得到与点云数据对应的预测结果，预测结果用于指示目标车辆的周围环境中至少一个物体的位置。

执行设备210可以通过目标模型/规则201执行如下步骤。具体的，请参阅图2b，图2b为本申请实施例提供的点云数据的处理方法的一种流程示意图，A1、执行设备210获取与目标环境对应的点云数据，其中，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，每个目标立方体内存在S个目标点，S为大于或等于0的整数；A2、执行设备210根据每个目标立方体内的目标点的初始信息，生成每个目标立方体的初始特征；A3、执行设备210根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征；A4、执行设备210对多个目标立方体的更新后的特征执行特征处理操作，得到与点云数据对应的预测结果，预测结果表征目标环境中至少一个物体的信息。

进一步地，为了方便理解本方案，请参阅图2c，图2c为本申请实施例提供的点云数据的处理方法中目标模型的一种示意图，如图所示，执行设备在获取到与目标车辆的周围环境对应的点云数据后，通过目标模型将点云数据被划分为多个目标立方体，生成多个目标立方体的初始特征。执行设备通过目标模型对目标立方体进行特征更新，得到多个目标立方体的更新后的特征。执行设备根据多个目标立方体的更新后的特征，执行目标检测操作，得到与点云数据对应的预测结果，预测结果用于指示目标车辆的周围环境中至少一个物体的位置，应理解，图2c中的示例仅为方便理解本方案，不用于限定本方案。

本申请实施例中，将与目标车辆的周围环境对应的点云数据划分为多个立方体，再基于多个目标立方体的特征执行目标检测操作，也即本申请实施例中的处理对象的最小粒度不再是一个目标点，而是一个立方体，减少了整个点云数据的处理过程中消耗的计算机资源，有利于提高目标模型的运行效率；且还会根据第一立方体的初始特征，根据注意力机制生成第一立方体的更新后的特征，进而根据多个目标立方体的更新后的特征进行目标检测，有利于聚焦于点云数据所携带的重要信息，有利于提高预测结果的准确度。

本申请的一些实施例中，请参阅图2a，“用户”可以直接与执行设备210交互，值得注意的，图2a仅是本发明实施例提供的点云数据的处理系统的一种架构示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。例如，在本申请的另一些实施例中，执行设备210和客户设备也可以为分别独立的设备，执行设备210配置有输入/输出(in/out，I/O)接口，执行设备210通过I/O接口与客户设备进行数据交互。

为了方便理解本方案，在对本申请实施例提供的点云数据的处理方法进行详细介绍之前，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。

(1)注意力机制

在深度学习中，注意力机制可以被广义地定义为一个描述重要性的权重向量：通过这个权重向量为了预测或者推断一个元素。比如，对于图像中的某个像素或句子中的某个单词，可以使用注意力向量定量地估计出目标元素与其他元素之间的相关性，并由注意力向量的加权和作为目标的近似值。

深度学习中的注意力机制模拟的是人脑的注意力机制。举个例子来说，当人类观赏一幅画时，虽然人类的眼睛可以看到整幅画的全貌，但是在人类深入仔细地观察时，其实眼睛聚焦的只有整幅画中的一部分图案，这个时候人类的大脑主要关注在这一小块图案上。也就是说，在人类仔细观察图像时，人脑对整幅图像的关注并不是均衡的，是有一定的权重区分的，这就是注意力机制的核心思想。

简单来说，人类的视觉处理系统往往会选择性地聚焦于图像的某些部分上，而忽略其它不相关的信息，从而有助于人脑的感知。类似地，在深度学习的注意力机制中，在涉及语言、语音或视觉的一些问题中，输入的某些部分相比其它部分可能更相关。因此，通过注意力模型中的注意力机制，能够让注意力模型仅动态地关注有助于有效执行手头任务的部分输入。

(2)特征更新

通过目标模型生成第一立方体的初始特征的过程，和，对第一立方体进行特征更新以得到第一立方体的更新后的特征的过程，均包含于利用目标模型对点云数据进行特征提取的过程中。特征提取是指将原始的点云数据转换为适合建模的特征数据，同时仍能准确地描述原始数据集的过程。

(3)空立方体

在通过目标模型生成第一立方体的初始特征的过程中，空立方体指的是包含0个点的立方体，则执行设备会将空立方体的初始特征确定为预设信息；在对多个目标立方体进行特征更新的过程中，空立方体的特征为预设信息，也即空立方体包含0个点，且在特征更新的过程中被跳过。

(4)非空立方体

“非空立方体”与“空立方体”的含义相反，“非空立方体”的意思为不是空立方体。

(5)损失函数

在训练神经网络的过程中，为了使神经网络的输出尽可能的接近真正想要预测的值，可以通过比较神经网络输出的预测值和真正想要的期望值，根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的期望值或与真正想要的期望值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和期望值之间的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，神经网络的训练就变成了尽可能缩小这个loss的过程。

(6)反向传播算法

神经网络可以采用反向传播算法在训练过程中修正初始的神经网络中参数的大小，使得神经网络的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络的参数。

结合上述描述，下面开始对本申请实施例提供的点云数据的处理方法的推理阶段和训练阶段的具体实现流程进行描述。

一、推理阶段

本申请实施例中，推理阶段描述的是执行设备210如何利用目标模型/规则201，对采集到的点云数据进行目标检测以生成预测结果的过程，具体的，请参阅图3，图3为本申请实施例提供的点云数据的处理方法的另一种流程示意图，图3中先以本申请实施例应用于自动驾驶领域为例进行说明，也即以“与目标环境对应的点云数据”具体表现为“与目标车辆的周围环境对应的待处理点云数据”为例进行说明，本申请实施例提供的点云数据的处理方法可以包括：

301、执行设备获取与目标车辆的周围环境对应的待处理点云数据。

本申请实施例中，执行设备需要获取与目标车辆的周围环境对应的待处理点云数据(point cloud data)。具体的，在一些应用场景中，执行设备可以为目标车辆，则目标车辆可以通过传感器直接采集与目标车辆周围环境对应的待处理点云数据，前述传感器包括但不限于激光雷达、毫米波雷达或其他用于采集点云数据的传感器等。

进一步地，待处理点云数据可以为通过一个传感器采集到的点云数据；也可以为多个传感器采集到的点云数据进行融合处理后的点云数据。

在另一些应用场景中，执行设备可以接收其他执行设备发送的待处理点云数据，也即待处理点云数据所描述的不一定是执行设备周围的环境。

在另一些应用场景中，执行设备还可以从本地存储的多个点云数据中获取待处理点云数据等，此处不限定执行设备获取待处理点云数据的方式。

其中，待处理点云数据用于描述在目标时刻时目标车辆的周围环境，目标时刻指的可以为任意时刻。待处理点云数据包括与目标时刻的周围环境对应的多个目标点中每个目标点的初始信息，目标点的初始信息至少包括目标点的位置信息；可选地，待处理点云数据还可以包括每个目标点所对应的颜色信息、时间戳、反射强度(Intensity)、二次反射强度或其他类型的初始信息等，具体待处理点云数据中包括每个目标点的哪些信息需要结合实际产品形态确定，此处不做限定。

进一步地，每个目标点的位置信息可以是三维空间坐标，前述三维空间坐标可以是在三维的直角坐标系下的坐标、球坐标系(spherical coordinate system)下的坐标或其他类型的三维坐标系下的坐标等，球坐标系中的任意一个目标点的位置可以由径向距离、天顶角和方位角三个指标来表示。

为进一步理解待处理点云数据的数据形态，作为示例，例如执行设备通过激光雷达以一定扫描速率采集周围的环境数据以得到待处理点云数据，待处理点云数据中包括N个目标点中每个目标点在三维直角坐标系下的坐标，待处理点云数据可以表现为{p_j}，j＝1～N，N代表待处理点云数据中包括的目标点的数量；p_j代表代表待处理点云数据中包括的任一个目标点，p_j＝[x，y，z]。

302、执行设备将待处理点云数据划分为多个目标立方体，每个目标立方体内存在S个目标点。

本申请实施例中，执行设备在获取到待处理点云数据后，可以将待处理点云数据输入目标模型，以根据待处理点云数据包括的每个目标点的位置信息，通过目标模型将待处理点云数据划分为多个目标立方体。其中，每个目标立方体内存在S个目标点，S为大于或等于0的整数；每个目标立方体也可以称为体素(voxel)，体素是体积元素(volume pixel)的简称。

为了更直观地理解本方案，请参阅图4，图4为本申请实施例提供的点云数据的处理方法中待处理点云数据与目标立方体的一种示意图。图4中以待处理点云数据中的点采用的为三维直角坐标系为例，图4中示出了位于三维直角坐标系下的点云数据，以及与点云数据对应的多个目标立方体，图4中以仅示出非空立方体为例，如图4所示，每个非空立方体中都包括多个点。应理解，在实际情况中，与待处理点云数据对应的多个目标立方体中也包括空立方体；此外，待处理点云数据中的点还可以为在其他类型的坐标系下的坐标，具体情况应结合实际来确定，图4中的示例仅为方便理解待处理点云数据与目标立方体之间的对应关系，不用于限定本方案。

可选地，执行设备还可以设定第一阈值，第一阈值为每个目标立方体可容纳的目标点的数量上限，若某个目标立方体内的目标点的数量大于该第一阈值，则将该目标立方体内超过第一阈值的至少一个目标点舍弃掉，以保证处理后的每个目标立方体内的目标点的数量均小于或等于第一阈值。

303、执行设备根据每个目标立方体内的目标点的初始信息，生成每个目标立方体的初始特征。

本申请实施例中，执行设备将待处理数据划分为多个目标立方体后，针对多个目标立方体内的任意一个目标立方体(为方便描述，后续称为“第一立方体”)，执行设备根据第一立方体内的目标点的初始信息，通过目标模型生成第一立方体的初始特征以及第一立方体在三维坐标系中的坐标。

其中，第一立方体的初始特征具体可以表现为长度为d的向量，也即无论一个目标立方体内包括多少个目标点，每个目标立方体的初始特征均可以表现为一个长度为d的向量。第一立方体在三维坐标系中的坐标可以为第一立方体的中心点在三维坐标系下的坐标。

具体的，执行设备可以通过目标模型判断第一立方体内的目标点的数量是否为0，若第一立方体内的目标点的数量不是0，则可以根据第一立方体内的至少一个目标点的初始信息，通过目标模型对第一立方体进行特征提取，得到第一立方体的初始特征。若第一立方体内的目标点的数量为0，则可以将预设信息确定为第一立方体的初始特征。

其中，预设信息也表现为一个长度为d的向量。作为示例，例如预设信息可以表现为一个包括d个0的向量，或者，例如预设信息可以表现为一个包括d个1的向量，或者，预设信息可以表现为一个包括d个不同数字的向量等，应理解，此处举例仅为方便理解预设信息的概念，预设信息的具体表现形式需要结合实际应用场景确定，此处不做限定。

执行设备重复执行上述步骤多次，直至获取到与待处理点云数据对应的每个目标立方体的初始特征。

304、执行设备根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征。

本申请实施例中，执行设备根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征。针对多个目标立方体内的任意一个目标立方体(为方便描述，后续称为“第一立方体”)，执行设备通过目标模型根据第一立方体的初始特征，根据注意力机制(attention mechanism)对第一立方体进行特征更新，得到第一立方体的更新后的特征。其中，第一立方体的更新后的特征的具体表现形式可以与第一立方体的初始特征的具体表现形式相似，第一立方体的更新后的特征具体也可以表现为一个长度为d的向量。

具体的，在一种实现方式中，目标模型可以包括P组顺序排列的第一特征更新模块，P为大于或等于1的整数；也即执行设备不仅可以对第一立方体的初始特征进行更新，还可以对第一立方体的更新后的特征进行更新。其中，一组第一特征更新模块中包括一个第一特征更新模块，或者，一组第一特征更新模块可以包括多个并列排列的第一特征模块。

步骤304可以包括：执行设备在通过第一特征更新模块确定第一立方体满足第一预设条件的情况下，通过第一特征更新模块根据注意力机制对第一立方体进行特征更新；其中，第一预设条件为第一立方体为非空立方体，也即第一预设条件为第一立方体不是空立方体，进一步地，非空立方体与空立方体的含义相反，每个空立方体的特征均为预设信息，也即每个非空立方体的特征均不是预设信息。执行设备在通过第一特征更新模块确定第一立方体不满足第一预设条件的情况下，不对第一立方体进行特征更新，并对下一个目标立方体进行处理。

针对执行设备判断第一立方体是否满足第一预设条件的过程。在一种实现方式中，执行设备可以采用哈希表记录多个目标立方体中哪些立方体为空立方体，以及采用哈希表记录多个目标立方体中也即采用哈希表记录多个目标立方体中哪些立方体为非空立方体。

可选地，由于执行设备采用哈希表记录多个目标立方体中哪些立方体为空立方体以及哪些立方体为非空立方体，且空立方体的特征均为预设信息，则与待处理点云数据对应的特征信息中可以仅存储多个目标立方体中非空立方体的特征。进一步地，执行设备可以采用稀疏矩阵的数据形式来存储非空立方体的特征。

需要说明的是，由于在通过第一特征更新模块对多个目标立方体进行特征更新的过程中，当确定第一立方体是空立方体的情况下，就会不再对第一立方体的特征进行更新，则通过第一特征更新模块对与待处理点云数据对应的多个目标立方体进行特征更新后，空立方体依旧是空立方体，则在利用第一特征更新模块对所有目标立方体进行特征更新后，与多个目标立方体对应的哈希表不会发生变化，也即相邻的两个第一特征更新模块可以共用相同的哈希表，以进一步减少了得到预测结果过程中的计算量。

则执行设备可以根据第一立方体的索引信息，通过查表(也即哈希表)的方式来判断第一立方体是否为空立方体。其中，每个目标立方体的索引信息也可以称为每个目标立方体的标识信息，或者也可以称为每个目标立方体的全局索引(global index)。

在一种实现方式中，第一立方体的索引信息可以第一立方体的位置信息。作为示例，结合上述图4所示，与待处理点云数据对应的多个目标立方体能够组成一个大的立方体，则第一立方体的位置信息分别通过在长、宽和高三个维度上的数字来定位。作为示例，例如与待处理点云数据对应的多个目标立方体能够组成一个长为68个目标立方体、宽为50个目标立方体且高为25个目标立方体的大的立方体，则一个第一立方体的索引信息可以为(0，0，0)、(0，1，0)、…、(31，44，24)、(31，45，24)、……或(67，49，24)中的任一个。

在另一种实现方式中，第一立方体的索引信息可以为与该第一立方体的位置信息一一对应的字符串，作为示例，例如第一立方体的位置信息为(1，2，0)，该第一立方体在且与待处理点云数据对应的所有立方体所构成的大的立方体为1024×1024×42，则第一立方体的索引信息可以转化为1×(1024×42)+2×42+0＝43092，需要说明的是，此处举例仅为方便理解本方案，不用于限定本方案。

与多个目标立方体对应的哈希表可以包括关键字(key)和值两部分。其中，哈希表中的关键字部分可以为基于目标立方体的索引信息得到；若某个目标立方体为空立方体，则与前述为空立方体的目标立方体对应的值可以为预设值，若某个目标立方体不是空立方体，则与前述非空立方体对应的值可以为该目标立方体在所有非空立方体中的顺序。

进一步地，针对与多个目标立方体对应的哈希表的创建过程。作为示例，例如执行设备可以先根据哈希函数的映射范围建立一个值全为-1(也即以预设值为-1为例)的哈希表。针对所有非空立方体中的顺序为第0个非空立方体(也即目标立方体的一个示例)，前述目标立方体的索引信息为(1，2，0)，且该目标立方体在且与待处理点云数据对应的所有立方体所构成的大的立方体为1024×1024×42。则目标立方体的索引信息可以转化为1×(1024×42)+2×42+0＝43092，假设所采用的hash函数为f(x)＝x％1001，则该目标立方体所对应的关键字和值被存放于哈希表中的第(43092％1001＝)49个位置上，哈希表的第49个位置上所存放的键值对为(43092，0)，如果遇到了哈希碰撞，则把对应的键值对向后顺延至第一个不是-1的位置上，执行设备对所有非空立方体均执行上述操作，从而可以完成与多个目标立方体对应的哈希表的建立，应理解，此处举例仅为理解本方案的可实现性，不用于限定本方案。

具体的，针对第一立方体的查询过程。执行设备获取第一立方体的位置信息，并获取与第一立方体的位置信息一一对应的字符串，将前述字符串输入至哈希函数中，得到该第一立方体在哈希表中的索引信息。

执行设备根据该第一立方体在哈希表中的索引信息，从哈希表的对应位置上获取关键字，判断获取到的关键字与得到的索引信息是否一致，若判断结果为否，则查找下个位置的关键字，直至从哈希表中找到与得到的索引信息一致的关键字，并从哈希表中获取与该关键字对应的值；若判断结果为是，则获取与该关键字对应的值。

判断获取到的与关键字对应的值是否为预设值，若判断结果为是，则确定第一立方体为空立方体；若判断结果为否，则获取到的值为第一立方体在多个非空立方体中的顺序，进而从与待处理点云数据对应的所有非空立方体的特征中获取到第一立方体的特征。

在另一种实现方式中，执行设备也可以根据第一立方体的索引信息，从与所有目标立方体对应的特征信息中获取第一立方体的特征，判断第一立方体的特征是否为预设特征，若第一立方体的特征为预设特征，则确定第一立方体为空立方体；若第一立方体的特征不是预设特征，则确定第一立方体为非空立方体，并获取第一立方体的特征。

针对执行设备根据注意力机制对第一立方体进行特征更新的过程。执行设备通过第一特征更新模块中的至少一种注意力算子，根据注意力机制对第一立方体的特征进行特征更新，得到第一立方体的更新后的特征。

具体的，若至少一种注意力算子中包括多种注意力算子，则执行设备可以通过第一特征更新模块中的多种注意力算子，根据注意力机制对第一立方体的特征进行特征更新，得到第一立方体的多个更新后的特征，执行设备通过第一特征更新模块将第一立方体的多个更新后的特征进行融合，得到第一特征更新模块最终生成的第一立方体的更新后的特征。其中，前述至少一种注意力算子可以包括如下任意一种或多种注意力算子：第一局部注意力算子、第二局部注意力算子、全局注意力算子、自注意力算子或其他类型的注意力算子。

更具体的，在一种情况下，执行设备通过第一特征更新模块中的第一局部注意力算子，确定与第一局部注意力算子对应的多个第二立方体，并可以根据上述哈希表，从第一局部注意力算子获取到的多个第二立方体中将空立方体筛选出去，得到至少一个筛选后的第二立方体的特征，进而根据注意力机制对第一立方体的特征进行更新。本申请实施例中“第二立方体的特征”和“第一立方体的特征”的概念类似，第二立方体的特征可以为第二立方体的初始特征，也可以为第二立方体的更新后的特征。

与第一局部注意力算子对应的至少一个第二立方体包括第一立方体周围的预设范围内的所有目标立方体，第一立方体周围的预设范围内的第二立方体与第一立方体之间的距离小于或等于预设距离阈值，也即与第一局部注意力算子对应的每个第二立方体可以均与第一立方体直接接触，也可以与第一立方体间接接触。

作为示例，例如预设距离阈值的取值可以为1个目标立方体、2个目标立方体、3个目标立方体或其他取值等。

为更直观地理解本方案，请参阅图5，图5为本申请实施例提供的待处理点云数据的处理方法中与第一局部注意力算子对应的多个第二立方体的一种示意图。待处理点云数据中包括的多个目标立方体是建立于三维坐标系下的，此处仅以二维图像的方式来解释第一立方体和第二立方体之间的关系，以Ω(xyz)代表与第一立方体对应的所有第二立方体，如图5所示，Ω(xyz)＝{(x′，y′，z′)||x′-x|≤1，|y′-y|≤1，|z′-z|≤1}，也即与第一局部注意力算子对应的至少一个第二立方体包括位于第一立方体周围，且与第一立方体直接接触的所有目标立方体，应理解，图5中的示例仅为方便理解本方案，不用于限定本方案。

在另一种情况下，执行设备通过第一特征更新模块中的第二局部注意力算子，确定与第二局部注意力算子对应的多个第二立方体，并可以根据上述哈希表，从第二局部注意力算子获取到的多个第二立方体中将空立方体筛选出去，得到至少一个筛选后的第二立方体的特征，进而根据注意力机制对第一立方体的特征进行更新。其中，与第二局部注意力算子对应的至少一个第二立方体为以第一立方体为采样中心，对待处理点云数据包括的多个目标立方体进行采样得到，前述采样过程可以为随机采样，也可以为按照预设规律进行采样。

为更直观地理解本方案，请参阅图6，图6为本申请实施例提供的待处理点云数据的处理方法中与第二局部注意力算子对应的多个第二立方体的一种示意图。待处理点云数据中包括的多个目标立方体是建立于三维坐标系下的，此处仅以二维图像的方式来解释第一立方体和第二立方体之间的关系，以Ω(xyz)代表与第一立方体对应的所有第二立方体，如图6所示，Ω(xyz)是以逐渐扩大间隔的方式执行第二立方体的采样操作，最内层以间隔为1的方式进行采样，次内层以间隔为2的方式进行采样，第三层以间隔为3的方式进行采样，逐次类推，应理解，图6中的示例仅为方便理解与第二局部注意力算子对应的多个第二立方体的一个示意，不用于限定本方案。

本申请实施例中，提供了与第一立方体对应的至少一个第二立方体的两种具体位置，提高了本方案的实现灵活性；且至少一个第二立方体为对待处理数据包括的多个目标立方体进行采样得到，也即第二立方体可以不限定为第一立方体周围的立方体，大大扩展了目标模型的感受野，从而提高了目标模型的特征获取能力，有利于提高最终得到的预测结果的准确率。

在另一种情况下，执行设备可以通过第一特征更新模块中的全局注意力算子，根据多个第二立方体的特征，生成每个第三立方体的特征；其中，前述多个第二立方体包括与待处理点云数据对应的所有目标立方体，每个第三立方体包括多个第二立方体，也即将与待处理点云数据对应的所有目标立方体划分为多个第三立方体。执行设备还可以从多个第三立方体中将空立方体筛选掉，根据每个不是空立方体的第三立方体的特征，基于全局注意力机制对第一立方体进行特征更新；其中，若一个第三立方体为空立方体，代表该第三立方体包括的所有第二立方体均为空立方体，若一个第三立方体中存在至少一个第二立方体不是空立方体，则代表整个第三立方体不是空立方体。

进一步地，针对执行设备根据多个第二立方体的特征，生成一个第三立方体的特征的过程。第三立方体的特征可以为第三立方体包括的多个第二立方体的特征的统计值，前述统计值具体可以包括以下任一种或多种统计学特征：最大值、最小值、均值、方差或其他类型的统计学特征等；第三立方体的坐标可以为采用第三立方体包括的多个第二立方体中一个第二立方体的坐标，具体选用哪个第二立方体的坐标作为该第三立方体的坐标可以根据第三立方体的特征采用的是哪种类型的统计学特征来确定。

为更直观地理解本方案，以下通过公式的方式展示第三立方体的特征和坐标：

其中，f_super代表一个第三立方体的特征，例如当N_k＝4时可以选取最小值、最大值、均值与方差作为第三立方体的特征，p_super代表第三立方体的坐标，MLP为多层感知机(multilayer perceptron)的英文缩写，

指的是当第三立方体的特征所对应的统计学类型不同时，第三立方体的坐标也可以不同，应理解，此处举例仅为方便理解本方案，不用于限定本方案。

为更直观地理解本方案，请参阅图7，图7为本申请实施例提供的待处理点云数据的处理方法中与全局注意力算子对应的多个第二立方体的一种示意图。待处理点云数据中包括的多个目标立方体是建立于三维坐标系下的，此处仅以二维图像的方式来解释第一立方体和第二立方体之间的关系，以Ω(xyz)代表与第一立方体对应的所有第二立方体，如图7所示，Ω(xyz)包括与待处理数据对应的所有目标立方体，与待处理数据对应的所有目标立方体存在空立方体和非空立方体，B1代表一个第三立方体，也即一个第三立方体中包括多个第二立方体，应理解，图7中的示例仅为方便理解与第二局部注意力算子对应的多个第二立方体的一个示意，不用于限定本方案。

本申请实施例中，与第一立方体对应的多个第二立方体包括所有目标立方体，也即利用与待处理点云数据对应的所有目标立方体的特征对第一立方体的特征进行更新，进一步扩大了目标模型的感受野，进一步提高了目标模型的特征获取能力；此外，一个第三立方体中包括多个第二立方体，也即将所有目标立方体划分为多个第三立方体，进而利用多个第三立方体的特征更新第一立方体的特征，有利于提高特征更新过程的效率。

在另一种情况下，执行设备还可以通过第一特征更新模块中的自注意力算子，根据第一立方体的特征，基于自注意力机制，对第一立方体进行特征更新。

在另一种情况下，执行设备还可以分别通过第一特征更新模块中的第一局部注意力算子和第二局部注意力算子，根据第一立方体的特征，基于自注意力机制，对第一立方体进行特征更新。为更直观地理解本方案，请参阅图8，图8为本申请实施例提供的待处理点云数据的处理方法中与第一局部注意力算子和第二局部注意力算子对应的多个第二立方体的一种示意图。可以结合上述对图6的描述来理解图8，待处理点云数据中包括的多个目标立方体是建立于三维坐标系下的，此处仅以二维图像的方式来解释第一立方体和第二立方体之间的关系，以Ω(xyz)代表与第一立方体对应的所有第二立方体，如图8所示，Ω(xyz)不仅包括位于第一立方体周围的所有目标立方体，如图5所示，Ω(xyz)＝{(x′，y′，z′)||x′-x|≤2，|y′-y|≤2，|z′-z|≤2}，Ω(xyz)还包括以逐渐扩大间隔的方式执行第二立方体的采样操作，最内层以间隔为1的方式进行采样，次内层以间隔为2的方式进行采样，第三层以间隔为3的方式进行采样，逐次类推，应理解，图8中的示例仅为方便理解与第二局部注意力算子对应的多个第二立方体的一个示意，不用于限定本方案。

在另一种情况下，执行设备还可以分别通过第一特征更新模块中的第一局部注意力算子、第二局部注意力算子和全局注意力算子，基于自注意力机制，对第一立方体进行特征更新等，也即第一特征更新模块中可以包括如下任一种或多种注意力算子的组合：第一局部注意力算子、第二局部注意力算子、全局注意力算子、自注意力算子或其他类型的注意力算子。

可选地，第一特征更新模块还包括一个或多个第一神经网络层，则执行设备在分别通过至少一种类型的注意力算子分别得到与待处理点云数据对应的至少一个更新后的特征图后，可以利用第一神经网络层对前述至少一个特征图进行处理，从而得到整个第一特征更新模块生成的与待处理点云数据对应的一个更新后的特征图。

为更直观地理解本方案，请参阅图9a和图9b，图9a和图9b为本申请实施例提供的待处理点云数据的处理方法中第一特征更新模块的两种示意图。先参阅图9a，图9a中以第一特征更新模块包括第一局部注意力算子、第二局部注意力算子和全局注意力算子为例，如图9a所示，执行设备在得到与待处理点云数据对应的特征图后(也即图示中的C1)，可以分别利用第一特征更新模块中的第一局部注意力算子、第二局部注意力算子和全局注意力算子对第一立方体的特征进行更新，得到与待处理点云数据对应的三个更新后的特征图(也即图示中的C2)，应理解，图9a中的示例仅为方便理解第一特征更新模块的一个示例，第一特征更新模块可以包括更多或更少的神经网络层，此处举例不用于限定本方案。

作为示例，请参阅图9b，结合图9a来理解图9b，第一特征更新模块还可以包括池化层(Batch Normalization Layer)、ReLU层、前馈层(Feed Forwad Layer)和映射层(Projection Layer)，执行设备在得到C2所代表的三个更新后的特征图后，还可以分别利用前述多个神经网络层对与待处理点云数据对应的三个更新后的特征图进行处理，得到整个第一特征更新模块生成的与待处理点云数据对应的一个更新后的特征图，应理解，图9b中的示例仅为方便理解第一特征更新模块的一个示例，在实际情况中，第一特征更新模块可以包括更多或更少的神经网络层，第一特征更新模块也可以包括其他类型的注意力算子，此处举例不用于限定本方案。

进一步地，由于第一局部注意力算子和第二局部注意力算子的区别在与第一立方体所对应的为不同的第二立方体，全局注意力算子所对应的为第三立方体，但执行设备在确定了与第一立方体对应的每个第二立方体的特征(或与第一立方体对应的每个第三立方体的特征)后，均根据注意力机制对第一立方体的特征进行更新。

为更直观地理解本方案，如下通过公式的方式，来介绍对第一立方体的特征进行更新的过程。此处以第一立方体的特征

为例，自注意力算子首先计算将该特征进行线性映射生成对应的查询(query)特征：

query_xyz＝Linear_query(f_xyz)； (1)

其中，query_xyz代表第一立方体的query特征，Linear_query(f_xyz)代表对第一立方体的特征进行线性转换。

key_x′y′z′＝Linear_key(f_x′y′z′)+E_pos； (2)

E_pos＝Linear_pos(p_xyz-p_x′y′z′)； (3)

其中，key_x′y′z′代表一个第二立方体(或第三立方体)的键值(key)特征，f_x′y′z′代表一个第二立方体(或第三立方体)的特征，Linear_key(f_x′y′z′)代表对第二立方体的特征(或第三立方体的特征)进行线性转换，p_xyz代表第一立方体在三维坐标系中的坐标，p_x′y′z′代表第二立方体(或第三立方体)在三维坐标系中的坐标，Linear_pos(p_xyz-p_x′y′z′)代表对p_xyz-p_x′y′z′进行线性转换，Linear_key、Linear_pos和Linear_query所采用的可以为不同的线性转换矩阵，也可以采用相同的线性转换矩阵，此处不做限定。

value_x′y′z′＝Linear_value(f_x′y′z′)； (4)

其中，value_x′y′z′代表一个第二立方体(或第三立方体)的价值(value)特征，f_x′y′z′代表一个第二立方体(或第三立方体)的特征，Linear_value(f_x′y′z′)代表对第二立方体的特征(或第三立方体的特征)进行线性转换，Linear_value、Linear_key、Linear_pos和Linear_query所采用的可以为不同的线性转换矩阵，也可以采用相同的线性转换矩阵，此处不做限定。

执行设备在通过式(2)生成每个第二立方体(或第三立方体)的key特征，并通过式(4)生成每个第二立方体(或第三立方体)的value特征后，可以通过如下公式生成第一立方体的更新后的特征。

其中，

代表通过一个注意力算子(可以为第一局部注意力算子、第二局部注意力算子或全局注意力算子中的任一种注意力算子)生成的第一立方体的更新后的特征，Ω(xyz)代表与第一立方体对应的第二立方体(或第三立方体)，

代表key_x′y′z′的转置，d_k代表Linear_key(f_x′y′z′)的长度，式(5)中其他元素的含义可参阅式(1)至式(4)中的描述，此处不做赘述。

本申请实施例中，在第一立方体不是空立方体的情况下，才会根据注意力机制对第一立方体进行特征更新，也即在经过第一特征更新模块对与待处理点云数据对应的多个目标立方体进行更新后，与待处理点云数据对应的多个目标立方体中空立方体和非空立方体的分布不会发生改变，从而既实现了多个目标立方体的特征更新，又有利于保留物体的边缘特征。

在另一种实现方式中，目标模型可以包括Q个第二特征更新模块，步骤304可以包括：执行设备在第一立方体满足第二预设条件的情况下，通过第二特征更新模块根据注意力机制对多个目标立方体中的第一立方体进行特征更新；在第一立方体不满足第二预设条件的情况下，则执行设备继续处理下一个第一立方体。

其中，第二预设条件为立方体集合中存在非空立方体，立方体集合包括第一立方体和与第一立方体对应的至少一个第二立方体，至少一个第二立方体为根据注意力机制从多个目标立方体中确定，至少一个第二立方体为根据注意力机制从多个目标立方体中确定，也即第二预设条件为只要整个立方体集合中存在一个非空立方体，就会触发第二特征更新模块对当前的第一立方体的特征进行更新。

进一步地，与第一特征更新模块类似，第二特征更新模块包括如下任一种或多种注意力算子：第一局部注意力算子、第二局部注意力算子、全局注意力算子、自注意力算子或其他类型的注意力算子；也即第二特征更新模块和第一特征更新模块的区别仅在于第一特征更新模块的触发条件为第一预设条件，第二特征更新模块的触发条件为第二预设条件，对于“通过第二特征更新模块根据注意力机制对第一立方体进行特征更新”的具体实现方式，可以参阅上述“通过第一特征更新模块根据注意力机制对第一立方体进行特征更新”的具体实现方式，此处不做赘述。

更进一步地，针对执行设备判断第一立方体是否满足第二预设条件的过程。在一种实现方式中，执行设备可以采用哈希表记录多个目标立方体中哪些立方体为空立方体，以及采用哈希表记录多个目标立方体中也即采用哈希表记录多个目标立方体中哪些立方体为非空立方体。则执行设备可以根据第一立方体的索引信息和与第一立方体对应的所有第二立方体的索引信息，通过查表(也即哈希表)的方式来判断第一立方体是否满足第二预设条件。前述步骤的具体实现方式可以参阅上述描述，此处不做一一赘述。

需要说明的是，为了进一步提高查表过程的速度，可以在每次查表过程中，可以基于多个第二立方体的索引信息来确定是否为空立方体，则执行设备对一个第一立方体进行特征更新的过程所对应的查表的复杂度为

其中m代表与第一立方体对应的所有第二立方体中非空立方体的数量，n代表哈希表的大小，time_index代表后续一系列索引的时长，由于一个索引操作的时长在计算机中为固定时长，所以无论需要执行索引操作的立方体的数量有多少，time_index通常是常数级别的复杂度，因此采用哈希表记录所述多个目标立方体中的空立方体的方式能够大大提高获取非空立方体的特征的过程的效率，进而有利于提高基于点云数据进行目标检测的过程的效率。

为更直观地理解本方案，请参阅图10，图10为本申请实施例提供的待处理点云数据的处理方法中利用哈希表来判断多个目标立方体是否为空立方体的一种示意图。图10中以目标立方体的索引信息为目标立方体的位置信息为例，如图10所示，执行设备正在处理的第一立方体的位置信息为(32，45，78)，通过全局注意力算子和第二局部注意力算子得到的多个第二立方体中包括(31，44，78)、(31，46，78)、(33，44，78)和(33，46，78)这四个第二立方体的位置信息。

执行设备得到与(31，44，78)、(31，46，78)、(32，45，78)、(33，44，78)和(33，46，78)这五个位置信息分别对应的五个字符串12219、16820、17953、18906和20145，并基于哈希函数，得到与该五个字符串12219、16820、17953、18906和20145在哈希表中的位置，通过查表可知，有两个第二立方体为空立方体。

执行设备从哈希表中得到与(31，44，78)、(31，46，78)和(32，45，78)这三个目标立方体(也即两个第二立方体和一个第一立方体)在特征图中的顺序分别为102、158和179，则从与待处理点云数据对应的特征图中获取与前述三个目标立方体的特征，应理解，图10中的示例仅为方便理解本方案，不用于限定本方案。

本申请实施例中，只有在第一立方体和多个第二立方体均为空立方体的情况下，才会不通过第二特征更新模块对第一立方体的特征进行更新，有利于更多的目标立方体的特征得到更新，有利于提高目标模型的特征获取能力。

在另一种实现方式中，目标模型可以包括P个第一特征更新模块和Q个第二特征更新模块，可选地，P的取值大于Q的取值。则步骤304可以包括：执行设备在第一立方体满足第一预设条件的情况下，通过第一特征更新模块根据注意力机制对第一立方体进行特征更新。在第一立方体满足第二预设条件的情况下，通过第二特征更新模块根据注意力机制对第一立方体进行特征更新。

本申请实施例中，目标模型可以包括P个第一特征更新模块和Q个第二特征更新模块，且P的取值大于Q的取值，从而在尽量保留物体的边缘特征的基础上，提高目标模型的特征获取能力，有利于提高最终得到的预测结果的准确率。

为更直观地理解本方案，请参阅图11，图11为本申请实施例提供的待处理点云数据的处理方法中目标模型的特征更新模块的一种示意图。如图11所示，两个第一特征更新模块和一个第二特征更新模块可以组成一个小组，图11中以目标模型的特征更新模块包括三个小组为例，也即执行设备可以通过目标模型中的多个第一特征更新模块和多个第二特征更新模块对与待处理点云数据对应的多个目标立方体的特征进行多次更新，应理解，图11中的示例仅为方便理解本方案，不用于限定本方案。

305、执行设备对多个目标立方体的更新后的特征执行目标检测操作，得到与待处理点云数据对应的预测结果，预测结果用于指示目标车辆的周围环境中至少一个物体的位置。

本申请实施例中，执行设备在通过目标模型，根据注意力机制对待处理点云数据所对应的多个目标立方体的特征进行更新，得到与待处理点云数据对应的多个目标立方体的更新后的特征，可以根据与待处理点云数据对应的多个目标立方体的更新后的特征，通过目标模型进行目标检测，从而得到与待处理点云数据对应的预测结果，预测结果用于指示目标车辆的周围环境中至少一个物体的位置。

本申请实施例中，将与目标车辆的周围环境对应的点云数据划分为多个立方体，再基于多个目标立方体的特征执行目标检测操作，也即本申请中的处理对象的最小粒度不再是一个目标点，而是一个立方体，减少了整个点云数据的处理过程中消耗的计算机资源，有利于提高目标模型的运行效率；且根据第一立方体内的目标点的初始信息，通过目标模型生成第一立方体的初始特征之后，还会根据第一立方体的初始特征，根据注意力机制生成第一立方体的更新后的特征，进而根据多个目标立方体的更新后的特征进行目标检测，有利于聚焦于点云数据所携带的重要信息，以提高预测结果的准确度。

本申请实施例还提供了另一种点云数据的处理方法，请参阅图12，图12为本申请实施例提供的点云数据的处理方法的又一种流程示意图。本申请实施例提供的点云数据的处理方法可以包括：

1201、执行设备获取与目标环境对应的待处理点云数据。

1202、执行设备将待处理点云数据划分为多个目标立方体，每个目标立方体内存在S个目标点。

1203、执行设备根据每个目标立方体内的目标点的初始信息，生成每个目标立方体的初始特征。

1204、执行设备根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征。

本申请实施例中，执行设备执行步骤1202至1204的具体实现方式可以参阅图3对应实施例中步骤302至304的具体实现方式的描述，此处不做赘述。

1205、执行设备对多个目标立方体的更新后的特征执行特征处理操作，得到与点云数据对应的预测结果。

本申请实施例中，执行设备根据多个目标立方体的更新后的特征，通过目标模型进行处理，预测结果用于指示与待处理点云数据对应的预测结果，预测结果表征目标环境中的至少一个物体的信息；进一步地，预测结果表征目标环境中的至少一个物体的位置信息、类别信息或其他类型的信息。其中，目标模型的功能包括如下任一种：目标检测、人脸识别或姿态识别。

当目标模型的功能为目标检测时，步骤1205可以包括：根据多个目标立方体的更新后的特征执行目标检测操作，得到与点云数据对应的预测结果，预测结果用于指示目标环境中至少一个物体的位置信息。步骤1205的具体实现方式可以参阅图3对应实施例中步骤305的具体实现方式的描述，此处不做赘述。区别在于，第一，在图3对应实施例中，执行设备可以表现为车辆；在图12对应实施例中，执行设备可以表现为如下任一种设备：车辆、移动机器人、监控数据的处理设备或其他用于处理点云数据的设备等，此处不做穷举。第二，在图3对应实施例中，待处理点云数据指的是与车辆周围环境对应的点云数据；在图12对应实施例中，待处理点云数据可以为以下任意一种：与车辆周围环境对应的点云数据、与移动机器人周围环境对应的点云数据、监控采集到的点云数据或其他类型的点云数据。第三，在图3对应实施例中，预测结果用于指示车辆周围环境中至少一个物体的位置；在图12对应实施例中，预测结果用于指示如下任一种信息：车辆周围环境中至少一个物体的位置、移动机器人周围环境中至少一个物体的位置或监控环境中至少一个物体的环境等，此处不做穷举。

当目标模型的功能为人脸识别时，步骤1205可以包括：根据多个目标立方体的更新后的特征执行人脸识别操作，得到与点云数据对应的预测结果，预测结果表征目标环境中的至少一个物体的类别信息，目标环境中至少一个物体的类别信息用于指示人脸匹配成功或人脸匹配失败。配置有目标模型的执行设备可以为如下任一种设备：终端设备、智能门锁、监控数据的处理设备，与待处理点云数据对应的预测结果用于指示匹配成功或匹配失败，步骤1205的具体实现方式将在后续图14对应实施例中进行详细描述，此处先不做赘述。

当目标模型的功能为姿态识别时，步骤1205可以包括：根据多个目标立方体的更新后的特征执行姿态识别操作，得到与点云数据对应的预测结果，目标环境中的至少一个物体的信息包括目标环境中至少一个人体的形体特征和/或目标环境中至少一个人体行走时的步态特征。与待处理点云数据对应的预测结果用于指示与人体对应的姿态特征。体态特征可以包括形体特征和/或行走时的步态特征，对于体态特征的含义可以参阅上述描述，此处不做赘述。

本申请实施例中，提供了本方案的多个具体应用场景，提高了本方案的实现灵活性。

二、训练阶段

本申请实施例中，训练阶段描述的是训练设备220如何利用数据库230中的图像数据集合生成成熟的神经网络的过程，具体的，请参阅图13，图13为本申请实施例提供的神经网络的训练方法的一种流程示意图，本申请实施例提供的神经网络的训练方法可以包括：

1301、训练设备获取与目标环境对应的待处理点云数据。

1302、训练设备将待处理点云数据划分为多个目标立方体，每个目标立方体内存在S个目标点。

1303、训练设备根据每个目标立方体内的目标点的初始信息，通过待训练模型生成每个目标立方体的初始特征。

1304、训练设备根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征。

1305、训练设备根据多个目标立方体的更新后的特征，通过待训练模型执行特征处理操作，得到与待处理点云数据对应的预测结果。

本申请实施例中，训练设备执行步骤1301至1305的具体实现方式可以参阅图12对应实施例中步骤301至305的具体实现方式的描述，此处不做赘述。

1306、训练设备根据目标损失函数，对待训练模型进行训练，其中，目标损失函数用于指示预测结果和与点云数据对应的期望结果之间的相似度。

本申请实施例中，训练设备上预先配置有训练数据，训练数据包括与待处理点云数据对应的期望结果。训练设备在得到与待处理点云数据对应的预测结果后，可以根据与待处理点云数据对应的预测结果和与待处理点云数据对应的期望结果，计算目标损失函数的函数值，根据目标损失函数的函数值和反向传播算法来更新待训练模型的参数值，以完成对待训练模型的一次训练。

其中，“待训练模型”也可以被理解为“待训练的目标模型”。“与待处理点云数据对应的期望结果”所代表的含义与“与待处理点云数据对应的预测结果”的含义类似，区别在于“与待处理点云数据对应的预测结果”是由待训练模型生成的预测结果，“与待处理点云数据对应的期望结果”是与待处理点云数据对应的正确结果。作为示例，例如当待处理模型用于执行目标检测任务时，预测结果用于指示目标环境中至少一个物体的期望位置，期望结果用于指示目标环境中至少一个物体的期望位置(也可以称为正确位置)，应理解，此处举例仅为方便理解本方案，不用于对各种应用场景下期望结果的含义进行穷举。

训练设备可以重复执行步骤1301至1306多次，以实现对待训练模型的迭代训练，直至满足预设条件，得到训练后的待训练模型，其中，预设条件可以为达到目标损失函数的收敛条件，或者，步骤1301至1306的迭代次数达到预设次数。

本申请实施例中，不仅提供了模型的推理过程的具体实现方式，还提供了模型的训练过程的具体实现方式，扩展了本方案的应用场景。

本申请实施例还提供一种点云数据的处理方法，请参阅图14，图14为本申请实施例提供的点云数据的处理方法的一种流程示意图，本申请实施例提供的点云数据的处理方法可以包括：

1401、执行设备检测到指示人脸识别的操作。

本申请实施例中，执行设备可以检测到指示人脸识别的操作。具体的，在一种应用场景中，若执行设备为手机、平板等终端设备，则当执行设备检测到如下任一种操作时，视为检测到指示人脸识别的操作：解锁屏幕的操作、支付操作或打开加密数据的操作或其他需要身份识别的操作，此处不做穷举。

在另一种应用场景中，若执行设备为智能门锁，则当执行设备检测到用户输入的开门操作时，可以视为检测到指示人脸识别的操作。

在另一种应用场景中，若执行设备为监控数据的处理设备，则当执行设备检测到用户输入的人脸匹配操作时，可以视为检测到指示人脸识别的操作。

本申请实施例中，提供了检测到人脸识别操作的多种应用场景，提高了本方案的实现灵活性。

1402、执行设备响应于指示人脸识别的操作，输出人脸识别结果，人脸识别结果包括匹配成功和匹配失败，人脸识别结果根据多个目标立方体的更新后的特征得到，目标立方体的更新后的特征为根据注意力机制对目标立方体的初始特征进行特征更新后得到，目标立方体的初始特征基于采集到的与目标环境对应的点云数据得到，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，一个目标立方体内存在S个目标点，S为大于或等于0的整数。

本申请实施例中，执行设备响应于指示人脸识别的操作，可以触发获取与目标环境对应的点云数据。其中，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，一个目标立方体内存在S个目标点，S为大于或等于0的整数。

进一步地，执行设备响应于指示人脸识别的操作，可以触发采集周围环境对应的点云数据；或者，执行设备上预先存储有通过监控设备采集到的目标环境所对应的点云数据，执行设备响应于指示人脸识别的操作，可以触发获取目标环境所对应的点云数据。

执行设备根据第一立方体内的目标点的初始信息，通过目标模型生成第一立方体的初始特征，并通过目标模型根据第一立方体的初始特征，根据注意力机制对第一立方体进行特征更新，得到第一立方体的更新后的特征，第一立方体为多个目标立方体中的一个立方体。需要说明的是，执行设备基于获取到的点云数据，得到第一立方体的更新后的特征的具体实现方式，可以参阅图3对应实施例中的描述，此处不做赘述。

执行设备根据多个目标立方体的更新后的特征，通过目标模型执行人脸识别操作，输出人脸识别结果，人脸识别结果包括匹配成功和匹配失败。

具体的，执行设备上可以预先存储有至少一个用户的脸部特征，执行设备可以根据多个目标立方体的更新后的特征，与前述每个用户的脸部特征进行匹配，从而得到人脸识别结果，人脸识别结果包括匹配成功和匹配失败。

具体的，例如若人脸识别操作是基于解锁屏幕的操作触发的，则当人脸识别结果为匹配成功时，执行设备可以显示屏幕解锁后的界面，或者，可以显示如何进入屏幕解锁后的界面等；当人脸识别结果为匹配失败时，执行设备可以显示解锁失败的界面。

例如若人脸识别操作是基于支付操作触发的，则当人脸识别结果为匹配成功时，执行设备可以触发执行支付操作；当人脸识别结果为匹配失败时，执行设备可以停止支付。

例如若人脸识别操作是基于打开加密数据的操作触发的，则当人脸识别结果为匹配成功时，执行设备可以触发展示加密数据；当人脸识别结果为匹配失败时，执行设备可以显示“打开加密数据失败”的界面。

例如若人脸识别操作是基于开门操作触发的，则当人脸识别结果为匹配成功时，执行设备可以触发开门；当人脸识别结果为匹配失败时，执行设备可以不打开门，且发出警示音。

例如若人脸识别操作是基于人脸匹配操作触发的，则当人脸识别结果为匹配成功时，执行设备可以显示匹配到的人的个人信息；当人脸识别结果为匹配失败时，执行设备可以通过文本框、语音或其他方式告知用户匹配失败。

为更直观地理解本方案，请参阅图15，图15为本申请实施例提供的点云数据的处理方法中检测到指示人脸识别的操作的一种示意图。图15包括左和右两个子示意图，图15中以解锁屏幕这一应用场景为例，如图15的左示意图所示，执行设备正在进行人脸识别；若人脸识别的结果为匹配成功，则会触发进入图15的右示意图，也即显示如何进入屏幕解锁后的界面，应理解，图15中的示例仅为方便理解本方案，不用于限定本方案。

为了对本申请实施例所带来的有益效果有更为直观地理解，以下结合具体实验数据进行说明，此处以采用KITTI数据集和Waymo数据集进行试验，KITTI数据集包含约13000帧点云场景，其中划分约3500帧点云场景作为训练数据集，约3500帧点云场景作为验证数据集，剩余7000帧点云场景作为测试数据集。对于Waymo数据集，我们随机选取Waymo数据集中20％的数据作为训练数据集，使用整个Waymo数据集作为验证数据集。

实验中采用了mAP作为衡量3D目标检测性能的指标。在KITTI数据集上，本申请实施例中的模型相比于Second模型在检测性能上提升了4％，本申请实施例中的模型相比于PV-RCNN模型在检测性能上提升了2％。

在Waymo数据集上，本申请实施例中的模型相比于Second模型在检测性能上提升了1％，本申请实施例中的模型相比于PV-RCNN模型在检测性能上提升了3％。此外，实验中还在参数量和推理速度这两个方面进行了测试，实验数据可以参阅如下表格。

模型	推理速度(帧/秒)
		Second	20.73
本申请实施例中的模型	13.65

表1

表1中以采用KITTI数据集进行试验为例，如表1所示，采用本申请实施例提供的目标模型还能提高数据的处理效率。

模型	参数量
		Second	5.3M
本申请实施例中的模型	4.8M

表2

如表2所示，采用本申请实施例提供的目标模型的参数量更小。

在图1至图13所对应的实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图16，图16为本申请实施例提供的点云数据的处理装置的一种结构示意图，点云数据的处理装置1600可以包括：获取模块1601，用于获取与目标环境对应的点云数据，其中，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，每个目标立方体内存在S个目标点，S为大于或等于0的整数；生成模块1602，用于根据每个目标立方体内的目标点的初始信息，生成每个目标立方体的初始特征；更新模块1603，用于根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征；处理模块1604，用于对多个目标立方体的更新后的特征执行特征处理操作，得到与点云数据对应的预测结果，预测结果表征目标环境中至少一个物体的信息。

在一种可能的设计中，更新模块1603，具体用于在第一立方体满足第一预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体进行特征更新，第一立方体为多个目标立方体中的任意一个立方体，第一预设条件为非空立方体，非空立方体的特征不是预设信息。

在一种可能的设计中，装置应用于执行设备，执行设备采用哈希表记录多个目标立方体中的非空立方体。

在一种可能的设计中，更新模块1603，还用于在第一立方体满足第二预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体进行特征更新；其中，第二预设条件为立方体集合中存在非空立方体，立方体集合包括第一立方体和与第一立方体对应的至少一个第二立方体，至少一个第二立方体为根据注意力机制从多个目标立方体中确定。

在一种可能的设计中，至少一个第二立方体包括第一立方体周围的预设范围内的所有目标立方体，第一立方体周围的预设范围内的第二立方体与第一立方体之间的距离小于或等于预设距离阈值，和/或，至少一个第二立方体为以第一立方体作为采样中心，对多个目标立方体进行采样得到。

在一种可能的设计中，更新模块1603，还用于：根据第二立方体的特征，生成多个第三立方体的特征，一个第三立方体包括多个第二立方体；根据每个第三立方体的特征，基于全局注意力机制对多个目标立方体中的每一第一立方体进行特征更新，全局注意力机制为注意力机制中的一种。

在一种可能的设计中，与目标环境对应的点云数据包括与目标车辆周围环境对应的点云数据，处理模块1604，具体用于：对目标立方体的更新后的特征执行目标检测操作，得到与点云数据对应的预测结果，预测结果用于指示目标车辆周围环境中至少一个物体的位置。

在一种可能的设计中，处理模块1604，具体用于：根据多个目标立方体的更新后的特征执行目标检测操作，得到与点云数据对应的预测结果，目标环境中的至少一个物体的信息包括目标环境中至少一个物体的位置信息；或者，根据多个目标立方体的更新后的特征执行人脸识别操作，得到与点云数据对应的预测结果，目标环境中的至少一个物体的信息包括目标环境中至少一个物体的类别信息，目标环境中至少一个物体的类别信息用于指示人脸匹配成功或人脸匹配失败；或者，根据多个目标立方体的更新后的特征执行姿态识别操作，得到与点云数据对应的预测结果，目标环境中的至少一个物体的信息包括目标环境中至少一个人体的形体特征和/或目标环境中至少一个人体行走时的步态特征。

需要说明的是，点云数据的处理装置1600中各模块/单元之间的信息交互、执行过程等内容，与本申请中图12对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供了一种点云数据的处理装置，具体参阅图17，图17为本申请实施例提供的点云数据的处理装置的一种结构示意图，点云数据的处理装置1700可以包括：获取模块1701，用于获取与目标车辆的周围环境对应的点云数据，其中，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，每个目标立方体内存在S个目标点，S为大于或等于0的整数；生成模块1702，用于根据每个目标立方体内的目标点的初始信息，生成每个目标立方体的初始特征；更新模块1703，用于根据注意力机制对多个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征；处理模块1704，用于对多个目标立方体的更新后的特征执行特征处理操作，得到与点云数据对应的预测结果，预测结果用于指示目标车辆的周围环境中至少一个物体的位置。

在一种可能的设计中，更新模块1703，具体用于在第一立方体满足第一预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体进行特征更新，第一立方体为多个目标立方体中的任意一个立方体，第一预设条件为非空立方体，非空立方体的特征不是预设信息。

在一种可能的设计中，更新模块1703，还用于在第一立方体满足第二预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体进行特征更新；其中，第二预设条件为立方体集合中存在非空立方体，立方体集合包括第一立方体和与第一立方体对应的至少一个第二立方体，至少一个第二立方体为根据注意力机制从多个目标立方体中确定。

需要说明的是，点云数据的处理装置1700中各模块/单元之间的信息交互、执行过程等内容，与本申请中图2b至图11对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供了一种神经网络的训练装置，请参阅图18，图18为本申请实施例提供的神经网络的训练装置的一种结构示意图，神经网络的训练装置1800可以包括：获取模块1801，用于获取与目标环境对应的点云数据，其中，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，每个目标立方体内存在S个目标点，S为大于或等于0的整数；生成模块1802，用于根据每个目标立方体内的目标点的初始信息，生成每个目标立方体的初始特征；更新模块1803，用于根据注意力机制对多个目标立方体的初始特征中的每一个目标立方体的初始特征进行更新，得到多个目标立方体的更新后的特征；处理模块1804，用于对多个目标立方体的更新后的特征执行特征处理操作，得到与点云数据对应的预测结果；训练模块1805，用于根据目标损失函数，对目标模型进行训练，其中，目标损失函数用于指示预测结果和与点云数据对应的期望结果之间的相似度。

在一种可能的设计中，更新模块1803，具体用于在第一立方体满足第一预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体进行特征更新，第一立方体为多个目标立方体中的任意一个立方体，第一预设条件为非空立方体，非空立方体的特征不是预设信息。

在一种可能的设计中，更新模块1803，还用于在第一立方体满足第二预设条件的情况下，根据注意力机制对多个目标立方体中的每一第一立方体进行特征更新；其中，第二预设条件为立方体集合中存在非空立方体，立方体集合包括第一立方体和与第一立方体对应的至少一个第二立方体，至少一个第二立方体为根据注意力机制从多个目标立方体中确定。

需要说明的是，神经网络的训练装置1800中各模块/单元之间的信息交互、执行过程等内容，与本申请中图13对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供了另一种点云数据的处理装置，请参阅图19，图19为本申请实施例提供的点云数据的处理装置的另一种结构示意图，点云数据的处理装置1900可以包括：检测模块1901，用于检测到指示人脸识别的操作；输出模块1902，用于响应于指示人脸识别的操作，输出人脸识别结果；其中，人脸识别结果包括匹配成功和匹配失败，人脸识别结果根据多个目标立方体的更新后的特征得到，目标立方体的更新后的特征为根据注意力机制对目标立方体的初始特征进行特征更新后得到，目标立方体的初始特征基于采集到的与目标环境对应的点云数据得到，点云数据包括多个目标点的初始信息，点云数据被划分为多个目标立方体，一个目标立方体内存在S个目标点，S为大于或等于0的整数。

在一种可能的设计中，当检测模块1901检测到如下任一种操作时，视为检测到指示人脸识别的操作：解锁屏幕的操作、支付操作或打开加密数据的操作；或者，检测到用户输入的开门操作；或者，检测到用户输入的人脸匹配操作。

需要说明的是，点云数据的处理装置1900中各模块/单元之间的信息交互、执行过程等内容，与本申请中图14对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

接下来介绍本申请实施例提供的一种执行设备，请参阅图20，图20为本申请实施例提供的执行设备的一种结构示意图，执行设备2000具体可以表现为车辆、移动机器人、监控数据处理设备或者其他设备等，此处不做限定。具体的，执行设备2000包括：接收器2001、发射器2002、处理器2003和存储器2004(其中执行设备2000中的处理器2003的数量可以一个或多个，图20中以一个处理器为例)，其中，处理器2003可以包括应用处理器20031和通信处理器20032。在本申请的一些实施例中，接收器2001、发射器2002、处理器2003和存储器2004可通过总线或其它方式连接。

存储器2004可以包括只读存储器和随机存取存储器，并向处理器2003提供指令和数据。存储器2004的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器2004存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器2003控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器2003中，或者由处理器2003实现。处理器2003可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2003中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2003可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器2003可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器2004，处理器2003读取存储器2004中的信息，结合其硬件完成上述方法的步骤。

接收器2001可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器2002可用于通过第一接口输出数字或字符信息；发射器2002还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器2002还可以包括显示屏等显示设备。

本申请实施例中，在一种情况下，处理器2003中的应用处理器20031，用于执行图2b至图11对应实施例中的执行设备执行的点云数据的处理方法。需要说明的是，应用处理器20031执行前述各个步骤的具体方式，与本申请中图2b至图11对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图2b至图11对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

在另一种情况下，处理器2003中的应用处理器20031，用于执行图12对应实施例中的执行设备执行的点云数据的处理方法。需要说明的是，应用处理器20031执行前述各个步骤的具体方式，与本申请中图12对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图12对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

在另一种情况下，处理器2003中的应用处理器20031，用于执行图12对应实施例中的执行设备执行的点云数据的处理方法。需要说明的是，应用处理器20031执行前述各个步骤的具体方式，与本申请中图14对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图14对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供了一种训练设备，请参阅图21，图21是本申请实施例提供的训练设备一种结构示意图，具体的，训练设备2100由一个或多个服务器实现，训练设备2100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)2122(例如，一个或一个以上处理器)和存储器2132，一个或一个以上存储应用程序2142或数据2144的存储介质2130(例如一个或一个以上海量存储设备)。其中，存储器2132和存储介质2130可以是短暂存储或持久存储。存储在存储介质2130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器2122可以设置为与存储介质2130通信，在训练设备2100上执行存储介质2130中的一系列指令操作。

训练设备2100还可以包括一个或一个以上电源2126，一个或一个以上有线或无线网络接口2150，一个或一个以上输入输出接口2158，和/或，一个或一个以上操作系统2141，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本申请实施例中，中央处理器2122，用于执行图13对应实施例中的训练设备执行的点云数据的处理方法。需要说明的是，中央处理器2122执行前述各个步骤的具体方式，与本申请中图13对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图13对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图2b至图11所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图12所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图13所示实施例描述的方法中训练设备所执行的步骤，或者，使得计算机执行如前述图14或图15所示实施例描述的方法中执行设备所执行的步骤。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述图2b至图11所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图12所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图13所示实施例描述的方法中训练设备所执行的步骤，或者，使得计算机执行如前述图14或图15所示实施例描述的方法中执行设备所执行的步骤。

本申请实施例提供的点云数据的处理装置、神经网络的训练装置、执行设备以及训练设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使芯片执行上述图2b至图11所示实施例描述的点云数据的处理方法，或者，以使芯片执行上述图12所示实施例描述的点云数据的处理方法，或者，以使芯片执行上述图13所示实施例描述的神经网络的训练方法，或者，以使芯片执行上述图14或图15所示实施例描述的点云数据的处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

具体的，请参阅图22，图22为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 220，NPU 220作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路2203，通过控制器2204控制运算电路2203提取存储器中的矩阵数据并进行乘法运算。

在一些实现中，运算电路2203内部包括多个处理单元(Process Engine，PE)。在一些实现中，运算电路2203是二维脉动阵列。运算电路2203还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路2203是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器2202中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器2201中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)2208中。

统一存储器2206用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)2205，DMAC被搬运到权重存储器2202中。输入数据也通过DMAC被搬运到统一存储器2206中。

BIU为Bus Interface Unit即，总线接口单元2210，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)2209的交互。

总线接口单元2210(Bus Interface Unit，简称BIU)，用于取指存储器2209从外部存储器获取指令，还用于存储单元访问控制器2205从外部存储器获取输入矩阵A或者权重矩阵B的原数据。

DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器2206或将权重数据搬运到权重存储器2202中或将输入数据数据搬运到输入存储器2201中。

向量计算单元2207包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。

在一些实现中，向量计算单元2207能将经处理的输出的向量存储到统一存储器2206。例如，向量计算单元2207可以将线性函数和/或非线性函数应用到运算电路2203的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元2207生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路2203的激活输入，例如用于在神经网络中的后续层中的使用。

控制器2204连接的取指存储器(instruction fetch buffer)2209，用于存储控制器2204使用的指令；

统一存储器2206，输入存储器2201，权重存储器2202以及取指存储器2209均为On-Chip存储器。外部存储器私有于该NPU硬件架构。

其中，图2b至图15示出的目标模型中各层的运算可以由运算电路2203或向量计算单元2207执行。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (27)

1.一种点云数据的处理方法，其特征在于，所述方法包括：

获取与目标环境对应的点云数据，其中，所述点云数据包括多个目标点的初始信息，所述点云数据被划分为多个目标立方体，每个所述目标立方体内存在S个目标点，S为大于或等于0的整数；

根据每个所述目标立方体内的目标点的初始信息，生成每个所述目标立方体的初始特征；

根据注意力机制对所述多个目标立方体的初始特征进行更新，得到多个所述目标立方体的更新后的特征；

对所述多个目标立方体的更新后的特征执行特征处理操作，得到与所述点云数据对应的预测结果，所述预测结果表征所述目标环境中的至少一个物体的信息。

2.根据权利要求1所述的方法，其特征在于，所述根据注意力机制对所述多个目标立方体的初始特征进行更新，包括：

在第一立方体满足第一预设条件的情况下，根据所述注意力机制对所述多个目标立方体中的每一第一立方体进行特征更新，所述第一立方体为所述多个目标立方体中的任意一个立方体，所述第一预设条件为所述第一立方体为非空立方体，所述非空立方体的特征不是预设信息。

3.根据权利要求2所述的方法，其特征在于，所述方法应用于执行设备，所述执行设备采用哈希表记录所述多个目标立方体中的所述非空立方体。

4.根据权利要求2或3所述的方法，其特征在于，所述根据注意力机制对所述多个所述目标立方体的初始特征进行更新，还包括：

在所述第一立方体满足第二预设条件的情况下，根据所述注意力机制对所述多个目标立方体中的每一第一立方体进行特征更新；

其中，所述第二预设条件为立方体集合中存在所述非空立方体，所述立方体集合包括所述第一立方体和与所述第一立方体对应的至少一个第二立方体，所述至少一个第二立方体为根据所述注意力机制从所述多个目标立方体中确定。

5.根据权利要求4所述的方法，其特征在于，

所述至少一个第二立方体包括所述第一立方体周围的预设范围内的所有所述目标立方体，第一立方体周围的预设范围内的所述第二立方体与所述第一立方体之间的距离小于或等于预设距离阈值；和/或，

所述至少一个第二立方体为以所述第一立方体作为采样中心，对所述多个目标立方体进行采样得到。

6.根据权利要求4所述的方法，其特征在于，所述根据所述注意力机制对所述多个目标立方体中的每一第一立方体进行特征更新，还包括：

根据所述第二立方体的特征，生成多个第三立方体的特征，一个所述第三立方体包括多个所述第二立方体；

根据每个所述第三立方体的特征，基于全局注意力机制对所述多个目标立方体中的每一所述第一立方体进行特征更新，所述全局注意力机制为所述注意力机制中的一种。

7.根据权利要求1至3任一项所述的方法，其特征在于，所述与目标环境对应的点云数据包括与目标车辆周围环境对应的点云数据，所述对所述目标立方体的更新后的特征执行特征处理操作，得到与所述点云数据对应的预测结果，包括：

对所述目标立方体的更新后的特征执行目标检测操作，得到与所述点云数据对应的预测结果，所述预测结果用于指示所述目标车辆周围环境中至少一个物体的位置。

8.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述多个目标立方体的更新后的特征执行特征处理操作，得到与所述点云数据对应的预测结果，包括：

对所述多个目标立方体的更新后的特征执行目标检测操作，得到与所述点云数据对应的预测结果，所述目标环境中的至少一个物体的信息包括所述目标环境中至少一个物体的位置信息；或者，

对所述多个目标立方体的更新后的特征执行人脸识别操作，得到与所述点云数据对应的预测结果，所述目标环境中的至少一个物体的信息包括所述目标环境中至少一个物体的类别信息，所述目标环境中至少一个物体的类别信息用于指示人脸匹配成功或人脸匹配失败；或者，

对所述多个目标立方体的更新后的特征执行姿态识别操作，得到与所述点云数据对应的预测结果，所述目标环境中的至少一个物体的信息包括所述目标环境中至少一个人体的形体特征和/或所述目标环境中至少一个人体行走时的步态特征。

9.一种神经网络的训练方法，其特征在于，所述方法包括：

获取与目标环境对应的点云数据，其中，所述点云数据包括多个目标点的初始信息，所述点云数据被划分为多个目标立方体，一个所述目标立方体内存在S个目标点，S为大于或等于0的整数；

根据每个所述目标立方体内的目标点的初始信息，通过待训练模型生成每个所述目标立方体的初始特征，并根据注意力机制对所述多个目标立方体的初始特征进行更新，得到多个所述目标立方体的更新后的特征；

根据所述多个目标立方体的更新后的特征，通过所述待训练模型执行特征处理操作，得到与所述点云数据对应的预测结果；

根据目标损失函数，对所述待训练模型进行训练，其中，所述目标损失函数用于指示所述预测结果和与所述点云数据对应的期望结果之间的相似度。

10.根据权利要求9所述的方法，其特征在于，所述根据注意力机制对所述多个目标立方体的初始特征进行更新，包括：

在第一立方体满足第一预设条件的情况下，根据所述注意力机制对所述多个目标立方体中的每一第一立方体的初始特征进行更新，所述第一立方体为所述多个目标立方体中的任意一个立方体，所述第一预设条件为所述第一立方体为非空立方体，所述非空立方体的特征不是预设信息。

11.根据权利要求10所述的方法，其特征在于，所述根据注意力机制对所述多个目标立方体的初始特征进行更新，还包括：

在所述第一立方体满足第二预设条件的情况下，根据所述注意力机制对所述多个目标立方体中的每一第一立方体进行特征更新；

其中，所述第二预设条件为立方体集合中存在非空立方体，所述立方体集合包括所述第一立方体和与所述第一立方体对应的至少一个第二立方体，所述至少一个第二立方体为根据所述注意力机制从所述多个目标立方体中确定。

12.一种点云数据的处理方法，其特征在于，所述方法包括：

检测到指示人脸识别的操作；

响应于所述指示人脸识别的操作，输出人脸识别结果；

其中，所述人脸识别结果包括匹配成功和匹配失败，所述人脸识别结果根据多个目标立方体的更新后的特征得到，所述目标立方体的更新后的特征为根据注意力机制对所述目标立方体的初始特征进行特征更新后得到，所述目标立方体的初始特征基于采集到的与目标环境对应的点云数据得到，所述点云数据包括多个目标点的初始信息，所述点云数据被划分为多个目标立方体，一个所述目标立方体内存在S个目标点，S为大于或等于0的整数。

13.根据权利要求12所述的方法，其特征在于，所述检测到指示人脸识别的操作，包括：

检测到如下任一种操作时，视为检测到指示人脸识别的操作：解锁屏幕的操作、支付操作或打开加密数据的操作；或者，

检测到用户输入的开门操作；或者，

检测到用户输入的人脸匹配操作。

14.一种点云数据的处理装置，其特征在于，所述装置包括：

获取模块，用于获取与目标环境对应的点云数据，其中，所述点云数据包括多个目标点的初始信息，所述点云数据被划分为多个目标立方体，每个所述目标立方体内存在S个目标点，S为大于或等于0的整数；

生成模块，用于根据每个所述目标立方体内的目标点的初始信息，生成每个所述目标立方体的初始特征；

更新模块，用于根据注意力机制对所述多个目标立方体的初始特征进行更新，得到多个所述目标立方体的更新后的特征；

处理模块，用于对所述多个目标立方体的更新后的特征执行特征处理操作，得到与所述点云数据对应的预测结果，所述预测结果表征所述目标环境中至少一个物体的信息。

15.根据权利要求14所述的装置，其特征在于，

所述更新模块，具体用于在第一立方体满足第一预设条件的情况下，根据所述注意力机制对所述多个目标立方体中的每一第一立方体进行特征更新，所述第一立方体为所述多个目标立方体中的任意一个立方体，所述第一预设条件为非空立方体，所述非空立方体的特征不是预设信息。

16.根据权利要求15所述的装置，其特征在于，所述装置应用于执行设备，所述执行设备采用哈希表记录所述多个目标立方体中的所述非空立方体。

17.根据权利要求15或16所述的装置，其特征在于，

所述更新模块，还用于在所述第一立方体满足第二预设条件的情况下，根据所述注意力机制对所述多个目标立方体中的每一第一立方体进行特征更新；

其中，所述第二预设条件为立方体集合中存在非空立方体，所述立方体集合包括所述第一立方体和与所述第一立方体对应的至少一个第二立方体，所述至少一个第二立方体为根据所述注意力机制从所述多个目标立方体中确定。

18.根据权利要求17所述的装置，其特征在于，

所述至少一个第二立方体包括所述第一立方体周围的预设范围内的所有所述目标立方体，所述第一立方体周围的预设范围内的所述第二立方体与所述第一立方体之间的距离小于或等于预设距离阈值；和/或，

所述至少一个第二立方体为以所述第一立方体作为采样中心，对所述多个目标立方体进行采样得到。

19.根据权利要求17所述的装置，其特征在于，所述更新模块，还用于：

根据所述第二立方体的特征，生成多个第三立方体的特征，一个所述第三立方体包括多个所述第二立方体；

根据每个所述第三立方体的特征，基于全局注意力机制对所述多个目标立方体中的每一所述第一立方体进行特征更新，所述全局注意力机制为所述注意力机制中的一种。

20.根据权利要求14至16任一项所述的装置，其特征在于，所述与目标环境对应的点云数据包括与目标车辆周围环境对应的点云数据；

所述处理模块，具体用于对所述目标立方体的更新后的特征执行目标检测操作，得到与所述点云数据对应的预测结果，所述预测结果用于指示所述目标车辆周围环境中至少一个物体的位置。

21.根据权利要求14至16任一项所述的装置，其特征在于，所述处理模块，具体用于：

对所述多个目标立方体的更新后的特征执行目标检测操作，得到与所述点云数据对应的预测结果，所述目标环境中的至少一个物体的信息包括所述目标环境中至少一个物体的位置信息；或者，

对所述多个目标立方体的更新后的特征执行人脸识别操作，得到与所述点云数据对应的预测结果，所述目标环境中的至少一个物体的信息包括所述目标环境中至少一个物体的类别信息，所述目标环境中至少一个物体的类别信息用于指示人脸匹配成功或人脸匹配失败；或者，

对所述多个目标立方体的更新后的特征执行姿态识别操作，得到与所述点云数据对应的预测结果，所述目标环境中的至少一个物体的信息包括所述目标环境中至少一个人体的形体特征和/或所述目标环境中至少一个人体行走时的步态特征。

22.一种神经网络的训练装置，其特征在于，所述装置包括：

获取模块，用于获取与目标环境对应的点云数据，其中，所述点云数据包括多个目标点的初始信息，所述点云数据被划分为多个目标立方体，一个所述目标立方体内存在S个目标点，S为大于或等于0的整数；

生成模块，用于根据每个所述目标立方体内的目标点的初始信息，通过待训练模型生成每个所述目标立方体的初始特征；

更新模块，用于根据注意力机制对所述多个目标立方体的初始特征进行更新，得到多个所述目标立方体的更新后的特征；

处理模块，用于根据所述多个目标立方体的更新后的特征，通过所述待训练模型执行特征处理操作，得到与所述点云数据对应的预测结果；

训练模块，用于根据目标损失函数，对所述目标模型进行训练，其中，所述目标损失函数用于指示所述预测结果和与所述点云数据对应的期望结果之间的相似度。

23.一种点云数据的处理装置，其特征在于，所述装置包括：

检测模块，用于检测到指示人脸识别的操作；

输出模块，用于响应于所述指示人脸识别的操作，输出人脸识别结果；

其中，所述人脸识别结果包括匹配成功和匹配失败，所述人脸识别结果根据多个目标立方体的更新后的特征得到，所述目标立方体的更新后的特征为根据注意力机制对所述目标立方体的初始特征进行特征更新后得到，所述目标立方体的初始特征基于采集到的与目标环境对应的点云数据得到，所述点云数据包括多个目标点的初始信息，所述点云数据被划分为多个目标立方体，一个所述目标立方体内存在S个目标点，S为大于或等于0的整数。

24.一种计算机程序产品，其特征在于，当所述计算机程序在计算机上运行时，使得计算机执行如权利要求1至13中任意一项所述的方法。

25.一种计算机可读存储介质，其特征在于，包括程序，当所述程序在计算机上运行时，使得计算机执行如权利要求1至13中任意一项所述的方法。

26.一种执行设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器耦合，

所述存储器，用于存储程序；

所述处理器，用于执行所述存储器中的程序，使得所述执行设备执行如权利要求1至8中任一项所述的方法；或者，使得所述执行设备执行如权利要求12或13所述的方法。

27.一种训练设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器耦合，

所述存储器，用于存储程序；

所述处理器，用于执行所述存储器中的程序，使得所述训练设备执行如权利要求9至11中任意一项所述的方法。

Images