CN114693865A - 数据处理方法及相关装置 - Google Patents

Abstract

本申请实施例提供一种数据处理方法、装置及存储介质，其中方法包括：根据目标物体的图像对目标物体的非完整点云数据进行标注，得到标注信息，该标注信息包括目标物体的移动方向以及包含非完整点云数据的点云包围盒，点云包围盒的z方向与z轴平行，且与点云包围盒的高对应的方向平行，z轴与水平面垂直；根据移动方向和/或z方向确定点云包围盒的扩展约束信息，该扩展约束信息包括相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项；在点云包围盒上标注扩展约束信息。采用本申请实施例，能够在包含目标物体的非完整点云数据的点云包围盒上标注该点云包围盒的扩展约束信息，便于提高尺寸处理的准确率以及数据的使用率。

Description

数据处理方法及相关装置

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种数据处理方法及相关装置。

背景技术

随着自动驾驶技术的发展，一些无人行驶车辆或无人机等设备已渐渐落地。为了得到好的感知和控制模型，算法团队需要丰富且有效的数据集，其背后离不开数据标注信息的支持。然而，在采集设备采集图像(例如，点云数据、二维图像等)时，对于距离远或者有遮挡的物体，只能采集到部分的点云数据，即非完整点云数据。由于部分的点云数据不能还原物体的完整轮廓，导致该部分的点云数据难以被使用。

发明内容

本申请实施例公开了一种数据处理方法及相关装置，能够在包含目标物体的非完整点云数据的点云包围盒上标注该点云包围盒的扩展约束信息，便于提高尺寸处理的准确率以及数据的使用率。

第一方面，本申请实施例公开了一种数据处理方法，其中：根据目标物体的图像对目标物体的非完整点云数据进行标注，得到标注信息，该标注信息包括目标物体的移动方向以及包含非完整点云数据的点云包围盒，点云包围盒的z方向与z轴平行，且与点云包围盒的高对应的方向平行，z轴与水平面垂直；根据移动方向和/或z方向确定点云包围盒的扩展约束信息，该扩展约束信息包括相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项；在点云包围盒上标注扩展约束信息。也就是说，在点云包围盒上添加用于点云包围盒进行尺寸处理的扩展约束信息，从而可根据该扩展约束信息获取满足实际需求的目标包围盒，便于提高数据的使用率。点云包围盒包含非完整点云数据，且保持z方向与点云包围盒的高对应的方向，以及与水平面垂直的z轴平行，可避免由于采集角度导致长方体的方向偏移，提高了标注点云包围盒的准确率。又扩展约束信息是根据移动方向和/或z方向确定的，便于提高尺寸处理的准确率。

在一种可能的示例中，根据移动方向和/或z方向确定点云包围盒的扩展约束信息包括：确定点云包围盒中每个顶点的顶点置信度，该顶点置信度用于描述顶点为目标物体的物体包围盒的顶点的概率；确定顶点置信度的最大值对应的顶点为关键顶点；确定点云包围盒中与关键顶点相交的三条组合边为三条参考边；根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。也就是说，先将点云包围盒中最可能和物体包围盒中的顶点重合的顶点作为关键顶点，再根据移动方向和/或z方向确定与关键顶点相连接的三条参考边中与物体包围盒的长、宽、高对应的边分别作为关键长边、关键宽边和关键高边，可提高确定扩展约束信息的准确率。

在一种可能的示例中，确定点云包围盒中每个顶点的顶点置信度包括：根据点云包围盒中每个顶点对应的点云数量确定顶点的顶点置信度，其中，当点云数量越大时，顶点置信度越大；和/或，根据点云包围盒中每个顶点与采集设备之间的距离确定顶点的顶点置信度，其中，当距离越小时，顶点置信度越大，采集设备采集了非完整点云数据。可以理解，点云可体现目标物体被采集到的信息，采集设备与点云之间的距离越近时，采集的点云的准确率。在该示例中，根据顶点对应的点云数量和/或顶点与采集设备之间的距离确定该顶点为物体包围盒的顶点的概率(即顶点置信度)，可提高确定顶点置信度的准确率。

在一种可能的示例中，根据移动方向和/或z方向确定点云包围盒的扩展约束信息包括：确定点云包围盒中相交于每个顶点的三条组合边的整体置信度，该整体置信度用于描述三条组合边均为目标物体的物体包围盒的边的概率；确定整体置信度的最大值对应的三条组合边为三条参考边；确定三条参考边相交的顶点为关键顶点；根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。也就是说，先将点云包围盒中最可能和物体包围盒中的边重合的三条组合边作为三条参考边，再根据移动方向和/或z方向确定三条参考边中与物体包围盒的长、宽、高对应的边分别作为关键长边、关键宽边和关键高边，可提高确定扩展约束信息的准确率。

在一种可能的示例中，确定点云包围盒中相交于每个顶点的三条组合边的整体置信度包括：根据点云包围盒中相交于每个顶点的三条组合边对应的点云数量确定三条组合边的整体置信度，其中，当点云数量越大时，整体置信度越大；和/或，根据点云包围盒中每个顶点与采集设备之间的距离确定点云包围盒中相交于顶点的三条组合边的整体置信度，其中，当距离越小时，整体置信度越大，采集设备采集了非完整点云数据。可以理解，点云可体现目标物体被采集到的信息，采集设备与点云之间的距离越近时，采集的点云的准确率。在该示例中，根据点云包围盒中相交于一个顶点的三条组合边对应的点云数量，和/或三条组合边相交的顶点与采集设备之间的距离确定该三条组合边均为物体包围盒的边的概率(即整体置信度)，可提高确定整体置信度的准确率。

在一种可能的示例中，目标物体为车辆，标注信息还包括车辆类型，该方法还包括：根据车辆类型确定点云包围盒的第一尺寸；根据扩展约束信息和第一尺寸对点云包围盒进行尺寸处理，得到第一目标包围盒。如此，提高了点云包围盒进行尺寸处理的准确率，可提高第一目标包围盒的真实性。

在一种可能的示例中，根据扩展约束信息和第一尺寸对点云包围盒进行尺寸处理，得到第一目标包围盒包括：根据扩展约束信息和第一尺寸确定关键长边、关键宽边和关键高边中的至少一条目标边，以及至少一条目标边的目标长度和目标扩展方向；根据目标长度和目标扩展方向，对点云包围盒中目标边和目标边对应的边进行尺寸处理，得到第一目标包围盒。如此，基于第一尺寸和扩展约束信息获取满足车辆类型的第一目标包围盒，提高了点云包围盒进行尺寸处理的准确率。

在一种可能的示例中，该方法还包括：对在点云包围盒上标注扩展约束信息得到的参考点云数据进行存储。如此，便于进一步提高数据的使用率。

在一种可能的示例中，目标物体为车辆，标注信息还包括车辆类型，该方法还包括：接收针对参考点云数据的标注指令；根据标注指令和车辆类型确定点云包围盒的第二尺寸；根据扩展约束信息和第二尺寸对点云包围盒进行尺寸处理，得到第二目标包围盒。如此，基于第二尺寸和扩展约束信息获取满足标注指令和车辆类型的第二目标包围盒，提高了点云包围盒进行尺寸处理的准确率，且提高了数据的使用率。

第二方面，本申请实施例公开了一种数据处理装置，其中：标注单元用于根据目标物体的图像对目标物体的非完整点云数据进行标注，得到标注信息，该标注信息包括目标物体的移动方向以及包含非完整点云数据的点云包围盒，点云包围盒的z方向与z轴平行，且与点云包围盒的高对应的方向平行，z轴与水平面垂直；确定单元用于根据移动方向和/或z方向确定点云包围盒的扩展约束信息，该扩展约束信息包括相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项；标注单元还用于在点云包围盒上标注扩展约束信息。也就是说，在点云包围盒上添加用于点云包围盒进行尺寸处理的扩展约束信息，从而可根据该扩展约束信息获取满足实际需求的目标包围盒，便于提高数据的使用率。且点云包围盒包含非完整点云数据，且保持z方向与点云包围盒的高对应的方向，以及与水平面垂直的z轴平行，可避免由于采集角度导致长方体的方向偏移，提高了标注点云包围盒的准确率。又扩展约束信息是根据移动方向和/或z方向确定的，便于提高尺寸处理的准确率。

在一种可能的示例中，确定单元具体用于确定点云包围盒中每个顶点的顶点置信度，其中，顶点置信度用于描述顶点为目标物体的物体包围盒的顶点的概率；确定顶点置信度的最大值对应的顶点为关键顶点；确定点云包围盒中与关键顶点相交的三条组合边为三条参考边；根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。也就是说，先将点云包围盒中最可能和物体包围盒中的顶点重合的顶点作为关键顶点，再根据移动方向和/或z方向确定与关键顶点相连接的三条参考边中与物体包围盒的长、宽、高对应的边分别作为关键长边、关键宽边和关键高边，可提高确定扩展约束信息的准确率。

在一种可能的示例中，确定单元具体用于根据点云包围盒中每个顶点对应的点云数量确定顶点的顶点置信度，其中，当点云数量越大时，顶点置信度越大；和/或，根据点云包围盒中每个顶点与采集设备之间的距离确定顶点的顶点置信度，其中，当距离越小时，顶点置信度越大，采集设备采集了非完整点云数据。可以理解，点云可体现目标物体被采集到的信息，采集设备与点云之间的距离越近时，采集的点云的准确率。在该示例中，根据顶点对应的点云数量和/或顶点与采集设备之间的距离确定该顶点为物体包围盒的顶点的概率(即顶点置信度)，可提高确定顶点置信度的准确率。

在一种可能的示例中，确定单元具体用于确定点云包围盒中相交于每个顶点的三条组合边的整体置信度，其中，整体置信度用于描述三条组合边均为目标物体的物体包围盒的边的概率；确定整体置信度的最大值对应的三条组合边为三条参考边；确定三条参考边相交的顶点为关键顶点；根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。也就是说，先将点云包围盒中最可能和物体包围盒中的边重合的三条组合边作为三条参考边，再根据移动方向和/或z方向确定三条参考边中与物体包围盒的长、宽、高对应的边分别作为关键长边、关键宽边和关键高边，可提高确定扩展约束信息的准确率。

在一种可能的示例中，确定单元具体用于根据点云包围盒中相交于每个顶点的三条组合边对应的点云数量确定三条组合边的整体置信度，其中，当点云数量越大时，整体置信度越大；和/或，根据点云包围盒中每个顶点与采集设备之间的距离确定点云包围盒中相交于顶点的三条组合边的整体置信度，其中，当距离越小时，整体置信度越大，采集设备采集了非完整点云数据。可以理解，点云可体现目标物体被采集到的信息，采集设备与点云之间的距离越近时，采集的点云的准确率。在该示例中，根据点云包围盒中相交于一个顶点的三条组合边对应的点云数量，和/或三条组合边相交的顶点与采集设备之间的距离确定该三条组合边均为物体包围盒的边的概率(即整体置信度)，可提高确定整体置信度的准确率。

在一种可能的示例中，目标物体为车辆，标注信息还包括车辆类型，确定单元还用于根据车辆类型确定点云包围盒的第一尺寸；数据处理装置还包括处理单元，用于根据扩展约束信息和第一尺寸对点云包围盒进行尺寸处理，得到第一目标包围盒。如此，提高了点云包围盒进行尺寸处理的准确率，可提高第一目标包围盒的真实性。

在一种可能的示例中，处理单元具体用于根据第一尺寸和扩展约束信息确定关键长边、关键宽边和关键高边中的至少一条目标边，以及至少一条目标边的目标长度和目标扩展方向；根据目标长度和目标扩展方向，对点云包围盒中目标边和目标边对应的边进行尺寸处理，得到第一目标包围盒。如此，基于第一尺寸和扩展约束信息获取满足车辆类型的第一目标包围盒，提高了点云包围盒进行尺寸处理的准确率。

在一种可能的示例中，数据处理装置还包括：存储单元用于对在点云包围盒上标注扩展约束信息得到的参考点云数据进行存储。如此，便于进一步提高数据的使用率。

在一种可能的示例中，目标物体为车辆，标注信息还包括车辆类型，数据处理装置还包括通信单元和处理单元，其中：通信单元用于接收针对参考点云数据的标注指令；确定单元，还用于根据标注指令和车辆类型确定点云包围盒的第二尺寸；处理单元用于根据扩展约束信息和第二尺寸对点云包围盒进行尺寸处理，得到第二目标包围盒。如此，基于第二尺寸和扩展约束信息获取满足标注指令和车辆类型的第二目标包围盒，提高了点云包围盒进行尺寸处理的准确率，且提高了数据的使用率。

第三方面，本申请实施例公开了另一种数据处理装置，包括处理器和与处理器连接的存储器，存储器用于存储一个或多个程序，并且被配置由处理器执行上述的第一方面的步骤。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的第一方面的方法。

第五方面，本申请提供了一种计算机程序产品，计算机程序产品用于存储计算机程序，当计算机程序在计算机上运行时，使得计算机执行上述的第一方面的方法。

第六方面，本申请提供了一种芯片，包括处理器和存储器，处理器用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的设备执行上述的第一方面的方法。

第七方面，本申请提供了另一种芯片，包括：输入接口、输出接口和处理电路，输入接口、输出接口与处理电路之间通过内部连接通路相连，处理电路用于执行上述的第一方面的方法。

第八方面，本申请提供了另一种芯片，包括：输入接口、输出接口、处理器，可选的，还包括存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行上述任一方面中的方法。

第九方面，本申请实施例提供一种芯片系统，包括至少一个处理器，存储器和接口电路，存储器、收发器和至少一个处理器通过线路互联，至少一个存储器中存储有计算机程序；计算机程序被处理器执行上述的第一方面中的方法。

附图说明

以下对本申请实施例用到的附图进行介绍。

图1是本申请实施例提供的一种数据处理系统的结构示意图；

图2是本申请实施例提供的一种电子设备的结构示意图；

图3是本申请实施例提供的一种标注平台中可供选择的车辆类型的示意图；

图4是本申请实施例提供的一种采集设备采集的二维图像和点云图像；

图5是现有技术提供的一种点云包围盒扩展为假想包围盒的示意图；

图6是本申请实施例提供的一种数据处理方法的流程示意图；

图7是本申请实施例提供的一种标注点云包围盒和移动方向的示意图；

图8是本申请实施例提供的一种标注扩展约束信息的示意图；

图9是本申请实施例提供的另一种采集设备采集的二维图像和点云图像；

图10是本申请实施例提供的另一种数据处理方法的流程示意图；

图11是本申请实施例提供的一种点云包围盒进行尺寸处理的示意图；

图12是本申请实施例提供的一种数据处理装置的结构示意图；

图13是本申请实施例提供的另一种数据处理装置的结构示意图。

具体实施方式

下面结合本申请实施例中的附图对本申请实施例进行描述。

请参照图1，图1是为应用于本申请实施例的数据传输方法的系统构架图。如图1所示，该系统包括电子设备10和采集设备20。本申请对于电子设备10和采集设备20的数量不做限定。

本申请实施例中的电子设备可以包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如手机、移动电话、平板电脑、个人数字助理、媒体播放器等)、消费型电子设备、小型计算机、大型计算机、移动机器人、无人机等。该电子设备可以是计算机系统(或车载系统)中的车载设备，也可以是其他的设备，在此不做限定。在图1中，电子设备10以个人计算机进行描述。

请参照图2，图2是为本申请实施例提供的一种电子设备的结构示意图。如图2所示，电子设备10可以包括显示设备110、处理器120以及存储器130。其中，存储器130可用于存储软件程序以及数据，处理器120可以通过运行存储在存储器130的软件程序以及数据，从而执行电子设备10的各种功能应用以及数据处理。

存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像采集功能等)等；存储数据区可存储根据电子设备10的使用所创建的数据(比如音频数据、文本信息、图像数据等)等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器120是电子设备10的控制中心，利用各种接口和线路连接整个电子设备10的各个部分，通过运行或执行存储在存储器130内的软件程序和/或数据，执行电子设备10的各种功能和处理数据，从而对电子设备10进行整体监控。处理器120可以包括一个或多个处理单元，例如：处理器120可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signalprocessor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signalprocessor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备10的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

在一些实施例中，处理器120可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integratedcircuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，CL)。在一些实施例中，处理器120可以包含多组I2C总线。处理器120可以通过不同的I2C总线接口分别耦合触摸传感器，充电器，闪光灯，摄像头160等。例如：处理器120可以通过I2C接口耦合触摸传感器，使处理器120与触摸传感器通过I2C总线接口通信，实现电子设备10的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器120可以包含多组I2S总线。处理器120可以通过I2S总线与音频模块耦合，实现处理器120与音频模块之间的通信。在一些实施例中，音频模块可以通过I2S接口向无线保真(wireless fidelity，WiFi)模块190传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块与WiFi模块190可以通过PCM总线接口耦合。在一些实施例中，音频模块也可以通过PCM接口向WiFi模块190传递音频信号，实现通过蓝牙耳机接听电话的功能。I2S接口和PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器120与WiFi模块190。例如：处理器120通过UART接口与WiFi模块190中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块可以通过UART接口向WiFi模块190传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器120与显示设备110、摄像头160等外围器件。MIPI接口包括摄像头160串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器120和摄像头160通过CSI接口通信，实现电子设备10的拍摄功能。处理器120和显示屏通过DSI接口通信，实现电子设备10的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器120与摄像头160，显示设备110，WiFi模块190，音频模块，传感器模块等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口可以用于连接充电器为电子设备10充电，也可以用于电子设备10与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如，增强现实(Augmented Reality，AR)设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备10的结构限定。在本申请另一些实施例中，电子设备10也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备10中还包括用于拍摄图像或视频的摄像头160。摄像头160可以是普通摄像头，也可以是对焦摄像头。

电子设备10还可以包括输入设备140，用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及产生与电子设备10的用户设置以及功能控制有关的信号输入等。

显示设备110，包括的显示面板，用于显示由用户输入的信息或提供给用户的信息以及电子设备10的各种菜单界面等，在本申请实施例中主要用于显示电子设备10中摄像头或者传感器采集的待检测图像。可选的，显示面板可以采用液晶显示器(liquid crystaldisplay，LCD)或有机发光二极管(organic light-emitting diode，OLED)等形式来配置显示面板。

电子设备10还可以包括一个或多个传感器170，例如图像传感器、红外传感器、激光传感器(可包括激光位移传感器和激光雷达传感器等)、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、环境光传感器、指纹传感器、触摸传感器、温度传感器、骨传导传感器等，其中图像传感器可以为飞行时间(time offlight，TOF)传感器、结构光传感器等。

除此之外，电子设备10还可以包括用于给其他模块供电的电源150。电子设备10还可以包括无线射频(radio frequency，RF)电路180，用于与无线网络设备进行网络通信，还可以包括WiFi模块190，用于与其他设备进行WiFi通信，比如，用于接收其他设备传输的图像或者数据等。

尽管并未在图2中示出，电子设备10还可以包括闪光灯、蓝牙模块、外部接口、按键、马达等其他可能的功能模块，在此不再赘述。

本申请实施例中的采集设备可以为可移动设备，该可移动设备可以包括但不限于飞机、轮船、机器人、车辆等，也可以是道路上的设备，例如，路侧单元(road side unit，RSU)。本申请实施例描述的飞机、轮船和车辆可以是人为驾驶的设备，也可以是无人驾驶的设备，在此不做限定。在图1中，采集设备20以车辆进行描述。采集设备可包括处理器、显示设备和存储器，可参照电子设备的描述，在此不再赘述。采集设备20还可包括传感器，例如，图像拾取设备(例如，摄像头等)和激光雷达传感器等。其中，图像拾取设备用于采集二维图像。激光雷达传感器用于探测激光雷达发送的激光信号的反射信号，从而得到激光点云(或点云)。需要说明的是，采集二维图形和采集点云的采集设备可以是同一个设备，也可以是不同的设备，在此不做限定。采集设备的处理器可包括点云处理模块，用于处理点云的数据。

在本申请实施例中，采集设备可用于采集目标物体的数据(例如，二维图形、点云数据、与目标物体之间的距离等中的至少一项)，并将该数据发送给对应的电子设备。电子设备可用于接收来自采集设备发送的数据，并根据该数据执行本申请实施例中所描述的数据处理方法。在一种可能的示例中，由采集设备(或采集设备中的处理器或处理器中的点云处理模块等)直接执行本申请实施例中所描述的数据处理方法。

电子设备中可运行标注平台对应的应用程序，该标注平台可用于展示从采集设备接收到的数据，可提供给标注人员进行标注。本申请实施例中所描述的数据处理方法也可由该标注平台对应的应用程序等执行，在此不做限定。

为了便于理解，下文首先介绍几个本申请涉及到的概念和术语。

(1)目标物体、目标物体的移动方向和物体类型。

在本申请实施例中，目标物体是采集设备或电子设备需要识别的对象。目标物体包括道路上的对象和道路外的对象。其中，道路上的对象包括道路上的人、车、交通灯、交通指示牌(如限速指示牌等)、交通标志杆和异物等。异物是指本不该出现在道路上的物体，如遗落在道路上的纸箱、轮胎等。道路外的对象包括道路两旁的建筑物、树木及道路之间的隔离带等。目标物体还可以是飞机、轮船、机器人等设备，在此不做限定。

移动方向是指目标物体的移动方向。当目标物体为车辆时，由于车辆的移动方向通常为前进方向，因此，也可将移动方向称为车头方向。

物体类型是指目标物体的分类，例如，飞机类型、轮船类型、机器人类型、车辆类型等。物体类型还可按照飞机类型、轮船类型、机器人类型、车辆类型等进一步分类，或具体为无人机类型、无人船类型、无人车类型等。以车辆类型进行举例说明，如图3所示，当目标物体为车辆时，标注平台中的车辆类型可包括公交车、摩托车、自行车、工程车、三轮车、罐式货车或皮卡等类型供标注人员选择。以上的车辆类型还可以基于该车辆类型的图像特征供给电子设备进行识别。可以理解，不同的车辆类型之间的车辆大小不同，每一种车辆对应一个尺寸。不同的物体类型之间的物体大小也不同，因此，基于物体类型可确定目标物体在点云数据中的大致尺寸。且不同物体类型的目标物体的移动方向与该物体对应的长方体的长和宽的方向不同，例如，当目标物体为车辆时，目标物体的移动方向通常与车辆对应的长方体的长对应的方向一致。当目标物体为人型的机器人时，目标物体的移动方向通常为直立行走的方向，即与人型的机器人对应的长方体的宽对应的方向一致。

(2)点云数据和点云图像。

点云数据，也称为激光点云(point cloud，PCD)、三维点云或点云，是利用激光在同一空间参考系下获取物体表面每个采样点的三维空间坐标(通常以x，y，z三维坐标的形式表示)，所得到的一系列表达目标空间分布和目标表面特性的海量点的集合。相比于图像，点云虽然缺乏详细的纹理信息，但是包含了丰富的三维空间信息。除了三维空间信息，点云数据还可包括颜色信息，灰度值，深度，分割结果等，在此不做限定。本申请实施例中将点云数据投影到二维平面得到的图像称为点云图像。

(3)目标物体的图像和非完整点云数据。

采集设备对于距离远或者有遮挡的物体，只能采集到部分的点云。本申请实施例中将所有采集到的部分的点云数据称为非完整点云数据，若目标物体的点云数据不足，则所有采集到的目标物体的点云数据称为目标物体的非完整点云数据。请参照图4，图4以目标物体为车辆进行举例说明。图4中的(a)为采集设备20采集的二维图形，图4中的(b)为采集设备20采集的所有点云数据对应的点云图像。从图4中的(a)可以看出，采集设备20的前方包括4个目标物体(即4辆车)21，且采集设备20与前方的目标物体21之间的距离较远，且邻近路边的目标物体21可能会被路边的树叶遮挡，目标物体21的点云数据存在不完整的可能性。从图4中的(b)可以看出，目标物体21的标注框中存在稀疏的点云数据，从而可确定该目标物体21的点云数据不足，采集设备20所有采集到的目标物体21的点云数据称为目标物体21的非完整点云数据。

目标物体的图像包括采集设备针对目标物体采集的二维图像，还可包括目标物体的非完整点云数据对应的三维图像等，在此不做限定。

(4)包围盒(bounding box，BB)、点云包围盒和物体包围盒。

包围盒是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象。最常见的包围盒有球体，轴对齐包围盒(axis-aligned bounding box，AABB)，包围球(sphere)，有向包围盒(orientedbounding box，OBB)以及固定方向凸包(fixed directions hulls或k-DOP，FDH)。其中，轴对齐包围盒和有向包围盒为长方体对应的包围盒，一个给定对象的轴对齐包围盒被定义为包含该对象且各边平行于坐标轴的最小的六面体。一个给定对象的有向包围盒被定义为包含该对象且相对于坐标轴方向任意的最小的长方体，有向包围盒的最大特点是它的方向的任意性，这使得它可以根据被包围对象的形状特点尽可能紧密的包围对象。示例性的，当有向包围盒的z轴对应的z方向与水平面垂直时，x轴对应的x方向/y轴对应的y方向可与x轴/y有一定夹角使得x方向/y方向组成面的面积最小。本申请实施例中描述的z轴可以是大地坐标系中的z轴方向等，在此不做限定。

本申请实施例中的点云包围盒是一种包含给定对象的所有的点云(即目标物体的非完整点云数据)的长方体，且该长方体(即点云包围盒)的z方向与z轴以及点云包围盒的高对应的方向平行，z轴与水平面垂直。点云包围盒对应的坐标轴的轴心可以位于点云包围盒的中心，该坐标轴的x轴、y轴和z轴方向可分别与该点云包围盒的长、宽和高的方向平行。对于长方体而言，高垂直于水平面，长大于宽的长度。因此，该点云包围盒的z方向与点云包围盒的高对应的方向平行，且与该点云包围盒的x方向与点云包围盒的长对应的方向平行，y方向与点云包围盒的宽对应的方向平行。而边的长度与实际采集的点云数据的长度相关。也就是说，除了高对应的边以外，采集的点云数量较长的边可作为点云包围盒的长，与该长和高相交于一个顶点的另一边或与该边平行的边可作为点云包围盒的宽。

可以理解，目标物体对应的物体包围盒的z方向是与z轴平行的。当限定点云包围盒的z方向与z轴平行时，不论采集角度如何，均可保证点云包围盒和物体包围盒对应的高的方向与水平面垂直。也就是说，点云包围盒的z方向与目标物体的z方向平行，可提高标注点云包围盒的准确率。再根据x轴、y轴和z轴之间两两相互垂直的方向关系，标注出包含目标物体的非完整点云数据的点云包围盒。可选的，点云包围盒的类型为有向包围盒，且点云包围盒的z方向与z轴平行。由于有向包围盒为被定义为包含该对象且相对于坐标轴方向任意的最小的长方体，可保证点云包围盒的紧致性，从而进一步提高了标注点云包围盒的准确率。

本申请实施例中的物体包围盒是一种包含给定对象(即目标物体)的长方体，且该长方体的z方向与z轴平行。可参照点云包围盒的描述，物体包围盒的高对应的方向与z轴平行，物体包围盒的x方向平行于物体包围盒的长对应的方向，物体包围盒的y方向平行于物体包围盒的宽对应的方向。通过物体包围盒的移动方向和物体类型可确定物体包围盒的长或宽，例如，当目标物体的物体类型为车辆时，目标物体的移动方向通常与物体包围盒的长对应的方向一致，从而可确定物体包围盒中与目标物体的移动方向平行的边作为该物体包围盒的长，再将该物体包围盒中与长和高相交于一个顶点的另一边或与该边平行的边作为该物体包围盒的宽。当目标物体为物体类型为人型的机器人时，目标物体的移动方向通常为直立行走的方向，即与物体包围盒的宽对应的方向一致，从而可确定物体包围盒中与目标物体的移动方向平行的边作为该物体包围盒的长，再将该物体包围盒中与长和高相交于一个顶点的另一边或与该边平行的边作为该物体包围盒的宽。

目前常用的标注非完整点云数据的方法如图5中的(a)所示，在数据标注时，先对非完整点云数据对应的包围盒30和箭头A1表示的移动方向进行标注；再对包围盒30进行扩框处理，得到假想包围盒31和箭头A2表示的移动方向，使得假想包围盒31符合正常车辆的尺寸(例如，图5中的(b)标注的车辆类型为工程车，且该工程车对应的假想包围盒31的长、宽、高(单位为米)分别为1.77、2.78、2.00)。

在此方法中，扩框的规范难以确定，通常是由标注人员根据主观经验对包围盒进行扩框处理，缺乏客观性。且由于扩框操作会导致标注效率降低。此外，扩框得到的假想包围盒难以被其他团队或人员利用。

基于此，本申请实例提供的一种数据处理方法，可应用于数据处理装置，该数据处理装置可以是上述的电子设备或采集设备。本申请实施例以电子设备为例，对数据处理方法进行描述，请参照图6，图6为本申请实施例应用的数据处理方法的流程示意图。该方法可以包括以下步骤S601～S603，其中：

S601：根据目标物体的图像对目标物体的非完整点云数据进行标注，得到标注信息，其中，标注信息包括目标物体的移动方向以及包含非完整点云数据的点云包围盒，点云包围盒的z方向与z轴平行，且与点云包围盒的高对应的方向平行，z轴与水平面垂直。

其中，目标物体、目标物体的图像和非完整点云数据、点云包围盒和目标物体的移动方向、点云包围盒的z方向和高对应的方向，以及z轴可参照前述的定义，在此不再赘述。在本申请实施例中，标注信息包括包含非完整点云数据的点云包围盒，以及目标物体的移动方向，如图7中的(b)所示可包括用长方体表示的点云包围盒30，用箭头A1表示的移动方向。

标注信息还可包括物体类型、遮挡情况、上下方向、缩放比例等，在此不做限定。其中，物体类型可参照前述，在此不再赘述。当目标物体为车辆时，标注信息还可包括车辆类型。遮挡情况用于描述目标物体有无遮挡，以及被遮挡的部位等信息，可确定非完整点云数据的缺失情况，当缺失了大部分的数据时，对该非完整点云数据进行尺寸处理得到的目标包围盒的准确率不足。当目标物体的物体类型为车辆、轮船、飞机或其他的载人设备时，上下方向与物体包围盒的宽的方向对应，基于上下方向可直接确定物体包围盒的宽的方向，当点云包围盒中标注了上下方向，即可确定点云包围盒和物体包围盒对应的宽的方向，便于提高确定点云包围盒的扩展方向的速率。缩放比例用于描述采集设备采集的点云数据与现实中对象之间的缩放大小，缩放比例可以理解为目标物体对应的非完整点云数据和实际的目标物体之间的缩放大小。

本申请实施例对于标注点云包围盒的方法不做限定，在一种可能的示例中，确定采集设备采集的点云数据中目标物体对应的目标区域；根据预设算法对目标区域中非完整点云数据对应的点云包围盒进行标注。

其中，目标区域为采集设备采集的点云数据中目标物体对应的位置，本申请可由标注人员针对点云数据和二维图形进行对比，得到的标注信息确定目标物体对应的目标区域，还可由电子设备根据二维图形和点云数据之间的映射关系确定目标物体在点云数据中的位置作为目标区域，从而将目标区域对应的三维点云作为目标物体对应的非完整点云数据。本申请对于确定目标区域的方法不做限定。

本申请对于预设算法不做限定，可以根据点云包围盒中要求的包含所有的目标物体的点云(即非完整点云数据)的长方体，且该长方体的z方向与z轴平行，从而对目标区域中的点云数据对应的长方体进行缩框操作得到。

采用该示例，如图7中的(a)所示，先确定采集设备采集的点云数据中目标物体对应的目标区域32，再根据预设算法确定目标区域32中非完整点云数据对应的长方体，再对该长方体进行标注，即如图7中的(b)所示的非完整点云数据对应的点云包围盒30。如此，可提高标注点云包围盒的准确率，便于后续基于实际需求对该点云包围盒进行扩展。

进一步的，可通过标注人员对上述预设算法得到的长方体进行微调，得到点云包围盒。可以理解，通过标注人员微调得到的点云包围盒，可进一步提高点云包围盒的准确率。

S602：根据移动方向和/或z方向确定点云包围盒的扩展约束信息，其中，扩展约束信息包括相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项。

在本申请实施例中，扩展约束信息用于限定点云包围盒的扩展方向，可包括关键顶点，以及相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项，还可包括关键顶点分别和关键长边、关键宽边和关键高边对应的扩展方向等，在此不做限定。

其中，关键顶点用于描述点云包围盒中与物体包围盒中最接近的顶点，也就是说，关键顶点为点云包围盒中最可能和物体包围盒中的顶点重合的顶点。例如，图8中的(b)所示的点云包围盒30中的顶点d1为关键顶点。

关键长边、关键宽边和关键高边为相交于关键顶点的三条组合边，且分别与物体包围盒的长、宽和高对应的边。也就是说，关键长边、关键宽边和关键高边最可能和物体包围盒中相交于一个顶点的三条边重合。例如，图8中箭头A1表示目标物体的移动方向，线段L1、线段L2和线段L3相交于关键顶点d1，在点云包围盒30中线段L1、线段L2和线段L3对应的边可分别称为关键长边、关键宽边和关键高边。

本申请对于确定扩展约束信息的方法不做限定，可包括以下两种实施方式，其中：

第一种，确定点云包围盒中每个顶点的顶点置信度；确定顶点置信度的最大值对应的顶点为关键顶点；确定点云包围盒中与关键顶点相交的三条组合边为三条参考边；根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。

其中，顶点置信度用于描述点云包围盒的顶点为目标物体的物体包围盒的顶点的概率。本申请对于确定顶点置信度的方法不做限定，在第一种可能的示例中，根据点云包围盒中每个顶点对应的点云数量确定该顶点的顶点置信度，当点云数量越大时，顶点置信度越大。

其中，顶点对应的点云数量可以理解为顶点对应的预设范围内的点云的数量，该预设范围可以是点云包围盒中与顶点相连接的三条组合边中与顶点之间的距离相差同一个阈值的点连接而成的1/4球体，三菱锥或者正方体等，在此不做限定。可选的，本申请实施例可选取点云包围盒中一个平面对应的顶点，如图8中的(a)所示，选取点云包围盒中的顶点d1、顶点d2、顶点d3和顶点d4，顶点d1、顶点d2、顶点d3和顶点d4中各个顶点对应的预设范围内的点云数量之间的大小关系为顶点d1>顶点d2>顶点d3>顶点d4。根据点云数量越大顶点置信度越大可知，顶点d1、顶点d2、顶点d3和顶点d4中各个顶点的顶点置信度之间的大小关系为顶点d1>顶点d2>顶点d3>顶点d4，因此，可确定关键顶点为顶点d1。

可以理解，点云可体现目标物体被采集到的信息，当点云数量越大时，表示该点云数据对应的区域被采集到的概率越大。在该示例中，根据顶点对应的点云数量确定该顶点为物体包围盒的顶点的概率(即顶点置信度)，可提高确定顶点置信度的准确率。

在第二种可能的示例中，根据点云包围盒的顶点与采集设备之间的距离确定顶点的顶点置信度，当距离越小时，顶点置信度越大。

其中，采集设备采集了非完整点云数据，也就是说，采集设备为采集非完整点云数据的设备。该采集设备还可以是采集目标物体的二维图像的设备，在此不做限定。点云包围盒的顶点与采集设备之间的距离，可以通过点云包围盒的顶点对应的三维坐标，以及采集设备(可以是采集设备中的激光雷达传感器)对应的三维坐标进行计算得到，也可以通过与点云包围盒的顶点对应的物体包围盒的顶点对应的三维坐标，以及采集设备(可以是采集设备中的激光雷达传感器)对应的三维坐标进行计算得到等，在此不做限定。

示例性的，如图8中的(a)所示，选取点云包围盒中的顶点d1、顶点d2、顶点d3和顶点d4，顶点d1、顶点d2、顶点d3和顶点d4中各个顶点和采集设备之间的距离的大小关系为顶点d1<顶点d2<顶点d3<顶点d4。根据距离越近顶点置信度越大可知，顶点d1、顶点d2、顶点d3和顶点d4中各个顶点的顶点置信度之间的大小关系为顶点d1>顶点d2>顶点d3>顶点d4，因此，可确定关键顶点为顶点d1。

可以理解，当采集设备的采集距离越近时，采集的点云数据的准确率越高。因此，在该示例中，根据点云包围盒的顶点与采集设备之间的距离确定该顶点为物体包围盒的顶点的概率(即顶点置信度)，可提高确定顶点置信度的准确率。

在第三种可能的示例中，根据目标物体的二维图像确定点云包围盒中每个顶点的遮挡概率；根据遮挡概率确定顶点置信度，当遮挡概率越大时，顶点置信度越小。

其中，顶点的遮挡概率用于描述顶点被遮挡的概率，也就是说，该顶点能用于还原轮廓的概率。举例来说，如图8中的(a)所示，假设根据二维图像中可确定顶点d1、顶点d2、顶点d3和顶点d4的遮挡概率之间的大小关系为顶点d1<顶点d2<顶点d3<顶点d4。根据遮挡概率越小顶点置信度越大可知，顶点d1、顶点d2、顶点d3和顶点d4中各个顶点的顶点置信度之间的大小关系为顶点d1>顶点d2>顶点d3>顶点d4，因此，可确定关键顶点为顶点d1。

可以理解，二维图像可体现目标物体被遮挡的情况，当遮挡概率越大时，表示该顶点能进行还原的概率越小，即整体置信度越小。在该示例中，根据二维图形可确定各个顶点被遮挡的概率(即遮挡概率)，再根据遮挡概率确定顶点置信度，可提高确定顶点置信度的准确率。

需要说明的是，上述三种可能的示例并不构成对本申请实施例的限定，实际应用中，还可以采用其他实施方式确定顶点置信度或确定关键顶点，例如，根据二维图像和非完整点云数据确定点云包围盒的顶点的遮挡概率，再根据该遮挡概率确定顶点置信度，还可根据点云数量和距离确定顶点置信度(例如，获取点云数量和距离对应的加权平均值，由加权平均值确定顶点置信度等)；或者根据点云数据和距离确定关键顶点(例如，当确定最大的点云数量对应2个或2个以上的顶点时，可根据此处的2个或2个以上的顶点与采集设备之间的距离，将距离最小的顶点作为关键顶点；或者当确定最小的距离对应2个或2个以上的顶点时，可根据此处的2个或2个以上的顶点对应的点云数量，将点云数量的最大值对应的顶点作为关键顶点等)；或者根据点云数量和遮挡概率确定顶点置信度(例如，获取点云数量和距离对应的加权平均值，由加权平均值确定顶点置信度等)；或者根据点云数量和遮挡概率确定关键顶点(例如，当确定最大的点云数量对应2个或2个以上的顶点时，可根据此处的2个或2个以上的顶点的遮挡概率，将遮挡概率最小的顶点作为关键顶点；或者当确定最小的遮挡概率对应2个或2个以上的顶点时，可根据此处的2个或2个以上的顶点对应的点云数量，将点云数量的最大值对应的顶点作为关键顶点等)等。

在一个长方体中，每个顶点可连接三条边。在本申请实施例中，可将点云包围盒中与关键顶点相交的三条组合边称为三条参考边，也就是说，参考边为点云包围盒中与关键顶点相连接的边。

在本申请实施例中，关键高边是与物体包围盒的高对应的边，物体包围盒的高和点云包围盒的高均与点云包围盒的z方向平行，可确定三条参考边中与z方向对应的边为关键高边。如前所述，可根据目标物体的物体类型可确定点云包围盒(物体包围盒)中与移动方向对应的长边或宽边。因此，当根据物体类型可确定与移动方向对应的长边时，可将与关键顶点相交的三条参考边中选取与移动方向对应的长边作为点云包围盒的关键长边。当根据物体类型可确定与移动方向对应的宽边时，可将与关键顶点相交的三条参考边中选取与移动方向对应的宽边作为点云包围盒的关键宽边。可以理解，关键长边、关键宽边和关键高边中每一条边均为分别三条参考边中除了其他两条参考边之外的参考边，当根据物体类型可确定与移动方向对应的关键长边时，可确定三条参考边中除了与移动方向对应的参考边和与z方向对应的参考边之外的参考边为关键宽边。当根据物体类型可确定与移动方向对应的关键宽边时，可确定三条参考边中除了与移动方向对应的参考边和与z方向对应的参考边之外的参考边为关键长边。

以目标物体为车辆进行举例说明，移动方向与长边的方向对应，也就是说，可确定三条参考边中与移动方向对应的边为关键长边。如图8中的(b)所示，当关键顶点为d1时，可确定点云包围盒30中与箭头A1对应的移动方向对应，且与关键顶点d1相交的边为关键长边，即关键长边为线段L1。根据点云包围盒30的z方向与z轴方向对应，且与关键顶点d1相交的边为关键高边，即确定点云包围盒30中的线段L3为关键高边。最后，由于三条参考边除了与移动方向对应的参考边，和与z方向对应的参考边之外，剩余的参考边为关键宽边。因此，可在点云包围盒中与关键顶点d1相交的边，还剩下线段L2，即为关键宽边。

本申请对于确定关键长边、关键宽边和关键高边中的哪一条边不做限定，可以分别确定关键长边、关键宽边和关键高边，也可以对非完整点云数据进行分析，得到需要进行扩展的边。例如，根据物体类型或具体的物体类型(例如，车辆类型、飞机类型、轮船类型、机器人类型等)确定目标物体在点云图像中的目标尺寸，该目标尺寸包括长、宽和高对应的长度。根据移动方向和z方向可确定关键长边和/或关键宽边，根据z方向可确定关键高边。再根据目标尺寸中三边的长度，和关键长边、关键宽边和关键高边中在点云包围盒中的尺寸，从而可确定关键长边、关键宽边和关键高边中需要扩展的边。

可以理解，在第一种确定扩展约束信息的方法中，先确定点云包围盒中各个顶点的顶点置信度，再将最大的顶点置信度对应的顶点作为关键顶点。也就是说，先将点云包围盒中最可能和物体包围盒中的顶点重合的顶点作为关键顶点，再确定与关键顶点相交的三条组合边为三条参考边，再根据移动方向和/或z方向确定三条参考边中与物体包围盒的长、宽、高对应的边分别作为关键长边、关键宽边和关键高边，可提高确定扩展约束信息的准确率。

第二种，确定点云包围盒中相交于每个顶点的三条组合边的整体置信度；确定整体置信度的最大值对应的三条组合边为三条参考边；确定三条参考边相交的顶点为关键顶点；根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。

其中，整体置信度用于描述三条组合边均为目标物体的物体包围盒的边的概率。本申请对于确定整体置信度的方法不做限定，在第一种可能的示例中，根据点云包围盒中相交于每个顶点的三条组合边对应的点云数量确定三条组合边的整体置信度，当点云数量越大时，整体置信度越大。

其中，点云包围盒中相交于每个顶点的三条组合边对应的点云数量可以理解为每个顶点和三条组合边对应的预设范围内的点云的数量，该预设范围可以是三条组合边中与顶点之间的距离相差同一个阈值的点连接而成的1/4球体，三菱锥或者正方体等，在此不做限定。可选的，本申请实施例可选取点云包围盒中一个平面对应的顶点对应的三条组合边，如图8中的(a)所示，选取点云包围盒中的顶点d1、顶点d2、顶点d3和顶点d4，则顶点d1对应的三条组合边为L1、L2和L3，顶点d2对应的三条组合边为L2、L7和L6，顶点d3对应的三条组合边为L1、L4和L5，顶点d4对应的三条组合边为L5、L6和L8。各个相交于每个顶点的三条组合边对应的点云数量之间的大小关系为顶点d1对应的三条组合边>顶点d2对应的三条组合边>顶点d3对应的三条组合边>顶点d4对应的三条组合边。根据点云数量越大整体置信度越大可知，顶点d1、顶点d2、顶点d3和顶点d4中各个顶点对应的三条组合边的整体置信度之间的大小关系为顶点d1对应的三条组合边>顶点d2对应的三条组合边>顶点d3对应的三条组合边>顶点d4对应的三条组合边，因此，可确定三条参考边为顶点d1对应的三条组合边，即L1、L2和L3。

可以理解，点云可体现目标物体被采集到的信息，当点云数量越大时，表示该点云数据对应的区域被采集到的概率越大。在该示例中，根据点云包围盒中相交于每个顶点的三条组合边对应的点云数量确定该三条组合边均为物体包围盒的边的概率(即整体置信度)，可提高确定整体置信度的准确率。

在第二种可能的示例中，根据点云包围盒的顶点与采集设备之间的距离确定点云包围盒中相交于该顶点的三条组合边的整体置信度，当距离越小时，整体置信度越大。

其中，采集设备采集了非完整点云数据，也就是说，采集设备为采集非完整点云数据的设备。该采集设备还可以是采集目标物体的二维图像的设备，在此不做限定。点云包围盒的顶点与采集设备之间的距离，可以通过点云包围盒的顶点对应的三维坐标，以及采集设备(可以是采集设备中的激光雷达传感器)对应的三维坐标进行计算得到，也可以通过与点云包围盒的顶点对应的物体包围盒的顶点对应的三维坐标，以及采集设备(可以是采集设备中的激光雷达传感器)对应的三维坐标进行计算得到等，在此不做限定。

示例性的，如图8中的(a)所示，选取点云包围盒中的顶点d1、顶点d2、顶点d3和顶点d4，顶点d1、顶点d2、顶点d3和顶点d4中各个顶点和采集设备之间的距离的大小关系为顶点d1<顶点d2<顶点d3<顶点d4。根据距离越近整体置信度越大可知，顶点d1、顶点d2、顶点d3和顶点d4中各个顶点对应的三条组合边的整体置信度之间的大小关系为顶点d1对应的三条组合边>顶点d2对应的三条组合边>顶点d3对应的三条组合边>顶点d4对应的三条组合边，因此，可确定三条参考边为顶点d1对应的三条组合边，即L1、L2和L3。

可以理解，当采集设备的采集距离越近时，采集的点云数据的准确率越高。因此，在该示例中，根据点云包围盒的顶点与采集设备之间的距离确定该顶点对应的三条组合边均为物体包围盒的边的概率(即整体置信度)，可提高确定整体置信度的准确率。

在第三种可能的示例中，根据目标物体的二维图像确定点云包围盒中相交于每个顶点的三条组合边的遮挡概率；根据遮挡概率确定整体置信度，当遮挡概率越大时，整体置信度越小。

其中，三条组合边的遮挡概率用于描述物体包围盒中与该三条组合边对应的区域被遮挡的概率，也就是说，该三条组合边对应的预设区域能用于还原轮廓的概率。举例来说，如图8中的(a)所示，假设二维图像中可确定顶点d1、顶点d2、顶点d3和顶点d4中每一顶点对应的三条组合边的遮挡概率之间的大小关系为顶点d1对应的三条组合边<顶点d2对应的三条组合边<顶点d3对应的三条组合边<顶点d4对应的三条组合边。根据遮挡概率越小整体置信度越大可知，顶点d1、顶点d2、顶点d3和顶点d4中各个顶点对应的三条组合边的整体置信度之间的大小关系为顶点d1对应的三条组合边>顶点d2对应的三条组合边>顶点d3对应的三条组合边>顶点d4对应的三条组合边，因此，可确定三条参考边为顶点d1对应的三条组合边，即L1、L2和L3。

可以理解，二维图像可体现目标物体被遮挡的情况，当遮挡概率越大时，表示该顶点能进行还原的概率越小，即整体置信度越小。在该示例中，根据二维图形可确定各个相交于每个顶点的三条组合边被遮挡的概率(即遮挡概率)，再根据遮挡概率确定整体置信度，可提高确定整体置信度的准确率。

需要说明的是，上述三种可能的示例并不构成对本申请实施例的限定，实际应用中，还可以采用其他实施方式确定整体置信度或确定三条参考边，例如，根据二维图像和非完整点云确定点云包围盒的顶点的遮挡概率，再根据该遮挡概率确定整体置信度，还可根据点云数量和距离确定整体置信度(例如，获取点云数量和距离对应的加权平均值，由加权平均值确定整体置信度等)；或者根据点云数据和距离确定三条关键边(例如，当确定最大的点云数量对应2个或2个以上的顶点时，可根据此处的2个或2个以上的顶点与采集设备之间的距离，将与距离最小的顶点相交的三条组合边作为三条关键边；或者当确定最小的距离对应2个或2个以上的顶点时，可根据此处的2个或2个以上的顶点对应的点云数量，将与点云数量的最大值对应的顶点相交的三条组合边作为三条关键边等)；或者根据点云数量和遮挡概率确定整体置信度(例如，获取点云数量和距离对应的加权平均值，由加权平均值确定整体置信度等)；或者根据点云数量和遮挡概率确定三条关键边(例如，当确定最大的点云数量对应2个或2个以上的顶点时，可根据此处的2个或2个以上的顶点的遮挡概率，将与遮挡概率最小的顶点相交的三条组合边作为三条关键边；或者当确定最小的遮挡概率对应2个或2个以上的顶点时，可根据此处的2个或2个以上的顶点对应的点云数量，将与点云数量的最大值对应的顶点相交的三条组合边作为三条关键边等)等。当可确定点云包围盒中每条边的边置信度时，可根据相交于一个顶点的三条组合边的边置信度确定该三条组合变对应的整体置信度。此处的边置信度用于描述该边置信度对应的边为物体包围盒的边的概率，该整体置信度可按照长、宽和高分别对应的预设权值，对三条组合边的边置信度进行加权得到。此处的预设权值可根据长、宽和高需要进行扩展的重要性进行设置等，在此不做限定。

确定关键长边、关键宽边和关键高边，以及确定关键长边、关键宽边和关键高边中的哪一条边可参照第一种确定扩展约束信息的方法中的描述，在此不再赘述。

可以理解，在第二种确定扩展约束信息的方法中，先确定点云包围盒中相交于每个顶点的三条组合边的整体置信度，将最大的整体置信度对应的三条组合边作为三条参考边。也就是说，先将点云包围盒中最可能和物体包围盒中的边重合的边作为参考边，再确定与关键顶点相交的三条组合边为三条参考边，再根据移动方向和/或z方向确定三条参考边中与物体包围盒的长、宽、高对应的边分别作为关键长边、关键宽边和关键高边，可提高确定扩展约束信息的准确率。

在步骤S602之前，该方法还包括：根据二维图像确定目标物体的未遮挡位置包括目标物体的边界信息。

其中，边界信息包括包含目标物体的物体包围盒的顶点或边。可以理解，在根据二维图像确定非完整点云数据中包括目标物体的边界信息时，可基于边界信息进行扩展操作。且边界信息的位置固定，便于提高确定扩展约束信息的准确率，便于提高数据复用的效果。

在另一种可能的示例中，若根据二维图像确定目标物体的未遮挡位置不包括目标物体的边界信息，则不执行步骤S602。

如图9中的(a)所示，椭圆框里面的目标物体21的车头部位被道路中的树木遮挡，目标物体的车身部位被旁边的车辆遮挡。因此，采集设备采集的点云数据如图9中的(b)所示的椭圆框中，目标物体的非完整点云数据仅包括目标物体未遮挡的部位对应的点云。且未遮挡位置不包括目标物体的边界信息，从而很难在目标物体的非完整点云数据中确定关键长边、关键宽边以及关键高边，不执行步骤S602。否则，执行步骤S602，即确定点云包围盒的扩展约束信息。

S603：在点云包围盒上标注扩展约束信息。

在本申请实施例中，在点云包围盒上标注扩展约束信息，可以理解为，在标注信息上添加了扩展约束信息，例如，在标注信息上标注关键长边、关键宽边和关键高边中的至少一项，或标注关键顶点和关键长边、关键宽边和关键高边中的至少一项，或关键顶点和关键长边、关键宽边和关键高边中的至少一项对应的扩展方向。如图8中(b)和图11所示，在点云包围盒30上标注了相交于关键顶点d1的箭头A3、箭头A4和箭头A5，且箭头A3、箭头A4和箭头A5中每一箭头分别为关键长边L1、关键宽边L2和关键高边L3对应的扩展方向。

在图6所描述的方法中，根据目标物体的图像对目标物体对应的非完整点云数据进行标注，从而得到点云包围盒以及该目标物体的移动方向的标注信息。然后根据目标物体的移动方向和/或点云包围盒的z方向确定点云包围盒的扩展约束信息，在点云包围盒上标注该扩展约束信息，从而可根据该扩展约束信息获取满足实际需求的目标包围盒，便于提高数据的使用率。点云包围盒包含非完整点云数据，且保持z方向与点云包围盒的高对应的方向，以及与水平面垂直的z轴平行，可避免由于采集角度导致长方体的方向偏移，提高了标注点云包围盒的准确率。又扩展约束信息是根据移动方向和/或z方向确定的，便于提高尺寸处理的准确率。

在一种可能的示例中，目标物体为车辆，标注信息包括车辆类型，该方法还包括：根据车辆类型确定点云包围盒的第一尺寸；根据扩展约束信息和第一尺寸对点云包围盒进行尺寸处理，得到第一目标包围盒。

在本申请实施例中，第一尺寸可包括目标物体在图像中表示的长、宽和高的长度，即第一目标包围盒对应的长方体的长、宽和高的长度。由于车辆的形状非长方体，则长方体所包含的目标物体可能包含了多余的空间，第一尺寸还可进一步包括目标物体对应的立方体中各个边的长度等，在此不做限定。

可以理解，不同车辆类型的车辆尺寸不同。在本申请实施例中，根据车辆类型确定目标物体映射在点云数据中的第一尺寸，即点云包围盒需处理得到的尺寸。需要说明的是，由于点云数据中目标物体为非完整点云数据，也就是说，目标物体的图像是残缺的，对于大部分情况而言，对点云包围盒的尺寸处理操作是扩展操作。此外，第一尺寸还可根据标注信息中的缩放比例进行确定，该缩放比例可用于获取点云数据中目标物体和实际的目标物体之间的大小关系，因此可基于缩放比例和车辆类型获取目标物体在点云图像中的尺寸，可提高确定第一尺寸的准确率。

在本申请实施例中，第一目标包围盒为按照点云包围盒的车辆类型和扩展约束信息进行尺寸处理得到的包围盒。在该示例中，可根据车辆类型确定点云包围盒的第一尺寸，再根据扩展约束信息和第一尺寸对点云包围盒进行尺寸处理得到第一目标包围盒，提高了点云包围盒进行尺寸处理的准确率，可提高第一目标包围盒的真实性。

本申请对于获取第一目标包围盒的方法不做限定，在一种可能的示例中，根据扩展约束信息和第一尺寸确定关键长边、关键宽边和关键高边中的至少一条目标边，以及目标边的目标长度和目标扩展方向；根据目标长度和目标扩展方向对点云包围盒中目标边和目标边对应的边进行尺寸处理，得到第一目标包围盒。

其中，目标边为关键长边、关键宽边和关键高边中需要尺寸处理的边，目标长度可包括目标边进行尺寸处理的长度，或者包括第一尺寸中目标边对应的长度等，在此不做限定。目标扩展方向为关键顶点和目标边对应的延展方向，如图11中的(a)所示，目标扩展方向可以是线段L1、线段L2和线段L3重合的箭头中的至少一个箭头所指示的方向，也就是说，箭头A3、箭头A4和箭头A5中的至少一个方向。点云包围盒中与目标边对应的边是指需跟随目标边进行尺寸处理的边，由于点云包围盒为长方体，目标边对应的边可以是长方体中与目标边平行的边。需要说明的是，当第一尺寸包括目标物体对应的立方体中各个边的长度时，目标边对应的边可以是在其他的需要缩小范围的边。

以下以目标边对应的边为目标边平行的边进行举例说明，如图11中的(a)和(b1)所示，假设线段L1为关键长边，目标边为线段L1，则点云包围盒30中与线段L1对应的边，还包括线段L6、线段L9和线段L10。根据第一尺寸和关键边长对应的方向(即箭头A3的方向)，对关键长边(即线段L1)和点云包围盒30中与线段L11平行的边(即线段L6、线段L9和线段L10)进行尺寸处理，得到第一目标包围盒33。该第一目标包围盒33、箭头A1表示的移动方向对应的点云数据称为目标点云数据。

如图11中的(a)和(b2)所示，假设线段L2为关键宽边，目标边为线段L2，则点云包围盒30中与线段L2对应的边，还包括线段L5、线段L11和线段L12。根据第一尺寸和关键宽边对应的方向(即箭头A4的方向)，对关键宽边(即线段L2)和点云包围盒30中与线段L2平行的边(即线段L5、线段L11和线段L12)进行尺寸处理，得到第一目标包围盒34。该第一目标包围盒34、箭头A1表示的移动方向对应的点云数据称为目标点云数据。

如图11中的(a)和(b3)所示，假设线段L3为关键高边，目标边为线段L3，则点云包围盒30中与线段L3对应的边，还包括线段L4、线段L7和线段L8。根据第一尺寸和关键高边对应的方向(即箭头A5的方向)，对关键高边(即线段L3)和点云包围盒30中与线段L3平行的边(即线段L4、线段L7和线段L8)进行尺寸处理，得到第一目标包围盒35。该第一目标包围盒35、箭头A1表示的移动方向对应的点云数据称为目标点云数据。

需要说明的是，以上举例分别以一条目标边进行尺寸处理，在实际尺寸处理时，可能存在两条目标边，或者三条目标边的情况，依次按照对应的目标尺寸对目标边以及对应的目标边进行尺寸处理，在此不再赘述。本申请实施例以目标物体为车辆进行举例说明，其他的物体类型(例如，飞机类型、轮船类型、机器人类型等)的点云包围盒的处理方法可参照此方法，在此不再赘述。

可以理解，在该示例中，先将关键长边、关键宽边以及关键高边中不满足第一尺寸的边作为目标边，再确定第一尺寸的目标长度以及目标扩展方向，从而根据目标长度和目标扩展方向对点云包围盒中每条目标边以及每条目标边对应的边进行尺寸处理，得到满足车辆类型的第一目标包围盒，提高了点云包围盒进行尺寸处理的准确率。

与图6所示的实施例一致的，请参照图10，图10为本申请实施例提供的另一种数据处理方法的流程示意图。该方法以电子设备为例进行描述，具体流程可以包括以下步骤S1001～S1004，其中：

S1001：根据目标物体的图像对目标物体的非完整点云数据进行标注，得到标注信息，其中，标注信息包括目标物体的移动方向以及包含非完整点云数据的点云包围盒，点云包围盒的z方向与z轴平行，且与点云包围盒的高对应的方向平行，z轴与水平面垂直。

S1002：根据移动方向和/或z方向确定点云包围盒的扩展约束信息，其中，扩展约束信息包括相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项。

S1003：在点云包围盒上标注扩展约束信息，得到参考点云数据。

S1004：存储参考点云数据。

其中，步骤S1001～S1003可参照步骤S601～S603的描述，在此不再赘述。

在本申请实施例中，可将在标注信息的点云包围盒上标注扩展约束信息得到的数据称为参考点云数据。也就是说，参考点云数据包括步骤S601或S1001得到的标注信息以及步骤S602或S1002得到的标注信息中点云包围盒的扩展约束信息。如图8中的(b)所示，参考点云数据对应的点云图像上标注了目标物体的移动方向、点云包围盒30以及扩展约束信息。

在图10所描述的方法中，根据目标物体的图像对目标物体对应的非完整点云数据进行标注，从而得到点云包围盒以及该目标物体的移动方向的标注信息。然后根据目标物体的移动方向和/或点云包围盒的z方向确定点云包围盒的扩展约束信息，在点云包围盒上标注该扩展约束信息，得到参考点云数据，并存储该参考点云数据，从而可根据该扩展约束信息获取满足实际需求的目标包围盒，便于进一步提高数据的使用率。点云包围盒包含非完整点云数据，且保持z方向与点云包围盒的高对应的方向，以及与水平面垂直的z轴平行，可避免由于采集角度导致长方体的方向偏移，提高了标注点云包围盒的准确率。又扩展约束信息是根据移动方向和/或z方向确定的，便于提高尺寸处理的准确率。

在一种可能的示例中，目标物体为车辆，标注信息还包括车辆类型，该方法还包括：接收针对参考点云数据的标注指令；根据标注指令和车辆类型确定点云包围盒的第二尺寸；根据扩展约束信息和第二尺寸对点云包围盒进行尺寸处理，得到第二目标包围盒。

在本申请实施例中，标注指令可包括点云包围盒对应的尺寸处理精度以及尺寸要求。可以理解，对于不同的团队来说，对于尺寸的精确度也存在差别，例如，团队1中的车辆尺寸要求精确到分米，团队2中的车辆尺寸要求到毫米。此外，不同团队的算法存在区别，所要求的目标尺寸可能也存在区别，例如，团队1的目标尺寸要求长、宽、高分别为5.2、4.3、2.0，团队2中的车辆尺寸要求5.25、3.55、2.00等。

标注指令还可包括发送该标注指令的电子设备的标识信息等，在此不做限定。在获取第二目标包围盒之后，根据该标识信息向发送标注指令的电子设备发送第二目标包围盒对应的点云数据。该标注指令用于指示电子设备对参考点云数据中的非完整点云数据进行数据使用。可以理解为，对非完整点云数据对应的点云包围盒进行尺寸处理，以使非完整点云数据进行数据使用。该标注指令可以是根据标注人员在电子设备中输入的信息得到的指令，还可以是从其他的电子设备中接收到的指令，在此不做限定。

可以理解，不同车辆类型的车辆尺寸不同。在本申请实施例中，根据标注指令和车辆类型确定目标物体映射在点云数据中的第二尺寸，即点云包围盒需处理得到的尺寸。需要说明的是，由于点云数据中目标物体为非完整点云数据，也就是说，目标物体的图像是残缺的，对于大部分情况而言，对点云包围盒的尺寸处理操作是扩展操作，但根据不同的标注指令也可能存在缩放操作。此外，目标尺寸还可根据标注信息中的缩放比例进行确定，该缩放比例可用于获取点云数据中目标物体和实际的目标物体之间的大小关系，因此可基于缩放比例、标注指令和车辆类型获取目标物体在点云图像中的尺寸，可提高获取第二尺寸的准确率。

在本申请实施例中，第二目标包围盒为按照点云包围盒的标注指令、车辆类型和扩展约束信息进行尺寸处理得到的包围盒。本申请对于获取第二目标包围盒的方法不做限定，可参照获取第一目标包围盒的方法的描述，在此不再赘述。本申请实施例以目标物体为车辆进行举例说明，其他的物体类型(例如，飞机类型、轮船类型、机器人类型等)的点云包围盒的处理方法也可参照此方法，在此不再赘述。

可以理解，在该示例中，在接收到标注指令时，可先根据该标注指令和车辆类型确定点云包围盒的第二尺寸，再根据扩展约束信息和第二尺寸对点云包围盒进行尺寸处理，从而可得到满足车辆类型和标注指令的第二目标包围盒，提高了点云包围盒进行尺寸处理的准确率，且提高了数据的使用率。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参见图12，图12是本申请实施例提供的一种数据处理装置的结构示意图，该数据处理装置可以包括标注单元1201、确定单元1202、处理单元1203、存储单元1204和通信单元1205。当该数据处理装置为电子设备时，通信单元1205可用于接收采集设备采集的信息，或接收其他的电子设备发送的标注指令，以及与其他的电子设备发送数据处理之后得到的目标包围盒或包含目标包围盒的点云数据等数据。当该数据处理装置为采集设备时，通信单元1205可用于向电子设备发送数据处理之后得到的目标包围盒或包含目标包围盒的点云数据等数据。本申请实施例以数据处理装置为电子设备进行举例说明，各个单元的详细描述如下。

标注单元1201用于根据目标物体的图像对目标物体的非完整点云数据进行标注，得到标注信息，其中，标注信息包括目标物体的移动方向以及包含非完整点云数据的点云包围盒，点云包围盒的z方向与z轴平行，且与点云包围盒的高对应的方向平行，z轴与水平面垂直；

确定单元1202用于根据移动方向和/或z方向确定点云包围盒的扩展约束信息，其中，扩展约束信息包括相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项；

标注单元1201还用于在点云包围盒上标注扩展约束信息。

在一种可能的示例中，确定单元1202具体用于确定点云包围盒中每个顶点的顶点置信度，其中，顶点置信度用于描述顶点为目标物体的物体包围盒的顶点的概率；确定顶点置信度的最大值对应的顶点为关键顶点；确定点云包围盒中与关键顶点相交的三条组合边为三条参考边；根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。

在一种可能的示例中，确定单元1202具体用于根据点云包围盒中每个顶点对应的点云数量确定顶点的顶点置信度，其中，当点云数量越大时，顶点置信度越大；和/或，根据点云包围盒中每个顶点与采集设备之间的距离确定顶点的顶点置信度，其中，当距离越小时，顶点置信度越大，采集设备采集了非完整点云数据。

在一种可能的示例中，确定单元1202具体用于确定点云包围盒中相交于每个顶点的三条组合边的整体置信度，其中，整体置信度用于描述三条组合边均为目标物体的物体包围盒的边的概率；确定整体置信度的最大值对应的三条组合边为三条参考边；确定三条参考边相交的顶点为关键顶点；根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。

在一种可能的示例中，确定单元1202具体用于根据点云包围盒中相交于每个顶点的三条组合边对应的点云数量确定三条组合边的整体置信度，其中，当点云数量越大时，整体置信度越大；和/或，根据点云包围盒中每个顶点与采集设备之间的距离确定点云包围盒中相交于顶点的三条组合边的整体置信度，其中，当距离越小时，整体置信度越大，采集设备采集了非完整点云数据。

在一种可能的示例中，目标物体为车辆，标注信息还包括车辆类型，确定单元1202还用于根据车辆类型确定点云包围盒的第一尺寸；数据处理装置还包括处理单元1203，用于根据扩展约束信息和第一尺寸对点云包围盒进行尺寸处理，得到第一目标包围盒。

在一种可能的示例中，处理单元1203具体用于根据第一尺寸和扩展约束信息确定关键长边、关键宽边和关键高边中的至少一条目标边，以及至少一条目标边的目标长度和目标扩展方向；根据目标长度和目标扩展方向，对点云包围盒中目标边和目标边对应的边进行尺寸处理，得到第一目标包围盒。

在一种可能的示例中，数据处理装置还包括：存储单元1204用于对在点云包围盒上标注扩展约束信息得到的参考点云数据进行存储。

在一种可能的示例中，目标物体为车辆，标注信息还包括车辆类型，数据处理装置还包括通信单元1205和处理单元1203，其中：通信单元1205，用于接收针对参考点云数据的标注指令；确定单元1202，还用于根据标注指令和车辆类型确定点云包围盒的第二尺寸；处理单元1203用于根据扩展约束信息和第二尺寸对点云包围盒进行尺寸处理，得到第二目标包围盒。

需要说明的是，各个单元的实现还可以对应参照图6和图10所示的方法实施例的相应描述。

请参见图13，图13是本申请实施例提供的一种数据处理装置，该数据处理装置包括处理器1301、存储器1302和通信接口1303，处理器1301、存储器1302和通信接口1303通过总线1304相互连接。图12所示的通信单元1205所实现的相关功能可通过通信接口1303来实现，图12所示的存储单元1204所实现的相关功能可通过存储器1302来实现，图12所示的标注单元1201、确定单元1202和处理单元1203所实现的相关功能可通过处理器1301来实现。

存储器1302包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmableread only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器1302用于相关计算机程序及数据。通信接口1303用于接收和发送数据。

处理器1301可以是一个或多个中央处理器(central processing unit，CPU)，在处理器1301是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

该数据处理装置的处理器1301用于读取存储器1302中存储的计算机程序代码，执行以下操作：

根据目标物体的图像对目标物体的非完整点云数据进行标注，得到标注信息，其中，标注信息包括目标物体的移动方向以及包含非完整点云数据的点云包围盒，点云包围盒的z方向与z轴平行，且与点云包围盒的高对应的方向平行，z轴与水平面垂直；

根据移动方向和/或z方向确定点云包围盒的扩展约束信息，其中，扩展约束信息包括相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项；

在点云包围盒上标注扩展约束信息。

在一种可能的示例中，在根据移动方向和/或z方向确定点云包围盒的扩展约束信息方面，处理器1301具体用于执行以下操作：

确定点云包围盒中每个顶点的顶点置信度，其中，顶点置信度用于描述顶点为目标物体的物体包围盒的顶点的概率；

确定顶点置信度的最大值对应的顶点为关键顶点；

确定点云包围盒中与关键顶点相交的三条组合边为三条参考边；

根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。

在一种可能的示例中，在确定点云包围盒中每个顶点的顶点置信度方面，处理器1301具体用于执行以下操作：

根据点云包围盒中每个顶点对应的点云数量确定顶点的顶点置信度，其中，当点云数量越大时，顶点置信度越大；和/或，根据点云包围盒中每个顶点与采集设备之间的距离确定顶点的顶点置信度，其中，当距离越小时，顶点置信度越大，采集设备采集了非完整点云数据。

在一种可能的示例中，在根据移动方向和/或z方向确定点云包围盒的扩展约束信息方面，处理器1301具体用于执行以下操作：

确定点云包围盒中相交于每个顶点的三条组合边的整体置信度，其中，整体置信度用于描述三条组合边均为目标物体的物体包围盒的边的概率；

确定整体置信度的最大值对应的三条组合边为三条参考边；

确定三条参考边相交的顶点为关键顶点；

根据移动方向和/或z方向确定三条参考边中的关键长边、关键宽边和关键高边中的至少一项。

在一种可能的示例中，在确定点云包围盒中相交于每个顶点的三条组合边的整体置信度方面，处理器1301具体用于执行以下操作：

根据点云包围盒中相交于每个顶点的三条组合边对应的点云数量确定三条组合边的整体置信度，其中，当点云数量越大时，整体置信度越大；和/或，根据点云包围盒中每个顶点与采集设备之间的距离确定点云包围盒中相交于顶点的三条组合边的整体置信度，其中，当距离越小时，整体置信度越大，采集设备采集了非完整点云数据。

在一种可能的示例中，目标物体为车辆，标注信息还包括车辆类型，处理器1301还用于执行以下操作：

根据车辆类型确定点云包围盒的第一尺寸；

根据扩展约束信息和第一尺寸对点云包围盒进行尺寸处理，得到第一目标包围盒。

在一种可能的示例中，在根据扩展约束信息和第一尺寸对点云包围盒进行尺寸处理，得到第一目标包围盒方面，处理器1301具体用于执行以下操作：

根据扩展约束信息和第一尺寸确定关键长边、关键宽边和关键高边中的至少一条目标边，以及至少一条目标边的目标长度和目标扩展方向；

根据目标长度和目标扩展方向，对点云包围盒中目标边和目标边对应的边进行尺寸处理，得到第一目标包围盒。

在一种可能的示例中，处理器1301还用于执行以下操作：

对在点云包围盒上标注扩展约束信息得到的参考点云数据进行存储。

在一种可能的示例中，目标物体为车辆，标注信息还包括车辆类型，处理器1301还用于执行以下操作：

接收针对参考点云数据的标注指令；

根据标注指令和车辆类型确定点云包围盒的第二尺寸；

根据扩展约束信息和第二尺寸对点云包围盒进行尺寸处理，得到第二目标包围盒。

需要说明的是，各个操作的实现还可以对应参照图6和图10所示的方法实施例的相应描述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在电子设备上运行时，图6和图10所示的方法流程得以实现。

本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，图6和图10所示的方法流程得以实现。

本申请实施例还提供一种芯片，包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的终端设备执行图6和图10所示的方法。

本申请实施例还提供另一种芯片，该芯片可以为终端设备或接入网设备内的芯片，该芯片包括：输入接口、输出接口和处理电路，输入接口、输出接口与电路之间通过内部连接通路相连，处理电路用于执行图6和图10所示的方法。

本申请实施例还提供另一种芯片，包括：输入接口、输出接口、处理器，可选的，还包括存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行图6和图10所示的方法。

本申请实施例还提供一种芯片系统，所述芯片系统包括至少一个处理器，存储器和接口电路，所述存储器、所述收发器和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有计算机程序；所述计算机程序被所述处理器执行时，图6和图10所示的方法流程得以实现。

综上所述，通过实施本申请实施例，在点云包围盒上添加用于尺寸处理的扩展约束信息，从而可根据该扩展约束信息获取满足实际需求的目标包围盒，便于提高数据的使用率。点云包围盒包含非完整点云数据，且保持z方向与点云包围盒的高对应的方向，以及与水平面垂直的z轴平行，可避免由于采集角度导致长方体的方向偏移，提高了标注点云包围盒的准确率。又扩展约束信息是根据移动方向和/或z方向确定的，便于提高尺寸处理的准确率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来计算机程序相关的硬件完成，该计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储计算机程序代码的介质。

Claims (21)

1.一种数据处理方法，其特征在于，包括：

根据目标物体的图像对所述目标物体的非完整点云数据进行标注，得到标注信息，其中，所述标注信息包括所述目标物体的移动方向以及包含所述非完整点云数据的点云包围盒，所述点云包围盒的z方向与z轴平行，且与所述点云包围盒的高对应的方向平行，所述z轴与水平面垂直；

根据所述移动方向和/或所述z方向确定所述点云包围盒的扩展约束信息，其中，所述扩展约束信息包括相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项；

在所述点云包围盒上标注所述扩展约束信息。

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述移动方向和/或所述z方向确定所述点云包围盒的扩展约束信息，包括：

确定所述点云包围盒中每个顶点的顶点置信度，其中，所述顶点置信度用于描述所述顶点为所述目标物体的物体包围盒的顶点的概率；

确定所述顶点置信度的最大值对应的顶点为所述关键顶点；

确定所述点云包围盒中与所述关键顶点相交的三条组合边为三条参考边；

根据所述移动方向和/或所述z方向确定所述三条参考边中的所述关键长边、所述关键宽边和所述关键高边中的至少一项。

3.根据权利要求2所述的数据处理方法，其特征在于，所述确定所述点云包围盒中每个顶点的顶点置信度，包括：

根据所述点云包围盒中每个顶点对应的点云数量确定所述顶点的顶点置信度，其中，当所述点云数量越大时，所述顶点置信度越大；和/或，

根据所述点云包围盒中每个顶点与采集设备之间的距离确定所述顶点的顶点置信度，其中，当所述距离越小时，所述顶点置信度越大，所述采集设备采集了所述非完整点云数据。

4.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述移动方向和/或所述z方向确定所述点云包围盒的扩展约束信息，包括：

确定所述点云包围盒中相交于每个顶点的三条组合边的整体置信度，其中，所述整体置信度用于描述所述三条组合边均为所述目标物体的物体包围盒的边的概率；

确定所述整体置信度的最大值对应的三条组合边为三条参考边；

确定所述三条参考边相交的顶点为所述关键顶点；

根据所述移动方向和/或所述z方向确定所述三条参考边中的所述关键长边、所述关键宽边和所述关键高边中的至少一项。

5.根据权利要求4所述的数据处理方法，其特征在于，所述确定所述点云包围盒中相交于每个顶点的三条组合边的整体置信度，包括：

根据所述点云包围盒中相交于每个顶点的三条组合边对应的点云数量确定所述三条组合边的整体置信度，其中，当所述点云数量越大时，所述整体置信度越大；和/或，

根据所述点云包围盒中每个顶点与采集设备之间的距离确定所述点云包围盒中相交于所述顶点的三条组合边的整体置信度，其中，当所述距离越小时，所述整体置信度越大，所述采集设备采集了所述非完整点云数据。

6.根据权利要求1-5中任一项所述的数据处理方法，其特征在于，所述目标物体为车辆，所述标注信息还包括车辆类型，所述方法还包括：

根据所述车辆类型确定所述点云包围盒的第一尺寸；

根据所述扩展约束信息和所述第一尺寸对所述点云包围盒进行尺寸处理，得到第一目标包围盒。

7.根据权利要求6所述的数据处理方法，其特征在于，所述根据所述扩展约束信息和所述第一尺寸对所述点云包围盒进行尺寸处理，得到第一目标包围盒，包括：

根据所述扩展约束信息和所述第一尺寸确定所述关键长边、所述关键宽边和所述关键高边中的至少一条目标边，以及所述至少一条目标边的目标长度和目标扩展方向；

根据所述目标长度和所述目标扩展方向，对所述点云包围盒中所述目标边和所述目标边对应的边进行尺寸处理，得到第一目标包围盒。

8.根据权利要求1-5中任一项所述的数据处理方法，其特征在于，所述方法还包括：

对在所述点云包围盒上标注所述扩展约束信息得到的参考点云数据进行存储。

9.根据权利要求8所述的数据处理方法，其特征在于，所述目标物体为车辆，所述标注信息还包括车辆类型，所述方法还包括：

接收针对所述参考点云数据的标注指令；

根据所述标注指令和所述车辆类型确定所述点云包围盒的第二尺寸；

根据所述扩展约束信息和所述第二尺寸对所述点云包围盒进行尺寸处理，得到第二目标包围盒。

10.一种数据处理装置，其特征在于，包括：

标注单元，用于根据目标物体的图像对所述目标物体的非完整点云数据进行标注，得到标注信息，其中，所述标注信息包括所述目标物体的移动方向以及包含所述非完整点云数据的点云包围盒，所述点云包围盒的z方向与z轴平行，且与所述点云包围盒的高对应的方向平行，所述z轴与水平面垂直；

确定单元，用于根据所述移动方向和/或所述z方向确定所述点云包围盒的扩展约束信息，其中，所述扩展约束信息包括相交于关键顶点的关键长边、关键宽边和关键高边中的至少一项；

所述标注单元，还用于在所述点云包围盒上标注所述扩展约束信息。

11.根据权利要求10所述的数据处理装置，其特征在于，所述确定单元具体用于确定所述点云包围盒中每个顶点的顶点置信度，其中，所述顶点置信度用于描述所述顶点为所述目标物体的物体包围盒的顶点的概率；确定所述顶点置信度的最大值对应的顶点为所述关键顶点；确定所述点云包围盒中与所述关键顶点相交的三条组合边为三条参考边；根据所述移动方向和/或所述z方向确定所述三条参考边中的所述关键长边、所述关键宽边和所述关键高边中的至少一项。

12.根据权利要求11所述的数据处理装置，其特征在于，所述确定单元具体用于根据所述点云包围盒中每个顶点对应的点云数量确定所述顶点的顶点置信度，其中，当所述点云数量越大时，所述顶点置信度越大；和/或，根据所述点云包围盒中每个顶点与采集设备之间的距离确定所述顶点的顶点置信度，其中，当所述距离越小时，所述顶点置信度越大，所述采集设备采集了所述非完整点云数据。

13.根据权利要求10所述的数据处理装置，其特征在于，所述确定单元具体用于确定所述点云包围盒中相交于每个顶点的三条组合边的整体置信度，其中，所述整体置信度用于描述所述三条组合边均为所述目标物体的物体包围盒的边的概率；确定所述整体置信度的最大值对应的三条组合边为三条参考边；确定所述三条参考边相交的顶点为所述关键顶点；根据所述移动方向和/或所述z方向确定所述三条参考边中的所述关键长边、所述关键宽边和所述关键高边中的至少一项。

14.根据权利要求10所述的数据处理装置，其特征在于，所述确定单元具体用于根据所述点云包围盒中相交于每个顶点的三条组合边对应的点云数量确定所述三条组合边的整体置信度，其中，当所述点云数量越大时，所述整体置信度越大；和/或，根据所述点云包围盒中每个顶点与采集设备之间的距离确定所述点云包围盒中相交于所述顶点的三条组合边的整体置信度，其中，当所述距离越小时，所述整体置信度越大，所述采集设备采集了所述非完整点云数据。

15.根据权利要求10-14中任一项所述的数据处理装置，其特征在于，所述目标物体为车辆，所述标注信息还包括车辆类型，所述确定单元还用于根据所述车辆类型确定所述点云包围盒的第一尺寸；所述数据处理装置还包括处理单元，用于根据所述扩展约束信息和所述第一尺寸对所述点云包围盒进行尺寸处理，得到第一目标包围盒。

16.根据权利要求15所述的数据处理装置，其特征在于，所述处理单元具体用于根据所述第一尺寸和所述扩展约束信息确定所述关键长边、所述关键宽边和所述关键高边中的至少一条目标边，以及所述至少一条目标边的目标长度和目标扩展方向；根据所述目标长度和所述目标扩展方向，对所述点云包围盒中所述目标边和所述目标边对应的边进行尺寸处理，得到第一目标包围盒。

17.根据权利要求10-14中任一项所述的数据处理装置，其特征在于，所述数据处理装置还包括：

存储单元，用于对在所述点云包围盒上标注所述扩展约束信息得到的参考点云数据进行存储。

18.根据权利要求17所述的数据处理装置，其特征在于，所述目标物体为车辆，所述标注信息还包括车辆类型，所述数据处理装置还包括通信单元和处理单元，其中：

所述通信单元，用于接收针对所述参考点云数据的标注指令；

所述确定单元，还用于根据所述标注指令和所述车辆类型确定所述点云包围盒的第二尺寸；

所述处理单元，用于根据所述扩展约束信息和所述第二尺寸对所述点云包围盒进行尺寸处理，得到第二目标包围盒。

19.一种数据处理装置，其特征在于，包括处理器和与所述处理器连接的存储器，其中，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-9中任一项所述的方法中的步骤的指令。

20.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-9任一项所述的执行命令的方法。

21.一种计算机程序产品，其特征在于，所述计算机程序产品用于存储计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机如权利要求1-9任一项所述的执行命令的方法。

Images