CN117315407A - 对象的识别的方法和装置、存储介质及电子装置 - Google Patents

Abstract

本申请公开了一种对象的识别的方法和装置、存储介质及电子装置，该对象的识别的方法包括：获取目标场景内的初始图像数据和初始点云数据；根据初始点云数据的点云识别结果，从初始点云数据中剔除目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据；将候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据；根据具有对应关系的第二对象和对象点云数据在初始图像数据中定位第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，采用上述技术方案，解决了相关技术中，对象的识别效率较低等问题，进而达到了提高对象的识别效率的技术效果。

Description

对象的识别的方法和装置、存储介质及电子装置

技术领域

本申请实施例涉及计算机领域，具体而言，涉及一种对象的识别的方法和装置、存储介质及电子装置。

背景技术

相关技术中，通过特定的训练样本训练识别模型，以使得训练之后的识别模型可以识别出训练样本对应的对象，比如，汽车，公交车等等，随着输入识别模型的训练样本的增加，识别模型的性能可以得到提升，对于汽车，公交车的识别也会更加精准，但是对于训练样本没有覆盖的对象，比如，工程作业特种车辆，无论识别模型的性能如何提升，均无法实现对工程作业特种车辆的识别，这是由训练样本覆盖范围的局限性决定的。

可见，当前受限于初始识别模型在识别能力限制，只能识别出有限种类的对象，假如需要增加初始识别模型识别对象的种类，则需要人为采集更多的当前初始识别模型不允许识别对象的训练样本，即异型对象（初始识别模型不允许识别对象）的训练样本，但是这种方式，一方面异型对象通常是形状奇特，样本采集的素材难以获取，同时通过人工采集训练样本难度极大，因为采集人员需要预先详细了解当前初始识别模型已经可以识别的对象种类（通常体量巨大），以在实际的采集场景中精准识别出当前识别模型不允许识别的异型对象，效率较低；另一方面，即使人为采集到了一些异型对象的训练样本，并且使用训练样本拓宽了当前初始识别模型可以识别的对象种类，但是仍然无法穷尽所有异型对象的种类，在遇到新的异型对象时，识别模型仍然无法对新的异型对象进行识别，又需要再次人为收集对应的训练样本，重新训练初始识别模型，效率较低。

针对相关技术中，对象的识别效率较低等问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种对象的识别的方法和装置、存储介质及电子装置，以至少解决相关技术中，对象的识别效率较低等问题。

根据本申请实施例的一个实施例，提供了一种对象的识别的方法，包括：

获取目标场景内的初始图像数据和初始点云数据；

根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，其中，所述初始识别模型用于根据在所述目标场景中采集到的图像数据和点云数据识别所述目标场景中的第一对象，所述点云识别结果是所述初始识别模型对所述初始点云数据的识别结果；

将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据；

根据所述具有对应关系的第二对象和对象点云数据在所述初始图像数据中定位所述第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，其中，所述具有对应关系的第二对象，对象点云数据和对象图像数据用于将所述初始识别模型训练为具有识别所述第二对象功能的目标识别模型。

可选的，所述根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，包括：

从所述初始点云数据中剔除位于对象运动空间以外的点云数据，得到第一点云数据，其中，所述对象运动空间为所述目标场景中允许对象进行运动的空间；

根据所述对象运动空间的空间点云数据，从所述第一点云数据中剔除所述空间点云数据中的第一可识别对象对应的点云数据，得到第二点云数据，其中，所述第一可识别对象为所述对象运动空间内的环境对象；

根据所述点云识别结果，从所述第二点云数据中剔除所述初始识别模型所识别出的第二可识别对象对应的点云数据，得到所述候选点云数据，其中，所述第二可识别对象为所述初始识别模型在所述对象运动空间内识别出的非环境对象，所述第一对象包括所述第二可识别对象。

可选的，所述从所述初始点云数据中剔除位于对象运动空间以外的点云数据，得到第一点云数据，包括：

将所述对象运动空间的三维空间描述信息映射至所述初始点云数据上，得到具有空间边界的所述初始点云数据，其中，所述三维空间描述信息用于对所述对象运动空间在所述目标场景中的所述空间边界进行描述；

从所述初始点云数据上剔除位于所述空间边界之外的点云数据，得到所述第一点云数据。

可选的，在所述将所述对象运动空间的三维空间描述信息映射至所述初始点云数据上，得到具有空间边界的所述初始点云数据之前，所述方法还包括：

获取所述目标场景的第一图像数据和第一点云数据，其中，所述第一图像数据是对所述目标场景采集到的图像数据，所述第一点云数据是对所述目标场景采集到的点云数据；

从所述第一图像数据中确定出所述目标场景内所述对象运动空间的第一位置区域，并从所述第一点云数据中确定出所述目标场景内所述对象运动空间的第二位置区域；

根据所述第一位置区域、所述第二位置区域和预设高度构建三维空间，构建所述对象运动空间的所述三维空间描述信息，其中，所述预设高度大于或者等于所述对象运动空间上允许运动的所述第二对象的最大高度。

可选的，所述从所述第一图像数据中确定出所述目标场景内所述对象运动空间的第一位置区域，包括：

从所述第一图像数据中识别第二图像数据，其中，所述第二图像数据为所述目标场景内对象运动面的图像数据，所述对象运动面是允许运动对象运动的表面；

在所述第二图像数据中补入所述对象运动面被遮挡区域上的图像数据，得到第三图像数据；

根据所述第三图像数据所指示的所述对象运动面的边缘和中心线的分布关系确定出所述对象运动空间所在的所述第一位置区域。

可选的，所述从所述第一点云数据中确定出所述目标场景内所述对象运动空间的第二位置区域，包括：

从所述第一点云数据中识别第二点云数据，其中，所述第二点云数据为所述目标场景内对象运动面的点云数据，所述对象运动面是允许运动对象运动的表面；

根据所述第二点云数据拟合出M个拟合平面，其中，所述M个拟合平面中每个所述拟合平面为所述第二点云数据中的部分点云数据拟合得到的，所述拟合平面用于表示所述目标场景内所述对象运动面的平面位置，M为大于或等于1的正整数；

根据所述M个拟合平面确定出所述对象运动空间所在的所述第二位置区域。

可选的，所述根据所述M个拟合平面确定出所述对象运动空间所在的所述第二位置区域，包括：

获取所述M个拟合平面中每个所述拟合平面的法向量，得到M个所述法向量；

将M个所述法向量中分布最多的法向量确定为目标法向量；

将法向量为所述目标法向量的拟合平面确定为所述第二位置区域。

可选的，所述根据所述第一位置区域、所述第二位置区域和预设高度构建三维空间，构建所述对象运动空间的所述三维空间描述信息，包括：

使用采集了所述第一点云数据的雷达设备和采集了所述第一图像数据的摄像设备之间的外部参数，将所述第二位置区域对应的点云数据投影至所述第一图像数据，得到所述第一图像数据上的投影位置区域，其中，所述外部参数用于对点云数据的点云坐标和图像数据的图像坐标进行转换；

根据所述第一位置区域和所述投影位置区域的比对结果，对所述第二位置区域对应的点云数据中位于边缘的点云数据进行修正，得到目标位置区域；

构建以所述目标位置区域为底、所述预设高度为高的三维空间作为所述对象运动空间，构建所述对象运动空间的所述三维空间描述信息。

可选的，所述根据所述对象运动空间的空间点云数据，从所述第一点云数据中剔除所述空间点云数据中的第一可识别对象对应的点云数据，得到第二点云数据，包括：

根据所述目标场景的第四图像数据和第三点云数据获取所述对象运动空间的所述空间点云数据，其中，所述第四图像数据是对未出现运动对象的所述目标场景采集到的图像数据，所述第三点云数据是对未出现运动对象的所述目标场景采集到的点云数据；

从所述空间点云数据中识别所述第一可识别对象对应的点云数据；

从所述第一点云数据中剔除所述第一可识别对象对应的点云数据，得到所述第二点云数据。

可选的，所述根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，包括：

将所述初始图像数据和所述初始点云数据输入所述初始识别模型，得到所述初始识别模型输出的第三可识别对象的点云数据，其中，所述第三可识别对象为所述初始识别模型在所述目标场景中识别出的非环境对象，所述第一对象包括所述第三可识别对象；

根据所述第三可识别对象的第一预测信息对所述第三可识别对象的点云数据进行调整，得到第四点云数据，其中，所述第一预测信息用于指示根据所述第三可识别对象在所述初始点云数据之前的点云数据中的运动位姿预测出的所述第三可识别对象在所述初始点云数据中的运动位姿；

可选的，所述将所述初始图像数据和所述初始点云数据输入所述初始识别模型，得到所述初始识别模型输出的第三可识别对象的点云数据，包括：

在所述初始点云数据中位于所述目标场景中泊位区域的目标范围内的点云数据用于指示所述目标范围内出现移动对象的情况下，对所述移动对象的轨迹进行时序跟踪，得到轨迹信息；

在所述轨迹信息用于指示所述移动对象与所述泊位区域之间发生泊位交互关系，或者，所述轨迹信息用于指示所述移动对象所述泊位区域中停泊时长大于目标时长阈值的情况下，将所述移动对象确定为停泊对象，所述移动对象与所述泊位区域之间发生泊位交互关系是指所述移动对象进入所述泊位区域，或者，所述移动对象从所述泊位区域离开；

调用所述初始识别模型根据所述初始图像数据识别出所述停泊对象中的所述第三可识别对象，并从所述初始点云数据识别出所述第三可识别对象的点云数据。

从所述初始点云数据中剔除所述第四点云数据，得到所述候选点云数据。

可选的，所述根据所述第三可识别对象的第一预测信息对所述第三可识别对象的点云数据进行调整，得到第四点云数据，包括：

根据所述第三可识别对象在所述初始点云数据之前的第一预设时长内被所述初始识别模型识别出的历史3D包络框，以及，所述第一预测信息，预测所述第三可识别对象在所述初始点云数据中的第一3D包络框，其中，所述第一预测信息用于指示所述第三可识别对象在所述预设时长内运动的运动速度和偏航角变化角速度；

根据所述第一3D包络框和所述初始识别模型识别出的第二3D包络框确定第三3D包络框；

将所述初始点云数据中落入所述第三3D包络框的点云数据确定为所述第四点云数据。

可选的，所述根据所述第一3D包络框和所述初始识别模型识别出的第二3D包络框确定第三3D包络框，包括：

获取所述第一3D包络框和所述第二3D包络框的第一重叠区域比率；

在所述第一重叠区域比率小于或等于第一预设比率阈值的情况下，将所述第一3D包络框确定为所述第三3D包络框；

在所述第一重叠区域比率大于所述第一预设比率阈值的情况下，将所述第二3D包络框确定为所述第三3D包络框。

可选的，所述从所述初始点云数据中剔除所述第四点云数据，得到所述候选点云数据，包括：

从所述初始点云数据中剔除所述第四点云数据，得到第五点云数据；

根据所述第五点云数据的第二预测信息对所述第五点云数据进行调整，得到第六点云数据，其中，所述第二预测信息用于指示根据所述第五点云数据在所述初始点云数据之前的点云数据中的运动位姿预测出的所述第五点云数据在所述初始点云数据中的运动位姿；

根据所述第五点云数据和所述第六点云数据确定所述候选点云数据。

可选的，所述根据所述第五点云数据和所述第六点云数据确定所述候选点云数据，包括：

获取所述第五点云数据和所述第六点云数据的第二重叠区域比率；

在所述第二重叠区域比率大于第二预设比率阈值的情况下，将所述第五点云数据确定为所述候选点云数据；

在所述第二重叠区域比率小于或等于所述第二预设比率阈值的情况下，将所述第六点云数据确定为所述候选点云数据。

可选的，所述将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据，包括：

使用N个距离阈值对所述候选点云数据对应的点云集合进行聚类，得到N组参考点云数据，其中，在使用所述N个距离阈值中的第i个距离阈值对所述候选点云数据对应的点云集合进行聚类时，将点云集合中距离小于所述第i个距离阈值的2个点云聚类为一个，N为大于或者等于2的正整数，i为大于或者等于1，且小于或者等于N的正整数；

根据所述N组参考点云数据指示的N个空间位置的重合关系确定出一组参考点云数据；

将所述一组参考点云数据标记为具有对应关系的第二对象和对象点云数据。

可选的，所述根据所述N组参考点云数据指示的N个空间位置的重合关系确定出一组参考点云数据，包括：

按照预设空间距离和预设偏航角将所述目标场景划分为多个空间栅格；

将N组参考点云数据中处于同一个空间栅格的点云数据合并，并将合并后的点云数据确定为所述一组参考点云数据。

可选的，所述将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据，包括：

将所述候选点云数据聚类为一个或者多个点云数据集合；

从所述一个或者多个点云数据集合中筛选出具有所述第一对象的目标特征的一个或者多个目标点云数据集合；

将一个或者多个目标点云数据集合标记为位一个所述第二对象，得到一个或者多个第二对象的对象点云数据。

可选的，所述根据所述具有对应关系的第二对象和对象点云数据在所述初始图像数据中定位所述第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，包括：

使用采集了所述初始点云数据的雷达设备和采集了所述初始图像数据的摄像设备之间的外部参数，将所述对象点云数据投影至所述初始图像数据，得到所述对象图像数据，其中，所述外部参数用于对点云数据的点云坐标和图像数据的图像坐标进行转换；

构建并存储具有对应关系的第二对象，对象点云数据和对象图像数据。

可选的，所述将所述对象点云数据投影至所述初始图像数据，得到所述对象图像数据，包括：

将所述对象点云数据投影至所述初始图像数据，得到参考图像数据；

通过对象识别模型识别所述参考图像数据中的参考对象，其中，所述对象识别模型允许识别不属于所述第二对象的对象；

从所述参考图像数据中剔除所述参考对象对应的图像数据，得到所述对象图像数据。

根据本申请实施例的另一个实施例，还提供了一种对象的识别的装置，包括：

第一获取模块，用于获取目标场景内的初始图像数据和初始点云数据；

剔除模块，用于根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，其中，所述初始识别模型用于根据在所述目标场景中采集到的图像数据和点云数据识别所述目标场景中的第一对象，所述点云识别结果是所述初始识别模型对所述初始点云数据的识别结果；

划分模块，用于将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据；

定位模块，用于根据所述具有对应关系的第二对象和对象点云数据在所述初始图像数据中定位所述第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，其中，所述具有对应关系的第二对象，对象点云数据和对象图像数据用于将所述初始识别模型训练为具有识别所述第二对象功能的目标识别模型。

根据本申请的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本申请的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

在本申请实施例中，在获取到目标场景内的初始图像数据和初始点云数据之后，根据初始点云数据的点云识别结果，从初始点云数据中剔除初始识别模型所识别出的点云数据，得到候选点云数据，由于初始识别模型用于根据在目标场景中采集到的图像数据和点云数据识别目标场景中的第一对象，可见初始识别模型所识别出的点云数据为第一对象对应的点云数据，因此初始点云数据中剔除了初始识别模型所识别出的点云数据之后得到的候选点云数据为第二对象的对象点云数据，此后，将候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据，并根据具有对应关系的第二对象和对象点云数据在初始图像数据中定位第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，后续具有对应关系的第二对象，对象点云数据和对象图像数据可以用于将初始识别模型训练为具有识别第二对象功能的目标识别模型，通过上述方式，在目标场景中出现当前初始识别模型无法识别的第二对象的情况下，可以自动地获取到第二对象对应的对象点云数据和对象图像数据，进而反过来训练初始识别模型，得到具有识别所述第二对象功能的目标识别模型，上述过程无需人为采集第二对象的点云数据和图像数据，极大地提高了训练数据获取效率，可以实现高效地对初始识别模型进行训练，进而提高了识别模型对对象的识别效率。采用上述技术方案，解决了相关技术中，对象的识别效率较低等问题，实现了提高对象的识别效率的技术效果。

附图说明

图1是本申请实施例的一种对象的识别的方法的计算机设备的硬件结构框图；

图2是根据本申请实施例的一种对象的识别的方法的流程图；

图3是根据本申请实施例的一种传感器标定及可行驶区域先验信息获取过程的示意图；

图4是根据本申请实施例的一种相机与LiDAR固链结构的示意图；

图5是根据本申请实施例的一种传感器视场设计的示意图；

图6是根据本申请实施例的一种对象运动面分布三维空间的示意图；

图7是根据本申请实施例的第二对象的对象点云数据和对象图像数据的获取过程的示意图；

图8是根据本申请实施例的一种对象的识别的装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请的实施例。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在服务器设备或者类似的运算装置中执行。以运行在服务器设备上为例，图1是本申请实施例的一种对象的识别的方法的计算机设备的硬件结构框图。如图1所示，服务器设备可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述服务器设备还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述服务器设备的结构造成限定。例如，服务器设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的对象的识别的方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至服务器设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器设备的通信供应方提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

对本申请实施例中涉及到的名词进行解释如下：

LiDAR：light detection and ranging，激光雷达。

异型对象：是指现有系统中方法或深度学习模型（比如初始识别模型）无法识别、但目标场景需要关注的对象，如，深度学习模型可以识别通用的车辆，但是无法识别工程作业特种车辆，那么此时工程作业特种车辆属于深度学习模型对应的异型对象，可以理解为上述的不允许识别对象，或者，不可识别对象。

非异型对象：是指现有系统中方法或深度学习模型（比如初始识别模型）可以识别的对象，可以理解为上述的可识别对象。

在开始对本申请具体的实施例进行详细论述之前，为了更好地理解本申请提出的对象的识别的方法，首先对本申请的发明构思进行说明：

当前道路交通场景引入智能交通系统(Intelligent Traffic System，ITS)，将智能化技术，如人工智能、传感技术、计算机技术等，有效应用于交通运输、交通监管领域，从而提高效率、保障安全，是当前智慧交通的重要发展方向。路侧停车管理系统作为ITS的重要组成部分，其智能化管理水平，即有效管理及充分管理路侧停车位资源，直接关系城市出行体验的好坏。然而，由于停车空间不封闭、停车环境复杂，当前路侧停车管理系统的智能化水平不高，其核心问题在于“复杂环境下路侧感知场景中泊位状态和车辆行为准确识别”问题并没有得到有效解决”。

现有路侧停车管理系统中的感知系统，不论是纯视觉方案还是多传感器方案，受限于识别模型的识别能力限制，只能识别出特定类型的对象，通过数据闭环逐步提升识别模型的性能，而模型性能提升只是针对当前已经可以识别的对象，提高当前已经可以识别的对象的准确性。但对于无法识别的对象（如异型车辆、特殊姿态的行人等），现有技术方案不具备任何处理机制，无论模型性能如何提升均不可以识别。

当前为了拓宽了当前识别模型可以识别的对象种类，由于当前不存在可以自动检测目标场景中异型对象及自动获取异型对象的相关数据的技术，因此需要人为采集更多的当前识别模型不允许识别对象的训练样本，即异型对象的训练样本对识别模型进行训练，但是这种方式，一方面异型对象通常是形状奇特，样本采集的素材难以获取，同时通过人工采集训练样本难度极大，因为采集人员需要预先详细了解当前识别模型已经可以识别的对象种类（通常体量巨大），以在实际的采集场景中精准识别出当前识别模型不允许识别的异型对象，效率较低，即使人工采集到了异型对象的点云数据和图像数据，对于人工标注环节，点云三维目标框标注的难度相比图像2D框标注难度更大，需要对点云有足够的认知，难度较大；另一方面，即使人为采集到了一些异型对象的训练样本，并且使用训练样本拓宽了当前识别模型可以识别的对象种类，但是仍然无法穷尽所有异型对象的种类，在遇到新的异型对象时，识别模型仍然无法对新的异型对象进行识别，又需要再次人为收集对应的训练样本，重新训练识别模型，效率较低。

并且相关技术中所使用的模型（不论是图像目标检测模型、还是点云或融合检测模型）一经部署，其目标识别种类已经固化。对于道路场景中异型目标（如特殊工作作业车辆）完全不具备任何感知能力。现有做法，通常靠人工在数据流中挑选异型目标，然后手动标注，费事费力。

基于上述相关技术中的痛点问题，本申请提出了一种对象的识别的方法，首先对异型对象设计了触发机制，确保先检测到疑似异型对象；然后通过多级环境信息抑制，实现异型对象最佳三维描述信息获取，极大降低了后续人工标注工作量，特别是点云3D标注成本非常高。接着，通过图像数据识别非关注目标，再基于传感器标定参数，剔除非关注目标，进一步有效降低后续工作。通过上述方式可以解决相关技术中，对象的识别效率较低等问题，实现自动检测目标场景中异型对象及自动获取异型对象的相关数据。

在本实施例中提供了一种对象的识别的方法，图2是根据本申请实施例的一种对象的识别的方法的流程图，如图2所示，该流程包括如下步骤：

步骤S12，获取目标场景内的初始图像数据和初始点云数据；

可选的，在本实施例中，目标场景可以但不限于为交通运输场景、交通监管场景，本申请提出的对象的识别的方法可以适用于任何可能出现异型对象（即第二对象）的场景，通过该方法可以实现自动检测目标场景中异型对象及自动获取异型对象的相关数据的目的，高效地构建训练样本训练当前不可以识别异型对象的初始识别模型，得到可以识别异型对象的目标识别模型，如下实施例中以路侧感知场景作为目标场景为例，对对象的识别的方法进行说明，对目标场景不做限定。

上述路侧感知场景是指在停车泊位严重不足的情况下，为了避免出现大量机动车无序滞留在道路两侧，造成交通拥堵的问题，相关机构在一些道路红线宽度范围内的一侧或者双侧，特意划出若干带状路面作为路侧泊位以供车辆停放，并进行路侧停车计费的场景。路侧感知场景中涉及到路侧停车计费，因此需要对停车的车辆进行识别，当前对于大多数通用的车辆可以做到精准的识别，但是对于特殊的异型车辆，比如，工程作业特种车辆，由于预先没有对应的训练样本对路侧感知场景中的识别模型进行训练，因此无法进行识别。本申请提出的对象的识别的方法旨在当路侧感知场景中出现异型车辆时，可以实现自动检测目标场景中异型对象，并自动获取异型对象的相关数据，比如图像数据和点云数据，从而高效的构建训练样本，训练出可以识别异型对象的目标识别模型。

可选的，在本实施例中，初始图像数据可以但不限于是目标场景中的摄像设备拍摄目标场景得到的，初始点云数据可以但不限于是目标场景中的激光雷达（即，雷达设备）扫描目标场景得到的。

本申请采用多传感器数据融合策略识别对象，多传感器包括摄像设备和雷达设备，多传感器数据包括图像数据和点云数据，通过部署在目标场景中的摄像设备和雷达设备分别采集同一个对象的图像数据和点云数据，并将图像数据和点云数据进行融合以更加精准地识别出对象的类型。如下对目标场景中的摄像设备和雷达设备的部署方式进行详细说明：

摄像设备和雷达设备的部署涉及传感器（摄像设备，或者，雷达设备）安装、外参（外部参数）标定及先验信息获取，为了更为准确地自动获取异型对象的多源标注结果，本方法首先需要标定传感器之间的坐标系关系，然后从降低环境干扰的角度，获取环境先验信息。图3是根据本申请实施例的一种传感器标定及可行驶区域先验信息获取过程的示意图，如图3所示，传感器标定及可行驶区域先验信息获取过程包括如下步骤：

步骤1）传感器选择与安装。对于路侧感知场景，为了准确获取路侧感知场景的三维信息，特别是典型对象的位姿信息，本实施例选用多台摄像设备+雷达设备的组合。雷达设备可以为激光雷达，激光雷达可以选择机械式激光雷达、固态激光雷达或者半固态激光雷达。根据路侧感知场景的特点，调整传感器角度，以覆盖路侧感知场景中尽可能多的道路空间。另外，为了最大限度防雨防尘等，所有传感器紧固链接后，置于防护箱体内，将传感器固链在箱体内，确保传感器之间不发生位姿变化，减少传感器标定校验工作，节约成本。

步骤2）获取LiDAR（雷达设备）与各个相机（即，摄像设备）之间的标定参数。通过在道路上摆放标定板，获取各个摄像设备与雷达设备之间的标定参数（包括内参和外参，其中，内参即内部参数，外参即外部参数）。

步骤3）获取可行驶区域边缘点的图像数据。对图像数据进行滤波处理，然后提取道路边缘线的图像数据；通过边缘拟合，进一步对边缘断裂处（由于车辆等遮挡）进行估计与连接。

步骤4）获取点云地面区域。通过点云法线方向聚类获取地面区域。

步骤5）获取可行驶区域三维描述空间。基于激光雷达与相机标定参数，将图像可行驶区域与点云地面区域进行空间对齐后，获取可行驶区域三维空间描述。

步骤6）获取可行驶区域内环境点云数据。

步骤7）数据保存。保存标定参数、可行驶区域三维空间描述、可行驶区域内点云数据等。

通过上述方式可以准确获取可行驶区域三维描述及内部点云数据，对于后续准确识别异型目标非常重要，可以有效剔除环境干扰。由于现有图像语义分割算法，无法获得车辆遮挡的路面。而且由于道路纹理可能存在较大差异，分割算法模型迁移能力不足，导致场景适应性不足，本方案在图像层面通过两级机制可以准确获取可行驶区域（非矩形或矩形），两级机制具体如下：

1）道路边缘（比如路基）是相对稳定，通过边缘检测、直线拼接等处理，可以获取全部或部分路基信息。相比基于语义分割方法，边缘提取方法适应性更好。

2）在点云数据方面，由于激光雷达安装角度，对于路基等小的高度差不敏感，但对大面积法线相似的区域（即路面区域）具有较好的提取能力。

区别于现有纯视觉方法不论是单独分割思路或先线特征提取思路，均难以适用不同的道路场景，本方案结合两方面数据，再利用标定参数，可以获取更为准确的可行驶区域三维空间描述信息。

上述提到摄像设备和雷达设备是目标场景中部署的传感器，如下对传感器的设计和安装方式进行说明：

针对路侧感知场景，本申请实施例采用相机（相当于摄像设备）和激光雷达（相当于雷达设备）作为感知的传感器。为了兼顾“大场景与识别准确度”，采用多台相机拼接更大视场，同时更加场景范围不同，选择单台或多台激光雷达组合。常用激光雷达包括：机械式和半固态，其视场范围呈现水平范围较大，而垂直视场范围较小，为了有效拓展激光雷达工作范围，将激光雷达沿着深度方向旋转90度。图4是根据本申请实施例的一种相机与LiDAR固链结构的示意图，如图4所示，对于机械式激光雷达（机械式LiDAR）深度方向为y轴，可以顺时针旋转90度；对于半固态激光雷达（半固态LiDAR），可以沿着z轴顺时针旋转90度，考虑到相机FOV（Field of View，视场角）有限，单台相机监控10米路面区域。所以为了监控更大区域，可以采用多台相机组合（如图采用相机1、相机2和相机3的组合），相机与雷达组合方式，相机与雷达固链后，整体安装到路侧支架上，图5是根据本申请实施例的一种传感器视场设计的示意图，如图5所示，所有传感器连接到边缘计算单元。边缘计算单元可以调用融合感知算法对传感器采集的点云数据和图像数据进行融合，快速、准确、稳定地识别出目标场景中的对象。

在目标场景中的多个传感器安装完毕之后，对多个传感器进行联合标定，如下对多个传感器进行联合标定的过程进行说明：

为了满足后续传感器位姿变动校正、BEV（Bird's Eye View，鸟瞰图）感知算法需要，需要对相机与雷达之间的坐标系关系进行标定。

相机内参，包括焦距（、/>）、主点坐标（/>、/>）和镜头畸变（/>，/>）等。

相机与激光雷达外参标定的思路。相机坐标系中合作标志关键点坐标为，激光雷达/>坐标系中合作标志关键点坐标为/>。理论上，两个坐标系中同名点变换关系如下方公式（1）所示：

（1）

其中，为相机位姿的旋转外参，/>为相机位姿的平移外参，/>为零矩阵的转置矩阵，/>为相机/>坐标系中合作标志关键点坐标，/>为激光雷达/>坐标系中合作标志关键点坐标。

考虑各种误差，则公式（1）转换为公式（2），如下：

（2）

其中，为相机位姿的旋转外参，/>为相机位姿的平移外参，/>为零矩阵的转置矩阵，/>为相机/>坐标系中合作标志关键点坐标的近似值，/>为激光雷达坐标系中合作标志关键点坐标。

基于上述公式（2），待优化函数如下公式（3）所示：

（3）

其中，调节和/>，公式（3）取值发生变化，在上述公式（3）取值最小时，表示此时的/>和/>最佳。

公式（3）的求解过程包括如下步骤：

步骤1）在相机（i≤N，N为相机总数）和激光雷达重叠视场范围内不同位置、角度、高度，摆放M（M≥16）个标定球体（要求：标定原始数据采集过程中，标定球体不发生位置变化）；

步骤2）获取相机采集到的图像数据和激光雷达采集到的点云数据；

步骤3）对于图像数据，提取各个标定球体的球心图像坐标；

步骤4）对于点云数据，分割各个标定球体局部点云；对于每个标定球体局部点云，拟合球面后获得球心点云坐标；

步骤5）将M个标定球体中同一个标定球的球心图像坐标和球心点云坐标分别作为公式（3）中的和/>，进行求解，其中，公式（3）中的/>，通过对外参和/>进行多次调整，将上述公式（3）取值最小时的/>和/>作为最终的外参。

步骤S14，根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，其中，所述初始识别模型用于根据在所述目标场景中采集到的图像数据和点云数据识别所述目标场景中的第一对象，所述点云识别结果是所述初始识别模型对所述初始点云数据的识别结果；

可选的，在本实施例中，初始识别模型为部署在目标场景中的识别模型，初始识别模型可以识别的对象可以称为可识别对象，初始识别模型不可以识别的对象可以称为异型对象；

可选的，在本实施例中，根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，由于初始识别模型可以识别出目标场景中的第一对象，比如，通用车辆，可以从初始点云数据中剔除通用车辆的点云数据，得到候选点云数据，显然此时候选点云数据只剩下初始识别模型识别不出的对象（即异型对象）的点云数据。

步骤S16，将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据；

可选的，在本实施例中，候选点云数据通常为一团点云数据，可能包括多个第二对象（相当于上述异型对象）对应的点云数据，因此需要将候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据。

步骤S18，根据所述具有对应关系的第二对象和对象点云数据在所述初始图像数据中定位所述第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，其中，所述具有对应关系的第二对象，对象点云数据和对象图像数据用于将所述初始识别模型训练为具有识别所述第二对象功能的目标识别模型。

可选的，在本实施例中，在拿到具有对应关系的第二对象和对象点云数据之后，可以在所述初始图像数据中定位出第二对象对应的对象图像数据，得到具有对应关系的第二对象，对象点云数据和对象图像数据，即实现了自动检测目标场景中异型对象，并自动获取异型对象的图像数据和点云数据的目的，从而高效的构建训练样本，训练出可以识别异型对象的目标识别模型。

通过上述步骤，在获取到目标场景内的初始图像数据和初始点云数据之后，根据初始点云数据的点云识别结果，从初始点云数据中剔除初始识别模型所识别出的点云数据，得到候选点云数据，由于初始识别模型用于根据在目标场景中采集到的图像数据和点云数据识别目标场景中的第一对象，可见初始识别模型所识别出的点云数据为第一对象对应的点云数据，因此初始点云数据中剔除了初始识别模型所识别出的点云数据之后得到的候选点云数据为第二对象的对象点云数据，此后，将候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据，并根据具有对应关系的第二对象和对象点云数据在初始图像数据中定位第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，后续具有对应关系的第二对象，对象点云数据和对象图像数据可以用于将初始识别模型训练为具有识别第二对象功能的目标识别模型，通过上述方式，在目标场景中出现当前初始识别模型无法识别的第二对象的情况下，可以自动地获取到第二对象对应的对象点云数据和对象图像数据，进而反过来训练初始识别模型，得到具有识别所述第二对象功能的目标识别模型，上述过程无需人为采集第二对象的点云数据和图像数据，极大地提高了训练数据获取效率，可以实现高效地对初始识别模型进行训练，进而提高了识别模型对对象的识别效率。采用上述技术方案，解决了相关技术中，对象的识别效率较低等问题，实现了提高对象的识别效率的技术效果。

作为一种可选的方案，所述根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，还包括：

S21，从所述初始点云数据中剔除位于对象运动空间以外的点云数据，得到第一点云数据，其中，所述对象运动空间为所述目标场景中允许对象进行运动的空间；

S22，根据所述对象运动空间的空间点云数据，从所述第一点云数据中剔除所述空间点云数据中的第一可识别对象对应的点云数据，得到第二点云数据，其中，所述第一可识别对象为所述对象运动空间内的环境对象；

S23，根据所述点云识别结果，从所述第二点云数据中剔除所述初始识别模型所识别出的第二可识别对象对应的点云数据，得到所述候选点云数据，其中，所述第二可识别对象为所述初始识别模型在所述对象运动空间内识别出的非环境对象，所述第一对象包括所述第二可识别对象。

可选的，在本实施例中，在目标场景为路侧感知场景的情况下，对象运动空间可以但不限于为上述可行驶空间，由于本方案仅关心可行驶空间内对象的识别，因此，可以从初始点云数据中剔除位于对象运动空间以外的点云数据，得到第一点云数据，这里的第一点云数据可以理解为是对象运动空间以内的点云数据。

可选的，在本实施例中，可行驶空间内不仅包括车辆对象，还可能包括灌木丛和树枝之类的环境对象，因此，还需要进一步从第一点云数据中剔除空间点云数据中的第一可识别对象对应的点云数据，得到第二点云数据，其中，第一可识别对象为对象运动空间内的环境对象，也就是灌木丛对象和树枝对象。此时第二点云数据是对象运动空间内的非环境对象的对象对应的点云数据，即车辆对象对应的点云数据，值得注意的是，在目标场景为路侧感知场景的情况下，此时第二点云数据可以是车辆对象对应的点云数据，而车辆对象包括通用车辆和异型车辆（比如，工程作业特种车辆），通用车辆可以理解为上述第二可识别对象，异型车辆可以理解为上述第二对象。

可选的，在本实施例中，由于第二点云数据是对象运动空间内的车辆对象对应的点云数据，车辆对象包括通用车辆和异型车辆，因此，还需要进一步从所述第二点云数据中剔除所述初始识别模型所识别出的第二可识别对象（即初始识别模型可以识别的通用车辆）对应的点云数据，得到所述候选点云数据，此时，候选点云数据为初始识别模型不可以识别的异型车辆对应的点云数据。

作为一种可选的方案，所述从所述初始点云数据中剔除位于对象运动空间以外的点云数据，得到第一点云数据，还包括：

S31，将所述对象运动空间的三维空间描述信息映射至所述初始点云数据上，得到具有空间边界的所述初始点云数据，其中，所述三维空间描述信息用于对所述对象运动空间在所述目标场景中的所述空间边界进行描述；

S32，从所述初始点云数据上剔除位于所述空间边界之外的点云数据，得到所述第一点云数据。

可选的，在本实施例中，从初始点云数据上剔除位于空间边界之外的点云数据，得到所述第一点云数据，由于空间边界为对象运动空间在所述目标场景中的空间边界，因此第一点云数据为对象运动空间内的点云数据。

作为一种可选的方案，在所述将所述对象运动空间的三维空间描述信息映射至所述初始点云数据上，得到具有空间边界的所述初始点云数据之前，还包括：

S41，获取所述目标场景的第一图像数据和第一点云数据，其中，所述第一图像数据是对所述目标场景采集到的图像数据，所述第一点云数据是对所述目标场景采集到的点云数据；

S42，从所述第一图像数据中确定出所述目标场景内所述对象运动空间的第一位置区域，并从所述第一点云数据中确定出所述目标场景内所述对象运动空间的第二位置区域；

S43，根据所述第一位置区域、所述第二位置区域和预设高度构建三维空间，构建所述对象运动空间的所述三维空间描述信息，其中，所述预设高度大于或者等于所述对象运动空间上允许运动的所述第二对象的最大高度。

可选的，在本实施例中，第一位置区域是根据第一图像数据确定的对象运动空间在目标场景中的所在位置，第二位置区域是根据第一点云数据确定的对象运动空间在目标场景中的所在位置，结合第一位置区域和第二位置区域可以确定出对象运动空间在目标场景中最终的位置，进而依据预设高度构建三维空间。

作为一种可选的方案，所述从所述第一图像数据中确定出所述目标场景内所述对象运动空间的第一位置区域，还包括：

S51，从所述第一图像数据中识别第二图像数据，其中，所述第二图像数据为所述目标场景内对象运动面的图像数据，所述对象运动面是允许运动对象运动的表面；

S52，在所述第二图像数据中补入所述对象运动面被遮挡区域上的图像数据，得到第三图像数据；

S53，根据所述第三图像数据所指示的所述对象运动面的边缘和中心线的分布关系确定出所述对象运动空间所在的所述第一位置区域。

可选的，在本实施例中，在目标场景为路侧感知场景的情况下，对象运动空间可以但不限于为上述可行驶空间，对象运动面可以但不限于为道路路面和泊车区域等等。

可选的，在本实施例中，第二图像数据可以为道路路面的道路边缘、泊车区域边缘、道路中心线等直线边缘的图像数据，可能出现被遮挡区域的情况，因此可以补入对象运动面被遮挡区域上的图像数据，得到第三图像数据。

作为一种可选的方案，所述从所述第一点云数据中确定出所述目标场景内所述对象运动空间的第二位置区域，还包括：

S61，从所述第一点云数据中识别第二点云数据，其中，所述第二点云数据为所述目标场景内对象运动面的点云数据，所述对象运动面是允许运动对象运动的表面；

S62，根据所述第二点云数据拟合出M个拟合平面，其中，所述M个拟合平面中每个所述拟合平面为所述第二点云数据中的部分点云数据拟合得到的，所述拟合平面用于表示所述目标场景内所述对象运动面的平面位置，M为大于或等于1的正整数；

S63，根据所述M个拟合平面确定出所述对象运动空间所在的所述第二位置区域。

可选的，在本实施例中，第二点云数据可能并非均处于一个平面上，由于道路坑洼，可能分布在不同的平面，因此可以使用第二点云数据拟合出M个拟合平面，并根据M个拟合平面确定出对象运动空间所在的第二位置区域。

作为一种可选的方案，所述根据所述M个拟合平面确定出所述对象运动空间所在的所述第二位置区域，还包括：

S71，获取所述M个拟合平面中每个所述拟合平面的法向量，得到M个所述法向量；

S72，将M个所述法向量中分布最多的法向量确定为目标法向量；

S73，将法向量为所述目标法向量的拟合平面确定为所述第二位置区域。

可选的，在本实施例中，上述提到根据M个拟合平面确定出对象运动空间所在的第二位置区域，具体的方式可以是获取每个所述拟合平面的法向量，并将分布最多的法向量确定为目标法向量，进而将法向量为目标法向量的拟合平面确定为第二位置区域。

作为一种可选的方案，所述根据所述第一位置区域、所述第二位置区域和预设高度构建三维空间，构建所述对象运动空间的所述三维空间描述信息，还包括：

S81，使用采集了所述第一点云数据的雷达设备和采集了所述第一图像数据的摄像设备之间的外部参数，将所述第二位置区域对应的点云数据投影至所述第一图像数据，得到所述第一图像数据上的投影位置区域，其中，所述外部参数用于对点云数据的点云坐标和图像数据的图像坐标进行转换；

S82，根据所述第一位置区域和所述投影位置区域的比对结果，对所述第二位置区域对应的点云数据中位于边缘的点云数据进行修正，得到目标位置区域；

S83，构建以所述目标位置区域为底、所述预设高度为高的三维空间作为所述对象运动空间，构建所述对象运动空间的所述三维空间描述信息。

可选的，在本实施例中，上述提到第一位置区域是根据第一图像数据确定的对象运动空间在目标场景中的所在位置，第二位置区域是根据第一点云数据确定的对象运动空间在目标场景中的所在位置，结合第一位置区域和第二位置区域可以确定出对象运动空间在目标场景中最终的位置，具体的方式是将所述第二位置区域对应的点云数据投影至第一图像数据，得到第一图像数据上的投影位置区域，并比对第一位置区域和所述投影位置区域，根据比对结果对所述第二位置区域对应的点云数据中位于边缘的点云数据进行修正，得到目标位置区域（即对象运动空间在目标场景中最终的位置）。

可选的，在本实施例中，对象运动空间可以为以目标位置区域为底的柱状空间。

作为一种可选的方案，所述根据所述对象运动空间的空间点云数据，从所述第一点云数据中剔除所述空间点云数据中的第一可识别对象对应的点云数据，得到第二点云数据，还包括：

S91，根据所述目标场景的第四图像数据和第三点云数据获取所述对象运动空间的所述空间点云数据，其中，所述第四图像数据是对未出现运动对象的所述目标场景采集到的图像数据，所述第三点云数据是对未出现运动对象的所述目标场景采集到的点云数据；

S92，从所述空间点云数据中识别所述第一可识别对象对应的点云数据；

S93，从所述第一点云数据中剔除所述第一可识别对象对应的点云数据，得到所述第二点云数据。

可选的，在本实施例中，第四图像数据是对未出现运动对象的目标场景采集到的图像数据，可以理解为在目标场景中不存在运动对象时采集到的图像数据，第三点云数据是对未出现运动对象的目标场景采集到的点云数据，同样的可以理解为在目标场景中不存在运动对象时采集到的点云数据。

为了更好的理解上述S21至S93，如下结合可选的实施例进行说明：

由于初始点云数据的数据量较大，特别是为了覆盖更多有效范围而采用多激光雷达组合情况下，点云数据量增大导致在边缘算力平台上难以达到实时计算。所以有效减少不相关区域，即获得车辆可行驶区域，对提升实时性非常重要。更重要的是，准确获取可行驶区域内的环境空间点云数据，对于提升后续无法识别的异型对象的聚类结果准确性，亦很重要。

本实施例提出一种多级校验的可行驶区域三维描述空间（相当于对象运动空间）获取方法，具体步骤如下：

步骤1）从图像数据中确定出可行驶区域的位置（相当于从所述第一图像数据中确定出所述目标场景内所述对象运动空间的第一位置区域）。具体的：

步骤1-1）对图像进行滤波处理降低噪声影响。

步骤1-2）通过边缘检测，获取道路边缘、道路中心线等直线边缘信息。由于可能存在因遮挡导致边缘线断裂的情况，需要对直线边缘进行RANSAC直线拟合，将断裂边缘信息进行补全（相当于在所述第二图像数据中补入所述对象运动面被遮挡区域上的图像数据，得到第三图像数据），获取图像中道路可行驶边缘点；进一步根据道路边缘分布关系可以获取图像可行驶区域。

步骤2）从点云数据中确定出可行驶区域的位置。图6是根据本申请实施例的一种对象运动面分布三维空间的示意图，如图6所示，对象运动面分布三维空间即路面分布三维空间，根据LiDAR安装高度H及坐标系角度信息，可以估计对象运动面分布的三维空间，其中h为预先设定的高度参数（可以选择0.5米）；对于实际的点云数据，可以获取路面分布三维空间以内的点云数据A；对于点云数据A（相当于第二点云数据），通过点云平面拟合算法，获取各个拟合平面（相当于M个拟合平面）的法向量/>。对拟合平面/>进行滤波，根据/>角度分布，找到/>分布最大值的对应的点云数据对应的平面，即为可行驶区域地面（相当于对象运动面）的点云数据/>。

步骤3）优化可行驶区域边缘信息。基于激光雷达与相机之间的标定参数，将步骤2）提取的可行驶区域地面的点云数据投影到步骤1）中的图像可行驶区域中，得到/>，利用图像可行驶区域信息及边缘点，对点云数据/>进行边缘修正，获取精确的可行驶区域三维空间描述信息（相当于目标位置区域）。

步骤4）获取精确的可行驶区域三维空间描述信息（相当于构建以所述目标位置区域为底、所述预设高度为高的三维空间作为所述对象运动空间，构建所述对象运动空间的所述三维空间描述信息）。根据路侧所有可视范围内泊位角点三维位置，结合道路场景车辆最大高度，设定可行驶区域三维空间描述。

步骤5）获取可行驶区域三维空间内点云数据。根据可行驶区域三维空间（相当于对象运动空间），对初始点云数据，进行滤波，仅保留可行驶区域三维空间内的点云数据。

上述方式的目的是获取完整的可行驶区域三维空面描述。这对于后续环境抑制、异型车辆识别具有很好的增强作用。现有方法多是基于单一类型数据，如图像或点云数据，进行识别。其中，基于图像语义分割的方法，对于被路面上车辆遮挡区域，不具备检测机制，导致可行驶区域不完成；另外语义分割在道路边缘处是被结果并不准确；道路可行驶区域分割结果，与数据集强相关，当路面纹理、材质、颜色不一致时候，模型迁移能力非常差。而基于点云语义分割方法，其分割结果与lidar安装位姿有强关联，即模型训练数据集雷达安装位姿与实际部署lidar位姿有较大差异时候，分割模型迁移能力较差。而对于路基等与路面高程差异较小的时候，分割边缘效果较差。本方案，利用在lidar与相机标定后，可以将图像中部分像素点与雷达点云可以严格空间对齐。通过图像识别路基、中心线等直线特征，在点云通过法向量聚类获取路面区域；将图像路面边缘点 利用标定参数投影到三维空间，对点云聚类结果进行边缘修正。可以获取准确的可行驶区域三维空间描述。

作为一种可选的方案，所述根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，还包括：

S101，将所述初始图像数据和所述初始点云数据输入所述初始识别模型，得到所述初始识别模型输出的第三可识别对象的点云数据，其中，所述第三可识别对象为所述初始识别模型在所述目标场景中识别出的非环境对象，所述第一对象包括所述第三可识别对象；

S102，根据所述第三可识别对象的第一预测信息对所述第三可识别对象的点云数据进行调整，得到第四点云数据，其中，所述第一预测信息用于指示根据所述第三可识别对象在所述初始点云数据之前的点云数据中的运动位姿预测出的所述第三可识别对象在所述初始点云数据中的运动位姿；

S103，从所述初始点云数据中剔除所述第四点云数据，得到所述候选点云数据。

可选的，在本实施例中，第一对象包括第三可识别对象，第三可识别对象为初始识别模型在目标场景中识别出的非环境对象，可以理解为第三可识别对象为通用车辆，属于初始识别模型当前可以识别出的对象；

可选的，在本实施例中，第一预测信息用于指示根据第三可识别对象在初始点云数据之前的点云数据中的运动位姿预测出的第三可识别对象在初始点云数据中的运动位姿，这里通常认为对象在运动的过程中，运动位姿在较短时间内不会发生极大的变化，因此，根据第三可识别对象在初始点云数据之前的点云数据中的运动位姿就可以预测出当前第三可识别对象在初始点云数据中的运动位姿，从而为调整第三可识别对象当前的点云数据提供参考。

可选的，在本实施例中，第三可识别对象的点云数据是使用激光雷达扫描得到的，为了避免故障导致点云数据发生遗失或者显示不全，因此使用第一预测信息对第三可识别对象的点云数据进行调整，使得在点云数据发生遗失或者显示不全的情况下，可以参考第一预测信息对点云数据进行调整和补全。

作为一种可选的方案，所述将所述初始图像数据和所述初始点云数据输入所述初始识别模型，得到所述初始识别模型输出的第三可识别对象的点云数据，还包括：

S111，在所述初始点云数据中位于所述目标场景中泊位区域的目标范围内的点云数据用于指示所述目标范围内出现移动对象的情况下，对所述移动对象的轨迹进行时序跟踪，得到轨迹信息；

S112，在所述轨迹信息用于指示所述移动对象与所述泊位区域之间发生泊位交互关系，或者，所述轨迹信息用于指示所述移动对象所述泊位区域中停泊时长大于目标时长阈值的情况下，将所述移动对象确定为停泊对象，所述移动对象与所述泊位区域之间发生泊位交互关系是指所述移动对象进入所述泊位区域，或者，所述移动对象从所述泊位区域离开；

S114，调用所述初始识别模型根据所述初始图像数据识别出所述停泊对象中的所述第三可识别对象，并从所述初始点云数据识别出所述第三可识别对象的点云数据。

可选的，在本实施例中，在所述初始点云数据中位于所述目标场景中泊位区域的目标范围内的点云数据用于指示所述目标范围内出现移动对象的情况下，对所述移动对象的轨迹进行时序跟踪，得到轨迹信息，在目标场景为路侧感知场景的情况下，对象运动空间可以但不限于为上述可行驶空间，对象运动面可以但不限于为道路路面和泊车区域等等，方案关注的以及需要识别的是存在停泊行为的对象，因此在检测到泊位区域的目标范围内的出现移动对象的情况下，表示存在可能发生停泊行为的对象，此时可以对移动对象的轨迹进行时序跟踪，得到轨迹信息，从而根据轨迹信息进一步分析是否发生停泊行为。

可选的，在本实施例中，关于根据轨迹信息进一步分析是否发生停泊行为的方法可以是在所述轨迹信息用于指示所述移动对象与所述泊位区域之间发生泊位交互关系，比如，在轨迹信息用于指示移动对象进入所述泊位区域，或者，从所述泊位区域离开均可以确认移动对象与所述泊位区域之间发生泊位交互关系，或者，所述轨迹信息用于指示所述移动对象所述泊位区域中停泊时长大于目标时长阈值的情况下，将所述移动对象确定为停泊对象，这里的停泊对象也就是发生停泊行为的对象。

可选的，在本实施例中，在上一步中识别出了停泊对象，但是显然停泊对象不仅包括第一对象（即通用车辆），还包括第二对象（异型车辆，比如，工程作业特种车辆），因此还需要调用初始识别模型根据初始图像数据识别出停泊对象中的第三可识别对象（即通用车辆），通过上述方式可以甄别出停泊对象中的第三可识别对象，进而从所述初始点云数据识别出所述第三可识别对象的点云数据。

作为一种可选的方案，所述根据所述第三可识别对象的第一预测信息对所述第三可识别对象的点云数据进行调整，得到第四点云数据，还包括：

S121，根据所述第三可识别对象在所述初始点云数据之前的第一预设时长内被所述初始识别模型识别出的历史3D包络框，以及，所述第一预测信息，预测所述第三可识别对象在所述初始点云数据中的第一3D包络框，其中，所述第一预测信息用于指示所述第三可识别对象在所述预设时长内运动的运动速度和偏航角变化角速度；

S122，根据所述第一3D包络框和所述初始识别模型识别出的第二3D包络框确定第三3D包络框；

S123，将所述初始点云数据中落入所述第三3D包络框的点云数据确定为所述第四点云数据。

可选的，在本实施例中，第一预测信息用于指示根据第三可识别对象在初始点云数据之前的点云数据中的运动位姿预测出的第三可识别对象在初始点云数据中的运动位姿，这里通常认为对象在运动的过程中，运动位姿在较短时间内不会发生极大的变化，因此，根据第三可识别对象在初始点云数据之前的点云数据中的运动位姿就可以预测出当前第三可识别对象在初始点云数据中的运动位姿，从而为调整第三可识别对象当前的点云数据提供参考，因此可以根据第三可识别对象在初始点云数据之前的第一预设时长内被初始识别模型识别出的历史3D包络框，以及，所述第一预测信息，预测第三可识别对象在初始点云数据中的第一3D包络框，这里的第一3D包络框可以理解为是根据第三可识别对象在预设时长内运动的运动速度和偏航角变化角速度预测出的3D包络框。而第二3D包络框是初始识别模型识别出的真实存在的3D包络框。

可选的，在本实施例中，由于第三可识别对象的点云数据是使用激光雷达扫描得到的，可能出现故障导致点云数据发生遗失或者显示不全，即第二3D包络框可能存在一定的误差，因此可以根据第一3D包络框和初始识别模型识别出的第二3D包络框确定出最终的第三3D包络框。

作为一种可选的方案，所述根据所述第一3D包络框和所述初始识别模型识别出的第二3D包络框确定第三3D包络框，还包括：

S131，获取所述第一3D包络框和所述第二3D包络框的第一重叠区域比率；

S132，在所述第一重叠区域比率小于或等于第一预设比率阈值的情况下，将所述第一3D包络框确定为所述第三3D包络框；

S133，在所述第一重叠区域比率大于所述第一预设比率阈值的情况下，将所述第二3D包络框确定为所述第三3D包络框。

可选的，在本实施例中，第一3D包络框是根据第三可识别对象在预设时长内运动的运动速度和偏航角变化角速度预测出的3D包络框，通常认为对象在运动的过程中，运动位姿在较短时间内不会发生极大的变化，因此第一3D包络框的特点就是稳定，一般不会出现较大的错误，但是毕竟是预测出的3D包络框，因此其精准程度不如正常情况下（即未发生点云数据发生遗失或者显示不全）的第二3D包络框。

可选的，在本实施例中，在所述第一重叠区域比率小于或等于第一预设比率阈值的情况下，一般情况下，第一3D包络框和第二3D包络框的重叠区域比率都会比较大，比如80%，假如出现了第一重叠区域比率小于或等于第一预设比率阈值的情况，表示此时第二3D包络框发生了显示不全，因此将第一3D包络框确定为第三3D包络框；

可选的，在本实施例中，而在第一重叠区域比率大于第一预设比率阈值的情况下，表示第二3D包络框为正常状态，为了更高的精准性，将第二3D包络框确定为第三3D包络框。

作为一种可选的方案，所述从所述初始点云数据中剔除所述第四点云数据，得到所述候选点云数据，还包括：

S141，从所述初始点云数据中剔除所述第四点云数据，得到第五点云数据；

S142，根据所述第五点云数据的第二预测信息对所述第五点云数据进行调整，得到第六点云数据，其中，所述第二预测信息用于指示根据所述第五点云数据在所述初始点云数据之前的点云数据中的运动位姿预测出的所述第五点云数据在所述初始点云数据中的运动位姿；

S143，根据所述第五点云数据和所述第六点云数据确定所述候选点云数据。

可选的，在本实施例中，将初始点云数据中落入第三3D包络框的点云数据确定为第四点云数据，其中，第三3D包络框为第一对象（即通用车辆）的3D包络框，因此从初始点云数据中剔除第四点云数据，得到的第五点云数据为第二对象（异型车辆，比如，工程作业特种车辆）对应的点云数据。

可选的，在本实施例中，S142和S143的实现逻辑与上述S102和S103类似，在此不做赘述。

作为一种可选的方案，所述根据所述第五点云数据和所述第六点云数据确定所述候选点云数据，还包括：

S151，获取所述第五点云数据和所述第六点云数据的第二重叠区域比率；

S152，在所述第二重叠区域比率大于第二预设比率阈值的情况下，将所述第五点云数据确定为所述候选点云数据；

S153，在所述第二重叠区域比率小于或等于所述第二预设比率阈值的情况下，将所述第六点云数据确定为所述候选点云数据。

可选的，在本实施例中，S151至S153的实现逻辑与上述S131至S133类似，在此不做赘述。

作为一种可选的方案，所述将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据，还包括：

S161，使用N个距离阈值对所述候选点云数据对应的点云集合进行聚类，得到N组参考点云数据，其中，在使用所述N个距离阈值中的第i个距离阈值对所述候选点云数据对应的点云集合进行聚类时，将点云集合中距离小于所述第i个距离阈值的2个点云聚类为一个，N为大于或者等于2的正整数，i为大于或者等于1，且小于或者等于N的正整数；

S162，根据所述N组参考点云数据指示的N个空间位置的重合关系确定出一组参考点云数据；

S163，将所述一组参考点云数据标记为具有对应关系的第二对象和对象点云数据。

可选的，在本实施例中，使用N个距离阈值对所述候选点云数据对应的点云集合进行聚类，得到N组参考点云数据，每一组参考点云数据使用的距离阈值均不同，由于在使用N个距离阈值中的第i个距离阈值对候选点云数据对应的点云集合进行聚类时，将点云集合中距离小于第i个距离阈值的2个点云聚类为一个，因此不同的距离阈值，聚类出的一组参考点云数据也会不同，结合N组参考点云数据指示的N个空间位置的重合关系最终确定出一组参考点云数据。

可选的，在本实施例中，在最终确定出一组参考点云数据之后，对一组参考点云数据进行标记，标记出一组参考点云数据中每个第二对象对应的对象点云数据，得到具有对应关系的第二对象和对象点云数据。

作为一种可选的方案，所述根据所述N组参考点云数据指示的N个空间位置的重合关系确定出一组参考点云数据，还包括：

S171，按照预设空间距离和预设偏航角将所述目标场景划分为多个空间栅格；

S172，将N组参考点云数据中处于同一个空间栅格的点云数据合并，并将合并后的点云数据确定为所述一组参考点云数据。

可选的，在本实施例中，按照预设空间距离和预设偏航角将所述目标场景划分为多个空间栅格，比如，偏航角间隔10°构建一个格子、空间距离间隔1米一个格子。

可选的，在本实施例中，将N组参考点云数据中处于同一个空间栅格的点云数据合并，并将合并后的点云数据确定为所述一组参考点云数据，在上述构建出多个空间栅格之后，对于空间同一对象，将合并识别结果，就3D框的大小、偏航角进行投票， 找出得票最多格子内的点云数据确定为一组参考点云数据。

作为一种可选的方案，所述将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据，包括：

S181，将所述候选点云数据聚类为一个或者多个点云数据集合；

S182，从所述一个或者多个点云数据集合中筛选出具有所述第一对象的目标特征的一个或者多个目标点云数据集合；

S183，将一个或者多个目标点云数据集合标记为位一个所述第二对象，得到一个或者多个第二对象的对象点云数据。

可选的，在本实施例中，从所述一个或者多个点云数据集合中筛选出具有所述第一对象的目标特征的一个或者多个目标点云数据集合；将一个或者多个目标点云数据集合标记为位一个所述第二对象，得到一个或者多个第二对象的对象点云数据，关于第一对象和第二对象之间存在一定的共有特征，即两者具有目标特征。

其中，目标特征可以是形态上的特征，结合路侧感知场景中的泊车场景，需要感知的对象是车辆类型的对象，虽然，第一对象为初始识别模型可以识别的对象（比如，通用车辆），第二对象为初始识别模型不允许识别对象（比如，工程作业特种车辆），但是两者存在共有的目标特征，比如，通用车辆与工程作业特种车辆均存在车轮，通用车辆与工程作业特种车辆均存在车牌等等。

此外，目标特征还可以是行为上的特征，还是以路侧感知场景中的泊车场景为例，需要感知的对象是可能存在泊车行为的对象（从而对停车费用进行计费），那么目标特征可以是两者共有的行为特征，比如，第一对象与第二对象与路侧感知场景中的泊位区域之间发生泊位交互关系，或者，第一对象与第二对象的轨迹信息用于指示第一对象与第二对象在泊位区域中停泊时长大于目标时长阈值，对象与泊位区域之间发生泊位交互关系是指对象进入所述泊位区域，或者，对象从泊位区域离开。

作为一种可选的方案，根据所述具有对应关系的第二对象和对象点云数据在所述初始图像数据中定位所述第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，还包括：

S191，使用采集了所述初始点云数据的雷达设备和采集了所述初始图像数据的摄像设备之间的外部参数，将所述对象点云数据投影至所述初始图像数据，得到所述对象图像数据，其中，所述外部参数用于对点云数据的点云坐标和图像数据的图像坐标进行转换；

S192，构建并存储具有对应关系的第二对象，对象点云数据和对象图像数据。

可选的，在本实施例中，在得到具有对应关系的第二对象和对象点云数据之后，初始图像数据中定位出第二对象，从而得到具有对应关系的第二对象，对象点云数据和对象图像数据，具体的方式可以是将对象点云数据投影至所述初始图像数据，得到所述对象图像数据。

作为一种可选的方案，所述将所述对象点云数据投影至所述初始图像数据，得到所述对象图像数据，还包括：

S201，将所述对象点云数据投影至所述初始图像数据，得到参考图像数据；

S202，通过对象识别模型识别所述参考图像数据中的参考对象，其中，所述对象识别模型允许识别不属于所述第二对象的对象；

S203，从所述参考图像数据中剔除所述参考对象对应的图像数据，得到所述对象图像数据。

可选的，在本实施例中，在将对象点云数据投影至所述初始图像数据，得到参考图像数据之后，上述提到该对象的识别的方法关注的是第二对象（异型车辆，比如，工程作业特种车辆），参考图像数据中的参考对象可能既不是环境对象，也不是第一对象（通用车辆），比如可能是行人、自行车、快递车、摩托车等，此时可以从参考图像数据中剔除参考对象对应的图像数据，得到对象图像数据。

可选的，在本实施例中，在从参考图像数据中剔除参考对象对应的图像数据，得到对象图像数据之后，反过来使用得到的对象图像数据从具有对应关系的第二对象和对象点云数据中移除参考对象对应的点云数据，得到最终的具有对应关系的第二对象和对象点云数据。

为了更好的理解上述S101至S203的过程，以下再结合可选实施例对上述获取候选点云数据的流程进行说明，但不用于限定本申请实施例的技术方案。图7是根据本申请实施例的第二对象的对象点云数据和对象图像数据的获取过程的示意图，如图7所示，第二对象的对象点云数据和对象图像数据的获取步骤具体如下：

步骤1）点云数据滤波及剔除环境干扰。首先对初始点云数据进行滤波处理剔除野值点；然后基于上一阶段获取可行驶区域三维空间（相当于对象运动空间），进一步剔除可行驶区域三维空间以外的点云数据；最后，利用可行驶区域内环境点云数据（环境对象对应的点云数据）进行点云匹配，剔除可行驶区域三维空间内环境的点云数据，剔除可行驶区域外的点云数据，记为点云数据A；

步骤2）对象3D检测。基于传感器标定参数（内参，外参）、初始图像数据、点云数据A，通过深度学习模型（初始识别模型）识别目标场景中典型对象（相当于第一对象），获得典型对象的三维包络框及对象对应的局部点云。

步骤3）基于跟踪结果（相当于第一预测信息）预测当前帧可识别对象（相当于第三可识别对象）的位姿。考虑到短时间内，可以认为对象在水平面内运动，其运动学参数可以简化为水平方向两个速度、/>和偏航角变化角速度/>。那么，根据当前时刻t之前的对象的/>、/>和/>，利用运动学方程，可以预测出当前帧对象位置，作为基于跟踪算法识别结果（相当于根据所述第三可识别对象在所述初始点云数据之前的第一预设时长内被所述初始识别模型识别出的历史3D包络框，以及，所述第一预测信息，预测所述第三可识别对象在所述初始点云数据中的第一3D包络框），当前步骤主要是解决由于对象检测算法容易出现对象漏检情况，比如前后两帧数据，同一对象在空间上并没有移动，但前后两帧检测结果，可能出现该对象识别结果时有时无的情况。这种情况，对于轨迹识别会带来误差。通过跟踪算法，结合对象自身运动学参数（水平方向运动速度、偏航角角速度，这里假设目标在短时间内在平面内移动）可以得到预测当前帧可识别对象的位姿。

步骤4）可识别对象结果整合。将当前帧对象识别结果（相当于第二3D包络框）和跟踪算法预测结果（相当于第一3D包络框）进行整合。其中空间位置3D IOU重叠区域比率（相当于第一重叠区域比率）超过阈值的对象，优先以当前帧对象识别结果为准。

步骤5）剔除已识别的对象点云数据（相当于第四点云数据）。对点云A逐一剔除已识别对象的点云，获得点云数据B，并在点云数据B上识别出疑似异型对象的点云数据，得到点云数据C。

步骤6）基于跟踪结果预测当前帧异型对象位姿预测。利用步骤3）思路预测出当前帧异型对象位置。

步骤7）异型对象结果整合。将步骤5）结果（点云数据C）和跟踪算法预测结果进行整合，根据跟踪算法预测结果将步骤5）结果（点云数据C）中漏检的点云补上，得到点云数据D。

步骤8）获取模型无法识别异型对象3D包络框。对于点云数据D进行多尺度聚类（相当于使用N个距离阈值对所述候选点云数据对应的点云集合进行聚类，得到N组参考点云数据），识别异型对象内的点云数据，然后根据点云/>估计3D包络框。

步骤8-1）对于道路场景，设定多个距离阈值（i＜N），疑似对象处理机制，是关键创新点。相关技术中基本没有这样的处理能力。对于纯视觉方案，其识别模型，不存在相关机制发现无法识别类型对象。对于后融合的多传感器融合方案，一样无法发现。由于点云数据经过了可行驶空间约束，剔除了不相关区域的点云。然后利用地面剔除、环境点云剔除机制处理后，基本上仅仅剩下运动对象（如车辆、行人、自行车等），非常适合通过点云空间聚类，获取3D包络框。但是由于两个对象空间比较接近（如并行的车辆），单一尺度的空间聚类，可能出现欠聚类（即同一个对象拆分成两个对象）或过聚类（即两个对象识别为同一个对象），这里采用多尺度距离；

步骤8-2）根据每个（i＜N），分别对校正及滤波处理后的雷达点云数据进行空间聚类，获得不同阈值下的识别结果/>；

步骤8-3）对不同阈值下的识别结果，进行不同阈值下两两组合判断（如和/>），通过识别对象空间位置、大小的重叠关系，进行合并。

步骤8-4）将空间位置和偏航角构建栅格，如偏航角间隔10°构建一个格子、空间距离间隔1米一个格子。对于空间同一对象，将合并识别结果，就3D框的大小、偏航角进行投票， 找出得票最多格子作为该对象最佳识别3D识别结果。

步骤9）剔除非关注对象。由于已经有雷达设备与相机的标定参数，点云到图像投影非常准确。不像图像到点云投影，涉及2D到3D的病态问题。将点云识别结果反投影到图像上，再在图像上剔除非车辆目标，得到第二对象的对象点云数据和对象图像数据，效果非常不错。图像上识别不同行人、自行车等小目标算法丰富且效果不错，所以可以很方便了用于剔除非车辆目标，具体步骤如下：

步骤9-1）利用相机与激光雷达之间的标定参数，将反投影到图像上，并获取图像/>上该对象的矩形区域/>；

步骤9-2）利用对象检测算法（相当于对象识别模型），对图像识别非关注对象（如行人、自行车、快递车、摩托车等）对象的/>。所述检测算法包括但不限于yolo系列、mobilenet系列等常用2D对象检测算法。

步骤9-3）根据与/>的IOU，判断是否对应同一对象。如果是，则在/>中剔除该对象。

步骤10）人工辨识，添加标签信息。人工辨识确认对象类别，仅保留异型车辆对象识别结果，并添加label信息、调整图像2D包络框和点云3D包络框的大小及位置。

步骤11）模型训练、评估与部署。将异型车辆信息加入数据集，重新训练BEV感知模型，评估后重新部署新模型。

通过上述机制，利用不同杆上的传感器，收集不同姿态、距离、光照、天候等条件下同一类对象的数据，不断完善数据集，逐步提升对象检测模型性能。

相关技术中，由于初始识别模型在识别车辆类型、识别准确率上都可能存在问题。特别是模型无法识别的异型车辆，现有方法都不具备自动迭代升级能力。本方案设计了一套新颖的数据自动获取、自动标注、人工标签校准、模型训练/评估与部署的机制。可以有效地提升模型场景适应能力。

本申请提出的对象的识别的方法，针对复杂的路侧感知场景下现有系统难以获取无法识别对象（即第二对象）位姿信息难题，提出了一种异型对象（即第二对象）多源标注数据（点云数据，图像数据）获取方法。该方法首先在硬件部署和前期数据准备方面进行了设计。通过在路侧场景道路边缘安装多源传感器（雷达设备和相机），实时获取路侧数据。为了满足后续三维空间解算需求，设计了工程实现性较好的传感器标定方法。为了提升无法识别异型对象的检测准确性，提出了一种可行驶区域三维空间（相当于对象运动空间）坐标获取方法，进一步获取可行驶区域点云作为先验信息。对于无法识别的异型对象，提出了一种异型对象三维位姿获取及虚假对象（相当于上述参考对象，如行人、快递车辆、自行车）剔除方法，可以有效降低干扰对象影响。对于异型车辆模型识别能力提升问题，本发明通过对点云数据进行多尺度聚类（相当于使用N个距离阈值对所述候选点云数据对应的点云集合进行聚类），获取泊位附近移动物体3D包络框，通过该对象进行时序跟踪，获取其轨迹信息；并根据轨迹与泊位交互关系、停泊时长等判断其是否有停泊事件发生；对于有停泊事件发生的对象，根据时间戳信息，获取停泊事件连续时间点云与图像对，根据激光雷达与相机标定参数，将每一帧点云数据中对象局部电云反投影到对应时间戳的图像上，获取图像2D ROI区域。后续通过人工辨别车辆类型、修改2D包络框和3D点云包络框，构建异型车辆标注数据混入已有数据集，重新训练对象识别模型，从而逐渐提升对象识别模型能力。本方案可以有效解决了路侧感知场景中对象检测算法对于异型对象无法触发、无法获取多源标注数据的难题，对于智慧交通、无人驾驶领域有较好的应用价值。此外，对于路侧感知、智慧交通、V2X、智能安防、协同感知等领域中所涉及到的传感器标定、对象3D检测及轨迹生成、模型边界能力提升等问题，都有可以采用本发明中的方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。

在本实施例中还提供了一种对象的识别的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图8是根据本申请实施例的一种对象的识别的装置的结构框图；如图8所示，包括：

第一获取模块802，用于获取目标场景内的初始图像数据和初始点云数据；

剔除模块804，用于根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，其中，所述初始识别模型用于根据在所述目标场景中采集到的图像数据和点云数据识别所述目标场景中的第一对象，所述点云识别结果是所述初始识别模型对所述初始点云数据的识别结果；

划分模块806，用于将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据；

定位模块808，用于根据所述具有对应关系的第二对象和对象点云数据在所述初始图像数据中定位所述第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，其中，所述具有对应关系的第二对象，对象点云数据和对象图像数据用于将所述初始识别模型训练为具有识别所述第二对象功能的目标识别模型。

在一个示例性实施例中，所述剔除模块，包括：

第一剔除单元，用于从所述初始点云数据中剔除位于对象运动空间以外的点云数据，得到第一点云数据，其中，所述对象运动空间为所述目标场景中允许对象进行运动的空间；

第二剔除单元，用于根据所述对象运动空间的空间点云数据，从所述第一点云数据中剔除所述空间点云数据中的第一可识别对象对应的点云数据，得到第二点云数据，其中，所述第一可识别对象为所述对象运动空间内的环境对象；

第一识别单元，用于根据所述点云识别结果，从所述第二点云数据中剔除所述初始识别模型所识别出的第二可识别对象对应的点云数据，得到所述候选点云数据，其中，所述第二可识别对象为所述初始识别模型在所述对象运动空间内识别出的非环境对象，所述第一对象包括所述第二可识别对象。

在一个示例性实施例中，所述第一剔除单元，还用于：

将所述对象运动空间的三维空间描述信息映射至所述初始点云数据上，得到具有空间边界的所述初始点云数据，其中，所述三维空间描述信息用于对所述对象运动空间在所述目标场景中的所述空间边界进行描述；

从所述初始点云数据上剔除位于所述空间边界之外的点云数据，得到所述第一点云数据。

在一个示例性实施例中，所述装置还包括：

第二获取模块，用于在所述将所述对象运动空间的三维空间描述信息映射至所述初始点云数据上，得到具有空间边界的所述初始点云数据之前，获取所述目标场景的第一图像数据和第一点云数据，其中，所述第一图像数据是对所述目标场景采集到的图像数据，所述第一点云数据是对所述目标场景采集到的点云数据；

确定模块，用于从所述第一图像数据中确定出所述目标场景内所述对象运动空间的第一位置区域，并从所述第一点云数据中确定出所述目标场景内所述对象运动空间的第二位置区域；

构建模块，用于根据所述第一位置区域、所述第二位置区域和预设高度构建三维空间，构建所述对象运动空间的所述三维空间描述信息，其中，所述预设高度大于或者等于所述对象运动空间上允许运动的所述第二对象的最大高度。

在一个示例性实施例中，所述确定模块，包括：

第二识别单元，用于从所述第一图像数据中识别第二图像数据，其中，所述第二图像数据为所述目标场景内对象运动面的图像数据，所述对象运动面是允许运动对象运动的表面；

补入单元，用于在所述第二图像数据中补入所述对象运动面被遮挡区域上的图像数据，得到第三图像数据；

第一确定单元，用于根据所述第三图像数据所指示的所述对象运动面的边缘和中心线的分布关系确定出所述对象运动空间所在的所述第一位置区域。

在一个示例性实施例中，所述确定模块，包括：

第三识别单元，用于从所述第一点云数据中识别第二点云数据，其中，所述第二点云数据为所述目标场景内对象运动面的点云数据，所述对象运动面是允许运动对象运动的表面；

拟合单元，用于根据所述第二点云数据拟合出M个拟合平面，其中，所述M个拟合平面中每个所述拟合平面为所述第二点云数据中的部分点云数据拟合得到的，所述拟合平面用于表示所述目标场景内所述对象运动面的平面位置，M为大于或等于1的正整数；

第二确定单元，用于根据所述M个拟合平面确定出所述对象运动空间所在的所述第二位置区域。

在一个示例性实施例中，所述第二确定单元，还用于：

获取所述M个拟合平面中每个所述拟合平面的法向量，得到M个所述法向量；

将M个所述法向量中分布最多的法向量确定为目标法向量；

将法向量为所述目标法向量的拟合平面确定为所述第二位置区域。

在一个示例性实施例中，所述构建模块，包括：

第一投影单元，用于使用采集了所述第一点云数据的雷达设备和采集了所述第一图像数据的摄像设备之间的外部参数，将所述第二位置区域对应的点云数据投影至所述第一图像数据，得到所述第一图像数据上的投影位置区域，其中，所述外部参数用于对点云数据的点云坐标和图像数据的图像坐标进行转换；

修正单元，用于根据所述第一位置区域和所述投影位置区域的比对结果，对所述第二位置区域对应的点云数据中位于边缘的点云数据进行修正，得到目标位置区域；

第一构建单元，用于构建以所述目标位置区域为底、所述预设高度为高的三维空间作为所述对象运动空间，构建所述对象运动空间的所述三维空间描述信息。

在一个示例性实施例中，所述第二剔除单元，还用于：

根据所述目标场景的第四图像数据和第三点云数据获取所述对象运动空间的所述空间点云数据，其中，所述第四图像数据是对未出现运动对象的所述目标场景采集到的图像数据，所述第三点云数据是对未出现运动对象的所述目标场景采集到的点云数据；

从所述空间点云数据中识别所述第一可识别对象对应的点云数据；

从所述第一点云数据中剔除所述第一可识别对象对应的点云数据，得到所述第二点云数据。

在一个示例性实施例中，所述剔除模块，包括：

输入单元，用于将所述初始图像数据和所述初始点云数据输入所述初始识别模型，得到所述初始识别模型输出的第三可识别对象的点云数据，其中，所述第三可识别对象为所述初始识别模型在所述目标场景中识别出的非环境对象，所述第一对象包括所述第三可识别对象；

调整单元，用于根据所述第三可识别对象的第一预测信息对所述第三可识别对象的点云数据进行调整，得到第四点云数据，其中，所述第一预测信息用于指示根据所述第三可识别对象在所述初始点云数据之前的点云数据中的运动位姿预测出的所述第三可识别对象在所述初始点云数据中的运动位姿；

第三剔除单元，用于从所述初始点云数据中剔除所述第四点云数据，得到所述候选点云数据。

在一个示例性实施例中，所述输入单元，还用于：

在所述初始点云数据中位于所述目标场景中泊位区域的目标范围内的点云数据用于指示所述目标范围内出现移动对象的情况下，对所述移动对象的轨迹进行时序跟踪，得到轨迹信息；

在所述轨迹信息用于指示所述移动对象与所述泊位区域之间发生泊位交互关系，或者，所述轨迹信息用于指示所述移动对象所述泊位区域中停泊时长大于目标时长阈值的情况下，将所述移动对象确定为停泊对象，所述移动对象与所述泊位区域之间发生泊位交互关系是指所述移动对象进入所述泊位区域，或者，所述移动对象从所述泊位区域离开；

调用所述初始识别模型根据所述初始图像数据识别出所述停泊对象中的所述第三可识别对象，并从所述初始点云数据识别出所述第三可识别对象的点云数据。

在一个示例性实施例中，所述调整单元，还用于：

根据所述第三可识别对象在所述初始点云数据之前的第一预设时长内被所述初始识别模型识别出的历史3D包络框，以及，所述第一预测信息，预测所述第三可识别对象在所述初始点云数据中的第一3D包络框，其中，所述第一预测信息用于指示所述第三可识别对象在所述预设时长内运动的运动速度和偏航角变化角速度；

根据所述第一3D包络框和所述初始识别模型识别出的第二3D包络框确定第三3D包络框；

将所述初始点云数据中落入所述第三3D包络框的点云数据确定为所述第四点云数据。

在一个示例性实施例中，所述调整单元，还用于：

获取所述第一3D包络框和所述第二3D包络框的第一重叠区域比率；

在所述第一重叠区域比率小于或等于第一预设比率阈值的情况下，将所述第一3D包络框确定为所述第三3D包络框；

在所述第一重叠区域比率大于所述第一预设比率阈值的情况下，将所述第二3D包络框确定为所述第三3D包络框。

在一个示例性实施例中，所述第三剔除单元，还用于：

从所述初始点云数据中剔除所述第四点云数据，得到第五点云数据；

根据所述第五点云数据的第二预测信息对所述第五点云数据进行调整，得到第六点云数据，其中，所述第二预测信息用于指示根据所述第五点云数据在所述初始点云数据之前的点云数据中的运动位姿预测出的所述第五点云数据在所述初始点云数据中的运动位姿；

根据所述第五点云数据和所述第六点云数据确定所述候选点云数据。

在一个示例性实施例中，所述第三剔除单元，还用于：

获取所述第五点云数据和所述第六点云数据的第二重叠区域比率；

在所述第二重叠区域比率大于第二预设比率阈值的情况下，将所述第五点云数据确定为所述候选点云数据；

在所述第二重叠区域比率小于或等于所述第二预设比率阈值的情况下，将所述第六点云数据确定为所述候选点云数据。

在一个示例性实施例中，所述划分模块，包括：

第一聚类单元，用于使用N个距离阈值对所述候选点云数据对应的点云集合进行聚类，得到N组参考点云数据，其中，在使用所述N个距离阈值中的第i个距离阈值对所述候选点云数据对应的点云集合进行聚类时，将点云集合中距离小于所述第i个距离阈值的2个点云聚类为一个，N为大于或者等于2的正整数，i为大于或者等于1，且小于或者等于N的正整数；

第三确定单元，用于根据所述N组参考点云数据指示的N个空间位置的重合关系确定出一组参考点云数据；

第一标记单元，用于将所述一组参考点云数据标记为具有对应关系的第二对象和对象点云数据。

在一个示例性实施例中，所述第三确定单元，还用于：

按照预设空间距离和预设偏航角将所述目标场景划分为多个空间栅格；

将N组参考点云数据中处于同一个空间栅格的点云数据合并，并将合并后的点云数据确定为所述一组参考点云数据。

在一个示例性实施例中，所述划分模块，包括：

第二聚类单元，用于将所述候选点云数据聚类为一个或者多个点云数据集合；

筛选单元，用于从所述一个或者多个点云数据集合中筛选出具有所述第一对象的目标特征的一个或者多个目标点云数据集合；

第二标记单元，用于将一个或者多个目标点云数据集合标记为位一个所述第二对象，得到一个或者多个第二对象的对象点云数据。

在一个示例性实施例中，所述定位模块，包括：

第二投影单元，用于使用采集了所述初始点云数据的雷达设备和采集了所述初始图像数据的摄像设备之间的外部参数，将所述对象点云数据投影至所述初始图像数据，得到所述对象图像数据，其中，所述外部参数用于对点云数据的点云坐标和图像数据的图像坐标进行转换；

第二构建单元，用于构建并存储具有对应关系的第二对象，对象点云数据和对象图像数据。

在一个示例性实施例中，所述第二投影单元，还用于：

将所述对象点云数据投影至所述初始图像数据，得到参考图像数据；

通过对象识别模型识别所述参考图像数据中的参考对象，其中，所述对象识别模型允许识别不属于所述第二对象的对象；

从所述参考图像数据中剔除所述参考对象对应的图像数据，得到所述对象图像数据。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本申请的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (23)

1.一种对象的识别的方法，其特征在于，包括：

获取目标场景内的初始图像数据和初始点云数据；

根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，其中，所述初始识别模型用于根据在所述目标场景中采集到的图像数据和点云数据识别所述目标场景中的第一对象，所述点云识别结果是所述初始识别模型对所述初始点云数据的识别结果；

将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据；

根据所述具有对应关系的第二对象和对象点云数据在所述初始图像数据中定位所述第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，其中，所述具有对应关系的第二对象，对象点云数据和对象图像数据用于将所述初始识别模型训练为具有识别所述第二对象功能的目标识别模型。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，包括：

从所述初始点云数据中剔除位于对象运动空间以外的点云数据，得到第一点云数据，其中，所述对象运动空间为所述目标场景中允许对象进行运动的空间；

根据所述对象运动空间的空间点云数据，从所述第一点云数据中剔除所述空间点云数据中的第一可识别对象对应的点云数据，得到第二点云数据，其中，所述第一可识别对象为所述对象运动空间内的环境对象；

根据所述点云识别结果，从所述第二点云数据中剔除所述初始识别模型所识别出的第二可识别对象对应的点云数据，得到所述候选点云数据，其中，所述第二可识别对象为所述初始识别模型在所述对象运动空间内识别出的非环境对象，所述第一对象包括所述第二可识别对象。

3.根据权利要求2所述的方法，其特征在于，

所述从所述初始点云数据中剔除位于对象运动空间以外的点云数据，得到第一点云数据，包括：

将所述对象运动空间的三维空间描述信息映射至所述初始点云数据上，得到具有空间边界的所述初始点云数据，其中，所述三维空间描述信息用于对所述对象运动空间在所述目标场景中的所述空间边界进行描述；

从所述初始点云数据上剔除位于所述空间边界之外的点云数据，得到所述第一点云数据。

4.根据权利要求3所述的方法，其特征在于，

在所述将所述对象运动空间的三维空间描述信息映射至所述初始点云数据上，得到具有空间边界的所述初始点云数据之前，所述方法还包括：

获取所述目标场景的第一图像数据和第一点云数据，其中，所述第一图像数据是对所述目标场景采集到的图像数据，所述第一点云数据是对所述目标场景采集到的点云数据；

从所述第一图像数据中确定出所述目标场景内所述对象运动空间的第一位置区域，并从所述第一点云数据中确定出所述目标场景内所述对象运动空间的第二位置区域；

根据所述第一位置区域、所述第二位置区域和预设高度构建三维空间，构建所述对象运动空间的所述三维空间描述信息，其中，所述预设高度大于或者等于所述对象运动空间上允许运动的所述第二对象的最大高度。

5.根据权利要求4所述的方法，其特征在于，

所述从所述第一图像数据中确定出所述目标场景内所述对象运动空间的第一位置区域，包括：

从所述第一图像数据中识别第二图像数据，其中，所述第二图像数据为所述目标场景内对象运动面的图像数据，所述对象运动面是允许运动对象运动的表面；

在所述第二图像数据中补入所述对象运动面被遮挡区域上的图像数据，得到第三图像数据；

根据所述第三图像数据所指示的所述对象运动面的边缘和中心线的分布关系确定出所述对象运动空间所在的所述第一位置区域。

6.根据权利要求4所述的方法，其特征在于，

所述从所述第一点云数据中确定出所述目标场景内所述对象运动空间的第二位置区域，包括：

从所述第一点云数据中识别第二点云数据，其中，所述第二点云数据为所述目标场景内对象运动面的点云数据，所述对象运动面是允许运动对象运动的表面；

根据所述第二点云数据拟合出M个拟合平面，其中，所述M个拟合平面中每个所述拟合平面为所述第二点云数据中的部分点云数据拟合得到的，所述拟合平面用于表示所述目标场景内所述对象运动面的平面位置，M为大于或等于1的正整数；

根据所述M个拟合平面确定出所述对象运动空间所在的所述第二位置区域。

7.根据权利要求6所述的方法，其特征在于，

所述根据所述M个拟合平面确定出所述对象运动空间所在的所述第二位置区域，包括：

获取所述M个拟合平面中每个所述拟合平面的法向量，得到M个所述法向量；

将M个所述法向量中分布最多的法向量确定为目标法向量；

将法向量为所述目标法向量的拟合平面确定为所述第二位置区域。

8.根据权利要求4所述的方法，其特征在于，

所述根据所述第一位置区域、所述第二位置区域和预设高度构建三维空间，构建所述对象运动空间的所述三维空间描述信息，包括：

使用采集了所述第一点云数据的雷达设备和采集了所述第一图像数据的摄像设备之间的外部参数，将所述第二位置区域对应的点云数据投影至所述第一图像数据，得到所述第一图像数据上的投影位置区域，其中，所述外部参数用于对点云数据的点云坐标和图像数据的图像坐标进行转换；

根据所述第一位置区域和所述投影位置区域的比对结果，对所述第二位置区域对应的点云数据中位于边缘的点云数据进行修正，得到目标位置区域；

构建以所述目标位置区域为底、所述预设高度为高的三维空间作为所述对象运动空间，构建所述对象运动空间的所述三维空间描述信息。

9.根据权利要求2所述的方法，其特征在于，

所述根据所述对象运动空间的空间点云数据，从所述第一点云数据中剔除所述空间点云数据中的第一可识别对象对应的点云数据，得到第二点云数据，包括：

根据所述目标场景的第四图像数据和第三点云数据获取所述对象运动空间的所述空间点云数据，其中，所述第四图像数据是对未出现运动对象的所述目标场景采集到的图像数据，所述第三点云数据是对未出现运动对象的所述目标场景采集到的点云数据；

从所述空间点云数据中识别所述第一可识别对象对应的点云数据；

从所述第一点云数据中剔除所述第一可识别对象对应的点云数据，得到所述第二点云数据。

10.根据权利要求1所述的方法，其特征在于，

所述根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，包括：

将所述初始图像数据和所述初始点云数据输入所述初始识别模型，得到所述初始识别模型输出的第三可识别对象的点云数据，其中，所述第三可识别对象为所述初始识别模型在所述目标场景中识别出的非环境对象，所述第一对象包括所述第三可识别对象；

根据所述第三可识别对象的第一预测信息对所述第三可识别对象的点云数据进行调整，得到第四点云数据，其中，所述第一预测信息用于指示根据所述第三可识别对象在所述初始点云数据之前的点云数据中的运动位姿预测出的所述第三可识别对象在所述初始点云数据中的运动位姿；

从所述初始点云数据中剔除所述第四点云数据，得到所述候选点云数据。

11.根据权利要求10所述的方法，其特征在于，

所述将所述初始图像数据和所述初始点云数据输入所述初始识别模型，得到所述初始识别模型输出的第三可识别对象的点云数据，包括：

在所述初始点云数据中位于所述目标场景中泊位区域的目标范围内的点云数据用于指示所述目标范围内出现移动对象的情况下，对所述移动对象的轨迹进行时序跟踪，得到轨迹信息；

在所述轨迹信息用于指示所述移动对象与所述泊位区域之间发生泊位交互关系，或者，所述轨迹信息用于指示所述移动对象所述泊位区域中停泊时长大于目标时长阈值的情况下，将所述移动对象确定为停泊对象，所述移动对象与所述泊位区域之间发生泊位交互关系是指所述移动对象进入所述泊位区域，或者，所述移动对象从所述泊位区域离开；

调用所述初始识别模型根据所述初始图像数据识别出所述停泊对象中的所述第三可识别对象，并从所述初始点云数据识别出所述第三可识别对象的点云数据。

12.根据权利要求10所述的方法，其特征在于，

所述根据所述第三可识别对象的第一预测信息对所述第三可识别对象的点云数据进行调整，得到第四点云数据，包括：

根据所述第三可识别对象在所述初始点云数据之前的第一预设时长内被所述初始识别模型识别出的历史3D包络框，以及，所述第一预测信息，预测所述第三可识别对象在所述初始点云数据中的第一3D包络框，其中，所述第一预测信息用于指示所述第三可识别对象在所述预设时长内运动的运动速度和偏航角变化角速度；

根据所述第一3D包络框和所述初始识别模型识别出的第二3D包络框确定第三3D包络框；

将所述初始点云数据中落入所述第三3D包络框的点云数据确定为所述第四点云数据。

13.根据权利要求12所述的方法，其特征在于，

所述根据所述第一3D包络框和所述初始识别模型识别出的第二3D包络框确定第三3D包络框，包括：

获取所述第一3D包络框和所述第二3D包络框的第一重叠区域比率；

在所述第一重叠区域比率小于或等于第一预设比率阈值的情况下，将所述第一3D包络框确定为所述第三3D包络框；

在所述第一重叠区域比率大于所述第一预设比率阈值的情况下，将所述第二3D包络框确定为所述第三3D包络框。

14.根据权利要求10所述的方法，其特征在于，

所述从所述初始点云数据中剔除所述第四点云数据，得到所述候选点云数据，包括：

从所述初始点云数据中剔除所述第四点云数据，得到第五点云数据；

根据所述第五点云数据的第二预测信息对所述第五点云数据进行调整，得到第六点云数据，其中，所述第二预测信息用于指示根据所述第五点云数据在所述初始点云数据之前的点云数据中的运动位姿预测出的所述第五点云数据在所述初始点云数据中的运动位姿；

根据所述第五点云数据和所述第六点云数据确定所述候选点云数据。

15.根据权利要求14所述的方法，其特征在于，

所述根据所述第五点云数据和所述第六点云数据确定所述候选点云数据，包括：

获取所述第五点云数据和所述第六点云数据的第二重叠区域比率；

在所述第二重叠区域比率大于第二预设比率阈值的情况下，将所述第五点云数据确定为所述候选点云数据；

在所述第二重叠区域比率小于或等于所述第二预设比率阈值的情况下，将所述第六点云数据确定为所述候选点云数据。

16.根据权利要求1所述的方法，其特征在于，

所述将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据，包括：

使用N个距离阈值对所述候选点云数据对应的点云集合进行聚类，得到N组参考点云数据，其中，在使用所述N个距离阈值中的第i个距离阈值对所述候选点云数据对应的点云集合进行聚类时，将点云集合中距离小于所述第i个距离阈值的2个点云聚类为一个，N为大于或者等于2的正整数，i为大于或者等于1，且小于或者等于N的正整数；

根据所述N组参考点云数据指示的N个空间位置的重合关系确定出一组参考点云数据；

将所述一组参考点云数据标记为具有对应关系的第二对象和对象点云数据。

17.根据权利要求16所述的方法，其特征在于，

所述根据所述N组参考点云数据指示的N个空间位置的重合关系确定出一组参考点云数据，包括：

按照预设空间距离和预设偏航角将所述目标场景划分为多个空间栅格；

将N组参考点云数据中处于同一个空间栅格的点云数据合并，并将合并后的点云数据确定为所述一组参考点云数据。

18.根据权利要求1所述的方法，其特征在于，

所述将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据，包括：

将所述候选点云数据聚类为一个或者多个点云数据集合；

从所述一个或者多个点云数据集合中筛选出具有所述第一对象的目标特征的一个或者多个目标点云数据集合；

将一个或者多个目标点云数据集合标记为位一个所述第二对象，得到一个或者多个第二对象的对象点云数据。

19.根据权利要求1所述的方法，其特征在于，所述根据所述具有对应关系的第二对象和对象点云数据在所述初始图像数据中定位所述第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，包括：

使用采集了所述初始点云数据的雷达设备和采集了所述初始图像数据的摄像设备之间的外部参数，将所述对象点云数据投影至所述初始图像数据，得到所述对象图像数据，其中，所述外部参数用于对点云数据的点云坐标和图像数据的图像坐标进行转换；

构建并存储具有对应关系的第二对象，对象点云数据和对象图像数据。

20.根据权利要求19所述的方法，其特征在于，

所述将所述对象点云数据投影至所述初始图像数据，得到所述对象图像数据，包括：

将所述对象点云数据投影至所述初始图像数据，得到参考图像数据；

通过对象识别模型识别所述参考图像数据中的参考对象，其中，所述对象识别模型允许识别不属于所述第二对象的对象；

从所述参考图像数据中剔除所述参考对象对应的图像数据，得到所述对象图像数据。

21.一种对象的识别的装置，其特征在于，

包括：

第一获取模块，用于获取目标场景内的初始图像数据和初始点云数据；

剔除模块，用于根据所述初始点云数据的点云识别结果，从所述初始点云数据中剔除所述目标场景中的初始识别模型所识别出的点云数据，得到候选点云数据，其中，所述初始识别模型用于根据在所述目标场景中采集到的图像数据和点云数据识别所述目标场景中的第一对象，所述点云识别结果是所述初始识别模型对所述初始点云数据的识别结果；

划分模块，用于将所述候选点云数据划分为一个或者多个第二对象的对象点云数据，得到具有对应关系的第二对象和对象点云数据；

定位模块，用于根据所述具有对应关系的第二对象和对象点云数据在所述初始图像数据中定位所述第二对象，得到具有对应关系的第二对象，对象点云数据和对象图像数据，其中，所述具有对应关系的第二对象，对象点云数据和对象图像数据用于将所述初始识别模型训练为具有识别所述第二对象功能的目标识别模型。

22.一种计算机可读存储介质，其特征在于，

所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至20任一项中所述的方法的步骤。

23.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，

所述处理器执行所述计算机程序时实现所述权利要求1至20任一项中所述的方法的步骤。