CN115631308A

CN115631308A - 人造杆重建方法、装置、车辆及介质

Info

Publication number: CN115631308A
Application number: CN202211612577.9A
Authority: CN
Inventors: 叶南飞; 朱保华; 贾砚波
Original assignee: Beijing Jidu Technology Co Ltd
Current assignee: Beijing Jidu Technology Co Ltd
Priority date: 2022-12-15
Filing date: 2022-12-15
Publication date: 2023-01-20
Anticipated expiration: 2042-12-15
Also published as: CN115631308B

Abstract

本申请实施例提供人造杆重建方法、装置、车辆及介质。该方法包括：本申请实施例提供的人造杆重建方法、设备、装置及介质，其中，该方法包括：基于激光点云确定人造杆的第一轴线段；从人造杆对应的图像集合中，基于第一轴线段，筛选获得多个目标图像，其中，图像集合包括采集人造杆得到的多个图像；在多个目标图像中分别提取出人造杆对应的第二轴线段；将第一轴线段投影至多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像；利用多个有效图像中的投影线段和第二轴线段对第一轴线段进行调整，以得到第一目标轴线段，第一目标轴线段用于重建人造杆。本申请实施例提高了重建后的人造杆的精度。

Description

人造杆重建方法、装置、车辆及介质

技术领域

本申请涉及车辆控制技术领域，尤其涉及人造杆重建方法、装置、车辆及介质。

背景技术

道路两旁的路灯杆、交通指示杆等人造杆在高精地图中有着重要的作用，因此，在高精地图中重建人造杆有着重要的意义。

人造杆的重建需要首先测量提取人造杆对应的线段，进而基于线段对人造杆进行重建。

目前的一种实现方式，是利用激光雷达的方式可以提取人造杆对应的线段，进而基于线段对人造杆进行重建，即利用车载的激光雷达对人造杆进行扫描，并对扫描结果利用语义分割技术得到人造杆对应的激光点云，基于激光点云即可以确定出对应的轴线段，之后基于轴线段再对人造杆进行重建。

但是由于只能扫描到人造杆的表面，且人造杆附近可能会有与人造杆形状比较类似的树木等其他结构，在语义分割时可能会叫树木等其他结构识别为人造杆，或者人造杆上会有语义分割无法分割出的标志牌等物品，使得得到的激光点云不够准确，造成重建后的人造杆有误差，精度较低。

发明内容

本申请实施例提供一种人造杆重建方法、装置、车辆及介质，用以解决现有技术中重建后的人造杆精度比较低的问题。

第一方面，本申请实施例提供一种人造杆重建方法，该方法包括：

基于激光点云确定人造杆的第一轴线段；

从所述人造杆对应的图像集合中，基于所述第一轴线段，筛选获得多个目标图像，其中，所述图像集合包括采集所述人造杆得到的多个图像；

在所述多个目标图像中分别提取出所述人造杆对应的第二轴线段；

将所述第一轴线段投影至所述多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像；

利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段，所述第一目标轴线段用于重建所述人造杆。

第二方面，本申请实施例提供一种人造杆重建装置，该装置包括：

确定模块，用于基于激光点云确定人造杆的第一轴线段；

筛选模块，用于从所述人造杆对应的图像集合中，基于所述第一轴线段，筛选获得多个目标图像，其中，所述图像集合包括采集所述人造杆得到的多个图像；

提取模块，用于在所述多个目标图像中分别提取出所述人造杆对应的第二轴线段；

投影模块，用于将所述第一轴线段投影至所述多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像；

调整模块，用于利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段，所述第一目标轴线段用于重建所述人造杆。

第三方面，本申请实施例提供一种车辆，包括：车身和显示设备；

所述车身上安装有存储器、处理器、传感器；

所述存储器，用于存储一条或多条计算机指令；

所述处理器用于执行所述一条或多条计算机指令以用于执行第一方面。

第四方面，本申请实施例提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现第一方面所述方法中的步骤。

本申请实施例提供的人造杆重建方法、设备、装置及介质，其中，该方法包括：基于激光点云确定人造杆的第一轴线段；从所述人造杆对应的图像集合中，基于所述第一轴线段，筛选获得多个目标图像，其中，所述图像集合包括采集所述人造杆得到的多个图像；在所述多个目标图像中分别提取出/ 所述人造杆对应的第二轴线段；将所述第一轴线段投影至所述多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像；利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段，所述第一目标轴线段用于重建所述人造杆。本申请实施例通过基于在多个目标图像中提取人造杆对应的第二轴线段，由于提取出的第二轴线段比较准确，因此可以在多个有效图像中基于第二轴线段和第一轴线段在有效图像上投影线段对第一轴线进行调整，以得到精准的第一目标轴线段，从而可以基于第一目标轴线段进行人造杆的重建，以提高重建后的人造杆的精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种人造杆重建方法的流程图；

图2为本申请实施例提供的一种第一轴线段投影过程的场景示意图；

图3为本申请实施例提供的一种基于第一轴线段确定目标图像的场景示意图；

图4为本申请实施例提供的一种反投影的场景示意图；

图5为本申请实施例提供的的人造杆重建装置一个实施例的结构示意图；

图6为本申请实施例提供的车辆的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

承接上述背景技术，利用激光雷达重建人造杆的过程中，可能会遇到以下问题：一是在人造杆附近有笔直的树木或者树枝的形状比较类似于圆柱体时，可能会将树木或者树枝当成人造杆进行重建；二是人造杆上有比较小的标志牌，激光雷达在进行语义分割时，将标志牌对应的点云分割成人造杆对应的点云，在基于分割后的点云进行人造杆的重建时，由于点云中有噪声，导致重建后的人造杆不够精准；最后一种情况是在利用车载的激光雷达进行人造杆的激光点云的采集时，只能采集到人造杆的一侧表面点云，由于点云分布本来就不是很均匀，而用来重建人造杆的点云又仅仅是人造杆的一部分对应的点云，导致重建后的人造杆不够精准。

目前人造杆重建的另一种方式是基于图像视觉的重建方法，即利用车载相机对人造杆进行图像采集，以获得人造杆对应的多个图像，进而利用深度神经网络从多个图像中识别出人造杆对应的二维线段，由于深度神经网络技术比较成熟，识别出的二维线段比较精准，可以基于至少两个二维线段确定出人造杆对应的预测三维轴线段，进而基于预测三维轴线段在图像上的投影线段和二维线段对预测三维轴线段进行调整，以得到目标三维轴线段，进而基于目标三维轴线段进行人造杆的重建，但由于大型车辆或者建筑物的遮挡，多个图像中可能存在某些图像没有拍到人造杆，或者在某些图像中无法识别出二维线段。由于该种方式中多个图像作为用于重建一个人造杆的图像集，而某些图像没有人造杆对应的二维线段，因此，该图像集被分成了两个图像集，从而将重建出的人造杆的数量出现了冗余。

针对上述技术问题，本申请实施例提供的人造杆重建方法、设备、装置及介质，其中，该方法包括：基于激光点云确定人造杆的第一轴线段；从人造杆对应的图像集合中，基于第一轴线段，筛选获得多个目标图像，其中，图像集合包括采集人造杆得到的多个图像；在多个目标图像中分别提取出人造杆对应的第二轴线段；将第一轴线段投影至多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像；利用多个有效图像中的投影线段和第二轴线段对第一轴线段进行调整，以得到第一目标轴线段，第一目标轴线段用于重建人造杆。本申请实施例通过基于在多个目标图像中提取人造杆对应的第二轴线段，由于提取出的第二轴线段比较准确，因此可以在多个有效图像中基于第二轴线段和第一轴线段在有效图像上投影线段对第一轴线进行调整，以得到精准的第一目标轴线段，从而可以基于第一目标轴线段进行人造杆的重建，以提高重建后的人造杆的精度。

为了便于理解，下面将结合具体实施例对本申请技术方案进行说明。

图1为本申请实施例提供的一种人造杆重建方法的流程图，如图1所示，包括以下步骤：

101、基于激光点云确定人造杆的第一轴线段。

其中，激光点云为车载雷达在对人造杆进行扫描的过程中获取的所有物体的激光点云。

作为一种可选的实现方式，可以基于深度神经网络或基于规则的方法，从激光点云中分割出人造杆对应的激光点云，简称杆子点云。此时的杆子点云包括：人造杆表面与人造杆上标志牌等物品表面结合到一起的激光点云以及树木或者树干对应的激光点云。

进一步的，将杆子点云投影到水平面，将水平面上相邻杆子点云之间的距离小于预设阈值的杆子点云归为一类，同一类的杆子点云即为某根杆子的杆子点云。通过本步骤，可以将由比较大的标志牌对应的激光点云剔除出去，从而得到聚类得到的多个杆子点云，此时的杆子点云可以是人造杆表面与人造杆上较小标志牌等物品表面结合到一起的激光点云，或者可以是树木或者树干对应的激光点云。

进一步的，确定出杆子点云对应的第一轴线段。

具体的，对任一根杆子的杆子点云，首先计算其中心点，然后用每个数据点减去中心点坐标，再对去中心化的坐标点进行奇异值分解（Singular Value Decomposition，简称SVD），得到人造杆的主方向。

其中，

为任一人造杆对应的杆子点云的三维坐标，

为中心点的三维坐标， N为杆子点云的数量，

为任一人造杆对应的杆子点云的三维坐标减去中心点的三维坐标所得到的矩阵，

为是矩阵

的特征向量，

是矩阵

的特征向量，

的第一列向量即为人造杆的主方向。

将任一人造杆的的点云沿主方向进行切片，计算每个切片的中心点，得到的切片中心点进行最小二乘直线拟合，将最上层和最下层切片的中心点投影到拟合的直线上，得到杆子的顶点P1和底点P2，其中P1和P2利用三维坐标表示，PI和P2即为人造杆对应的初值端点。

利用初值端点得到任一根杆子对应的第一轴线段，即人造杆对应的三维轴线段。

102、从人造杆对应的图像集合中，基于第一轴线段，筛选获得多个目标图像。

其中，图像集合包括采集人造杆得到的多个图像。

可选地，可以基于第一轴线段设定预设的目标图像对应的划定范围，从而可以在图像集合中，筛选获得多个目标图像。

103、在多个目标图像中分别提取出人造杆对应的第二轴线段。

可选地，可以利用深度神经网络在多个目标图像中提取出人造杆对应的第二轴线段，其中，第二轴线段为二维线段。

深度神经网络可以是卷积神经网络(Convolutional Neural Networks, 简称CNN)、递归神经网络(Recurrent Neural Network,简称RNN)、深信度网络(Deep BoltzmannMachine，简称DBN)、深度自动编码器(AutoEncoder)和生成对抗网络(GenerativeAdversarial Networks，简称GAN)中任一个或者其中任一组合而成的神经网络模型。

104、将第一轴线段投影至多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像。

可选地，可以按照预设的方式将第一轴线段投影至多个目标图像，以得到第一轴线段在多个目标图像的多个投影线段，并可以基于目标图像上投影线段和第二轴线段的位置关系确定出满足要求的多个有效图像。

105、利用多个有效图像中的投影线段和第二轴线段对第一轴线段进行调整，以得到第一目标轴线段，第一目标轴线段用于重建人造杆。

可以理解的是，第二轴线段为从有效图像中提取出的人造杆对应的二维轴线段，比较准确，因此，可以通过调整第一轴线段，进而调整第一轴线段投影到多个有效图像上的投影线段，从而使各个有效图像上的投影线段与二维轴线段越来越接近，以得到调整后的第以轴线段，即第一目标轴线段。

进一步的，可以基于第一目标轴线段重建出对应的人造杆。

本申请实施例提供的人造杆重建方法，其中，该方法包括：基于激光点云确定人造杆的第一轴线段；从人造杆对应的图像集合中，基于第一轴线段，筛选获得多个目标图像，其中，图像集合包括采集人造杆得到的多个图像；在多个目标图像中分别提取出人造杆对应的第二轴线段；将第一轴线段投影至多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像；利用多个有效图像中的投影线段和第二轴线段对第一轴线段进行调整，以得到第一目标轴线段，第一目标轴线段用于重建人造杆。本申请实施例通过基于在多个目标图像中提取人造杆对应的第二轴线段，由于提取出的第二轴线段比较准确，因此可以在多个有效图像中基于第二轴线段和第一轴线段在有效图像上投影线段对第一轴线进行调整，以得到精准的第一目标轴线段，从而可以基于第一目标轴线段进行人造杆的重建，以提高重建后的人造杆的精度。

如上文所述，可以基于第一轴线段设定预设的目标图像对应的划定范围，从而可以在图像集合中，筛选获得多个目标图像。作为一种可选的实施方式，从人造杆对应的图像集合中，基于第一轴线段，筛选获得多个目标图像可以实现为：确定第一轴线段对应的位置信息根据位置信息确定第一轴线段对应的观测距离范围；获取采集位置在观测距离范围内的多个目标图像。

可以理解的是，为了提高重建的效率，可以首先筛选一些观测距离比较近的图像进行人造杆的重建，因此，可以根据第一轴线段对应的位置信息，确定出第一轴线段对应的观测距离范围，比如观测距离范围可以是距离第一轴线段直线距离30米之内的范围，即将采集位置距离第一轴线段30米之内的采集图像确定为目标图像，以得到多个目标图像。

由上文可知，在确定第一轴线段的过程中，会确定出人造杆对应的初值端点，即第一轴线段对应的初值端点，由于初值端点用三维坐标表示，从而可以从初值端点中确定出第一轴线段对应的位置信息。

进一步的，在确定出目标图像之后，目标图像中也有不符合要求的图像，因此，还需要利用预设方式将不符合要求的目标图像剔除出去。可选地，将第一轴线段投影至多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像可以实现为：按照多个目标图像各自对应的位姿信息，对第一轴线段进行投影；将存在第一轴线段对应的投影线段，且投影线段与第二轴线段之间的距离小于预设距离阈值的目标图像确定为有效图像，以得到多个有效图像。

其中，位姿信息可以为目标图像对应的相机位置，为了详细描述将第一轴线段投影至多个目标图像的投影过程，图2为本申请实施例提供的一种第一轴线段投影过程的场景示意图。其中，图2仅以第一轴线段投影到一个目标图像的过程进行示例性的说明，第一轴线段投影到其他目标图像的过程与图2的过程类似。

具体的，根据目标图像的位姿信息确定出对应的相机位置为图2中所示的相机位置，正常情况下，车载相机在图2所示的相机位置对人造杆进行拍照得到目标图像，对应的，在已知目标图像、相机位置和第一轴线段的情况下，将第一轴线段对应的初值端点P1和P2与相机位置分别相连，此时相机位置可以认为是一个点，两条连线与目标图像的相交线段即为第一轴线段在目标图像上的投影线段。

进一步，基于投影线段和目标图像上提取出的第二轴线段确定目标图像是否为有效图像。

由上文可知，聚类得到的多个杆子点云可以是人造杆表面与人造杆上较小标志牌等物品表面结合到一起的激光点云，或者可以是树木或者树干对应的激光点云，因此此时第一轴线段可以是人造杆对应的三维轴线段或者可以是树木或者树枝对应的三维轴线段，而第二轴线段仅仅是人造杆对应的二维轴线段，因此，可以基于投影线段和第二轴线段判断出第一轴线段是否为人造杆对应的三维轴线段。此外，由于某些原因没有在一些目标图像中识别出第二轴线段，比如在车载相机拍摄人造杆的同时，人造杆和车载相机之间有遮挡物，或者车载相机拍到了杆子，或者由于深度神经网络对应的人造杆提取方法不稳定，没有提取出某些图像中的第二轴线段，此时可以基于投影线段和第二轴线段判断出目标图像是否有第二轴线段。

具体的，获取所有目标图像中投影线段与第二轴线段的位置关系以及对应关系，若在所有目标图像中，均没有与投影线段对应的第二轴线段，则说明第一轴线段并不是人造杆对应的三维轴线段，可能是树木或者树干对应的三维轴线段，则将第一轴线段进行剔除，进行下一第一轴线段的判断；若在所有目标图像中，有一些目标图像不存在投影线段对应的二维线段，则说明这些目标图像没有提取出二维线段，则剔除掉这些目标图像，利用其它目标图像进行人造杆的重建。

可以理解的是，在确定出目标图像之后，由于目标图像的位姿信息，有些目标图像中并没有拍摄到人造杆。图3为本申请实施例提供的一种基于第一轴线段确定目标图像的场景示意图。如图3所示，按照预设的方式，确定出了第一轴线段对应的观测距离范围为以第一轴线段为中心，30米为半径的圆形范围，即可以确定出第一目标图像、第二目标图像、第三目标图像三个目标图像，且每个目标图像对应的相机位置如图3所示的第一相机位置、第二相机位置、第三相机位置。分别连接各个相机位置与第一轴线段的初值端点，可以看出第一目标图像与第一相机位置与第一轴线段的初值端点进行连线得到的两条线段并没有相交，则说明第一目标图像中并没有人造杆，因此，则可以利用图2所示的第一轴线段投影过程的对目标图像进行筛选，即经过图2所示的第一轴线段投影过程之后，将与两条线段没有相交的目标图像剔除，并利用其他目标图像进行人造杆的重建。

可以理解的是，人造杆重建的精度与采集位置相关，举例来说，采集位置可以分为合适、稍远和最远。处于最远采集位置上的图像对人造杆的重建没有作用。因此，处于最远的采集图像已经基于第一轴线段设定预设的目标图像对应的划定范围剔除掉了，处于稍远采集位置上的图像对人造杆的重建有一定参考作用，因此，可以将稍远采集位置上的图像作为有效图像进行人造杆的重建，但是如果有效图像均是处于稍远采集位置上的图像，重建出的人造杆精度较差，因此，在进行人造杆的重建之前，需要对多个有效图像中距离第一轴线段距离最近的图像进行判断，从而确定出有效图像是否均是处于稍远采集位置上的图像，进而决定是否利用多个有效图像进行人造杆的重建。

可选地，利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段可以实现为：在所述多个有效图像满足预设条件的情况下，利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段；利用第一目标轴线段对所述人造杆进行重建。

作为一种可选的实现方式，在多个有效图像满足预设条件的情况下，利用多个有效图像中的投影线段和第二轴线段对第一轴线段进行调整，以得到第一目标轴线段可以实现为：确定第一轴线段对应的位置信息；从多个有效图像中获取采集位置与第一轴线段的位置信息之间距离最小的最近图像，基于最近图像的采集位置以及第一轴线段的位置信息，确定最近图像相对第一轴线段的观测距离与观测角度；若观测距离小于预设距离或者观测角度小于预设角度或者多个有效图像的数量小于预设数量，利用多个有效图像中的投影线段和第二轴线段对第一轴线段进行调整，以得到第一目标轴线段。

具体的，可以基于第一轴线段对应的初值端点的三维坐标确定出第一轴线段对应的位置信息，从多个有效图像中获取采集位置与第一轴线段的位置信息之间距离最小的最近图像，其中车载相机在拍摄图像的过程中会记录每个图像的拍摄位置，即为图像的采集位置，从而可以基于最近图像的观测距离判断出最近图像是否是处于稍远采集位置上的图像，如果最近图像是处于稍远采集位置上的图像，那么所有有效图像均是处于稍远采集位置上的图像，因此，可以将多个有效图像剔除，为了避免重建出的人造杆出现数量上的问题，可以基于第一轴线段对人造杆进行重建。或者基于下次采集的图像进行人造杆的重建。

其中，观测角度为车载相机与人造杆任一点之间的连线和车辆行驶道路所在平行线之间的夹角，观测角度越大，观测距离越近，因此还可以基于观测角度确定最近图像的观测距离，即观测角度小于预设角度，即认为最近图像是处于稍远采集位置上的图像。

可以理解的是，有效图像越少，重建出的人造杆的精度越低，在有效图像的数量小于预设数量的时候，可以认为重建出的人造杆的精度过低，因此，若多个有效图像的数量小于预设数量，则可以将多个有效图像剔除，基于第一轴线段对人造杆进行重建。或者基于下次采集的图像进行人造杆的重建。

在满足最近图像的观测距离小于预设距离，即有效图像包括处于稍远采集位置上的图像以及处于合适采集位置上的图像，且有效图像的数量大于预设数量的情况下，可以基于有效图像进行人造杆的重建。

可以理解的是，在按照各自对应的时间顺序，对多个有效图像进行排序之后，才可以在确定出最近图像为处于稍远采集位置上的图像时，将所有有效图像确定为均是处于稍远采集位置上的图像。

该方法还包括：按照多个有效图像各自对应的时间顺序，对多个有效图像进行排序，以得到针对人造杆的跟踪图像集；利用多个有效图像中的投影线段和第二轴线段对第一轴线段进行优调整，以得到目标轴线段包括：利用跟踪图像集的投影线段和第二轴线段对第一轴线段进行优化，以得到目标轴线段。

在本实施例中，确定出多个有效图像之后，可以基于多个有效图像中的投影线段和第二轴线段对第一轴线段进行调整，以得到目标轴线段。

可选地，第一轴线段用普吕克坐标进行表示；利用多个有效图像中的投影线段和第二轴线段对第一轴线段进行调整，以得到目标轴线段包括：将所第一轴线段的普吕克坐标映射到正交坐标系下，以得到第一轴线段在正交坐标系下的坐标；构建反映第一轴线段和第一目标轴线段之间的第一距离与投影线段与第二轴线段之间的第二距离的距离之和的第一目标函数；以第一轴线段在正交坐标系下的坐标为第一目标函数的初始解，对第一目标函数进行无约束非线性优化，以求解第一目标轴线段在正交坐标系下的坐标；根据求解得到的第一目标轴线段在正交坐标系下的坐标，计算第一目标轴线段的普吕克坐标。

可以理解的是，第一轴线段用P1和P2表示，拥有六个参数，而直线在三维空间的自由度是4，如果直接基于P1和P2对第一轴线段进行调整，会出现过自由度的问题，且调整的迭代次数过多。因此，在调整第一轴线段之前，需要将第一轴线段在三维空间下的坐标转换为在正交坐标系下的坐标，即用四个参数表示第一轴线段。

在本申请实施例中，不限定第一轴线段的表达方式。可选地，可将第一轴线段表示为：端点式（P₁ ^T, P₂ ^T）或者端点式对应的普吕克参数形式（n^T, d^T），其中d是第一轴线段所在直线的方向向量，n是直线与原点所构成平面的法向量。

n用如下公式表示：

d用如下公式表示：

其中，d只有方向信息是有效的，其模长需要根据原点到直线的距离重新计算。一般来说，d的模长等于原点与P1、P2所构成三角形的面积。

正交表示只需要4个变量

,

表示相机光心在世界坐标系下的坐标，对应的两个正交矩阵

。

是平面旋转群。

表示直线坐标系

绕x，y，z轴旋转角，

为依次绕 x， y ， z轴的旋转角。

正交表示和普吕克表示可以相互转换，在即时定位与地图构建（SimultaneousLocalization and Mapping，简称SLAM）中可灵活应用。正交表示可以通过对普吕克坐标进行正交三角分解得到，但实际应用中可以构造如下所示的矩阵：

因此，可以基于上述矩阵得到一个表示旋转的正交矩阵，即旋转矩阵 U ：

其中，

为依次绕 x ， y ，z轴的旋转角，显然，

就是绕 x ， y ， z 旋转后的旋转矩阵。矩阵

，只有一个自由度，将其归一化后可用一个

更新，用三角函数表示为：

其中，

表示直线到远点的距离，因此正交表示（U，W）包含3自由度的旋转和1自由度的距离。

因此，可以利用上述方式基于普吕克坐标（n^T, d^T）转化为正交表示（U，W）。

得到第一轴线段在正交坐标系下的坐标（U，W）之后，可以通过调整，

或者

来调整第一轴线段。

进一步的，可以基于BA(Bundle Adjustment)优化来调整第一轴线段。

具体的，可以构建反映第一轴线段和第一目标轴线段之间的第一距离与投影线段与第二轴线段之间的第二距离的距离之和的第一目标函数。

式中，

为正在优化的第一轴线段，

为初始的第一轴线段，

表示将

投影到第i个观测所在图像的投影线段，

为第i个第二轴线段，

运算符用于计算第一轴线段和正在优化的第一轴线段的距离或投影线段与第二轴线段的距离。

其中，

有对应的调整范围，即

不能超过预设范围。

可选地，以第一轴线段在正交坐标系下的坐标为第一目标函数的初始解，对第一目标函数进行无约束非线性优化，以求解第一目标轴线段在正交坐标系下的坐标包括：确定第一目标函数最小化时的解，作为第一目标轴线段在正交坐标系下的坐标。

具体的，可以将

最小化时的解，作为最优解，即第一目标轴线段在正交坐标系下的坐标。

在本实施例中，不限定式进行无约束非线性优化的具体实施方式。可选地，可采用Levenberg-Marquardt算法、高斯牛顿算法或最小二乘法等对式（13）进行无约束非线性优化，但不限于此。

进一步的，可以利用第一目标轴线段在正交坐标系下的坐标计算得到第一目标轴线段的普吕克坐标。

相应地，第一目标轴线段在正交坐标系下的坐标计算得到第一目标轴线段的普吕克坐标过程如下：

其中，

，

。

除了对第一轴线段进行调整来得到第一目标轴线段对人造杆进行重建之外，作为另一种实现方式，将至少两个有效图像各自对应的第二轴线段，分别进行反投影，获得至少两个反投影结果相交得到的预测轴线段；将所述预测轴线段分别投影至所述至少两个有效图像中，获得第二投影线段；利用所述至少两个有效图像中的投影线段和第二轴线段对所述预测轴线段进行调整，以得到第二目标轴线段；所述第二目标轴线段用以对所述人造杆进行重建。

根据多个有效图像以及多个有效观测图像各自对应的投影线段确定出多个有效图像各自对应的预测轴线段可以实现为：根据至少两个有效图像各自对应的位姿信息以及至少两个有效图像各自对应的第二轴线段确定出至少两个有效图像对应的拟合轴线段，以得到至少一个拟合轴线段；利用最小二乘法，基于至少一个拟合轴线段确定出多个有效图像对应的预测轴线段；利用多个有效图像中的投影线段和第二轴线段对预测轴线段进行调整，以得到第二目标轴线段，第一目标轴线段用于重建人造杆。

由上文可知，由于基于多个图像作为用于重建一个人造杆的图像集来重建人造杆的方式，由于某些图像没有人造杆对应的二维线段，因此，该图像集被分成了两个图像集，从而将重建出的人造杆的数量出现了冗余。而多个有效图像满足预设条件的情况下，多个图像中均会存在有人造杆对应的二维线段。因此，可以基于满足预设条件的多个有效图像对人造杆进行重建。

为了方便理解，图4为本申请实施例提供的一种反投影的场景示意图，如图4所示，仅以两个有效图像得到拟合轴线段为例对该场景进行说明，图4中有两个有效图像，分别为第一有效图像和第二有效图像，且根据第一有效图像和第二有效图像各自对应的位姿信息确定出第一有效图像和第二有效图像分别对应的相机位置为第四相机位置和第五相机位置，将第四相机位置与第一图有效图像上的第二轴线段的端点相连得到两条第一连接线，以及将将第五相机位置与第一图有效图像上的第二轴线段的端点相连得到两条第二连接线，两条第一连接线和两条第二连接线之间会有一条相交的线段，该线段即为拟合轴线段。

拟合轴线段的获取方式还可以实现为多个有效图像中的第二轴线段与各自对应的相机位置之前的连线，从而得到多对连接线，进一步将多对连接线相交的线段确定为拟合轴线段。

需要说明的是，可以基于多个相邻的有效图像进行拟合轴线段的获取，也可以基于多个不相邻的有效图像进行拟合轴线段的获取。

经过上述拟合轴线段的获取，可以得到至少一个拟合轴线段，进一步的，可以利用最小二乘法，基于至少一个拟合轴线段确定出多个有效图像对应的预测轴线段。

可选地，预测第一轴线段利用普吕克坐标进行表示；利用多个有效图像中的投影线段和第二轴线段对预测第一轴线段进行优化，以得到任一人造杆的第二目标轴线段包括：将预测第一轴线段的普吕克坐标映射到正交坐标系下，以得到三维轴线预测段在正交坐标系下的坐标；构建反映预测第一轴线段与第二目标轴线段之间的第三距离与投影线段与二维中轴线段之间的第四距离的距离之和的第二目标函数；以预测第一轴线段在正交坐标系下的坐标为第二目标函数的初始解，对第二目标函数进行无约束非线性优化，以求解第二目标轴线段在正交坐标系下的坐标；根据求解得到的第二目标轴线段在正交坐标系下的坐标，计算第二目标第一轴线段的普吕克坐标。

可选地，以预测第一轴线段在正交坐标系下的坐标为第二目标函数的初始解，对第二目标函数进行无约束非线性优化，以求解第二目标轴线段在正交坐标系下的坐标包括：确定第二目标函数最小化时的解，作为第二目标轴线段在正交坐标系下的坐标。

确定第二目标轴线段的过程与上述确定第一目标轴线段的过程一致，在此不再赘述。

作为一种可选的实施方式，可以利用第一目标轴线段和/或第二目标轴线段，对人造杆进行重建。

可以理解的是，可以先分别确定出第一目标轴线段和第二目标轴线段，进而利用第一目标轴线段重建人造杆或者利用第二目标轴线段重建人造杆，或者利用最小而乘法，基于第一目标轴线段和第二目标轴线段确定出目标轴线段，进而基于目标轴线段进行人造杆的重建。

图5为本申请实施例提供的的人造杆重建装置一个实施例的结构示意图，如图5所述，该装置包括：确定模块51、筛选模块52、提取模块53、投影模块54和调整模块55。

确定模块51，用于基于激光点云确定人造杆的第一轴线段；

筛选模块52，用于从所述人造杆对应的图像集合中，基于所述第一轴线段，筛选获得多个目标图像，其中，所述图像集合包括采集所述人造杆得到的多个图像；

提取模块53，用于在所述多个目标图像中分别提取出所述人造杆对应的第二轴线段；

投影模块54，用于将所述第一轴线段投影至所述多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像；

调整模块55，用于利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段，所述第一目标轴线段用于重建所述人造杆。

可选地，筛选模块52，具体用于确定所述第一轴线段对应的位置信息；根据所述位置信息确定所述第一轴线段对应的观测距离范围；获取采集位置在所述观测距离范围内的多个目标图像。

可选地，投影模块54，具体用于按照所述多个目标图像各自对应的位姿信息，对所述第一轴线段进行投影；将存在所述第一轴线段对应的投影线段，且投影线段与第二轴线段之间的距离小于预设距离阈值的目标图像确定为有效图像，以得到多个有效图像。

可选地，调整模块55，具体用于在所述多个有效图像满足预设条件的情况下，利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段；利用第一目标轴线段对所述人造杆进行重建。

可选地，调整模块55，进一步具体用于确定所述第一轴线段对应的位置信息；从所述多个有效图像中获取采集位置与所述第一轴线段的位置信息之间距离最小的最近图像；基于所述最近图像的采集位置以及所述第一轴线段的位置信息，确定所述最近图像相对所述第一轴线段的观测距离与观测角度；若所述观测距离小于预设距离或者所述观测角度小于预设角度或者所述多个有效图像的数量小于预设数量，利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段。

可选地，所述第一轴线段用普吕克坐标进行表示；调整模块55，还具体用于将所第一轴线段的普吕克坐标映射到正交坐标系下，以得到所述第一轴线段在正交坐标系下的坐标；构建反映所述第一轴线段和所述第一目标轴线段之间的第一距离与所述投影线段与第二轴线段之间的第二距离的距离之和的第一目标函数；以所述第一轴线段在正交坐标系下的坐标为所述第一目标函数的初始解，对所述第一目标函数进行无约束非线性优化，以求解第一目标轴线段在正交坐标系下的坐标；根据求解得到的所述第一目标轴线段在正交坐标系下的坐标，计算所述第一目标轴线段的普吕克坐标。

可选地，调整模块55，还进一步具体用于确定所述第一目标函数最小化时的解，作为所述第一目标轴线段在正交坐标系下的坐标。

可选地，该装置还包括：

获取模块，用于将至少两个有效图像各自对应的第二轴线段，分别进行反投影，获得至少两个反投影结果相交得到的预测轴线段；将所述预测轴线段分别投影至所述至少两个有效图像中，获得第二投影线段；利用所述至少两个有效图像中的投影线段和第二轴线段对所述预测轴线段进行调整，以得到第二目标轴线段；所述第二目标轴线段用以对所述人造杆进行重建。

可选地，获取模块具体用于根据至少两个有效图像各自对应的位姿信息以及所述至少两个有效图像各自对应的第二轴线段确定出所述至少两个有效图像对应的拟合轴线段，以得到至少一个拟合轴线段；利用最小二乘法，基于所述至少一个拟合轴线段确定出所述多个有效图像对应的预测轴线段；利用所述多个有效图像中的投影线段和第二轴线段对所述预测轴线段进行调整，以得到第二目标轴线段，所述第一目标轴线段用于重建所述人造杆。

可选，该装置还包括：

重建模块，用于利用第一目标轴线段和/或所述第二目标轴线段，对所述人造杆进行重建。

图5所述的人造杆重建装置可以执行图1所示实施例所述的人造杆重建方法，其实现原理和技术效果不再赘述。对于上述实施例中的人造杆重建装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6为本申请实施例提供的车辆的结构示意图，如图6所示，该车辆上配置有车辆设备，车辆设备包括：存储器601以及控制器602。

存储器601，用于存储计算机程序，并可被配置为存储其它各种数据以支持在车辆设备上的操作。这些数据的示例包括用于在车辆设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

其中，存储器601可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random-Access Memory，SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable read only memory ，EEPROM），可擦除可编程只读存储器（Electrical Programmable Read Only Memory ，EPROM），可编程只读存储器（Programmable read-only memory ，PROM），只读存储器（Read-Only Memory，ROM），磁存储器，快闪存储器，磁盘或光盘。

该车辆设备还包括：显示设备603。控制器602，与存储器601耦合，用于执行存储器601中的计算机程序，以用于：

基于激光点云确定人造杆的第一轴线段；

上述图6中的显示设备603包括屏幕，其屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

图6中的音频组件604，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风（MIC），当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

进一步，如图6所示，该车辆设备还包括：通信组件605、电源组件606等其它组件。图6中仅示意性给出部分组件，并不意味着车辆设备只包括图3所示组件。

上述图6中的通信组件605被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G或5G，或它们的组合。在一个示例性实施例中，通信组件可基于近场通信（Near FieldCommunication ，NFC）技术、射频识别（Radio Frequency Identification ，RFID）技术、红外数据协会（Infrared Data Association ，IrDA）技术、超宽带（Ultra Wide Band ，UWB）技术、蓝牙技术和其他技术来实现。

其中，电源组件606，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述图2方法实施例中的各步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种人造杆重建方法，其特征在于，所述方法包括：

基于激光点云确定人造杆的第一轴线段；

2.根据权利要求1所述的方法，其特征在于，所述从所述人造杆对应的图像集合中，基于所述第一轴线段，筛选获得多个目标图像包括：

确定所述第一轴线段对应的位置信息；

根据所述位置信息确定所述第一轴线段对应的观测距离范围；

获取采集位置在所述观测距离范围内的多个目标图像。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一轴线段投影至所述多个目标图像，以获得投影线段与第二轴线段满足匹配要求的多个有效图像包括：

按照所述多个目标图像各自对应的位姿信息，对所述第一轴线段进行投影；

将存在所述第一轴线段对应的投影线段，且投影线段与第二轴线段之间的距离小于预设距离阈值的目标图像确定为有效图像，以得到多个有效图像。

4.根据权利要求1所述的方法，其特征在于，所述利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段包括：

在所述多个有效图像满足预设条件的情况下，利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段；

利用第一目标轴线段对所述人造杆进行重建。

5.根据权利要求4所述的方法，其特征在于，所述在所述多个有效图像满足预设条件的情况下，利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段包括：

确定所述第一轴线段对应的位置信息；

从所述多个有效图像中获取采集位置与所述第一轴线段的位置信息之间距离最小的最近图像；

基于所述最近图像的采集位置以及所述第一轴线段的位置信息，确定所述最近图像相对所述第一轴线段的观测距离与观测角度；

若所述观测距离小于预设距离或者所述观测角度小于预设角度或者所述多个有效图像的数量小于预设数量，利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到第一目标轴线段。

6.根据权利要求1所述的方法，其特征在于，所述第一轴线段用普吕克坐标进行表示；所述利用所述多个有效图像中的投影线段和第二轴线段对所述第一轴线段进行调整，以得到目标轴线段包括：

将所第一轴线段的普吕克坐标映射到正交坐标系下，以得到所述第一轴线段在正交坐标系下的坐标；

构建反映所述第一轴线段和所述第一目标轴线段之间的第一距离与所述投影线段与第二轴线段之间的第二距离的距离之和的第一目标函数；

以所述第一轴线段在正交坐标系下的坐标为所述第一目标函数的初始解，对所述第一目标函数进行无约束非线性优化，以求解第一目标轴线段在正交坐标系下的坐标；

根据求解得到的所述第一目标轴线段在正交坐标系下的坐标，计算所述第一目标轴线段的普吕克坐标。

7.根据权利要求6所述的方法，其特征在于，所述以所述第一轴线段在正交坐标系下的坐标为所述第一目标函数的初始解，对所述第一目标函数进行无约束非线性优化，以求解第一目标轴线段在正交坐标系下的坐标包括：

确定所述第一目标函数最小化时的解，作为所述第一目标轴线段在正交坐标系下的坐标。

8.根据权利要求1所述的方法，其特征在于，还包括：

将至少两个有效图像各自对应的第二轴线段，分别进行反投影，获得至少两个反投影结果相交得到的预测轴线段；

将所述预测轴线段分别投影至所述至少两个有效图像中，获得第二投影线段；

利用所述至少两个有效图像中的投影线段和第二轴线段对所述预测轴线段进行调整，以得到第二目标轴线段，所述第二目标轴线段用以对所述人造杆进行重建。

9.根据权利要求8所述的方法，其特征在于，所述利用所述至少两个有效图像中的投影线段和第二轴线段对所述预测轴线段进行调整，以得到第二目标轴线段包括：

根据至少两个有效图像各自对应的位姿信息以及所述至少两个有效图像各自对应的第二轴线段确定出所述至少两个有效图像对应的拟合轴线段，以得到至少一个拟合轴线段；

利用最小二乘法，基于所述至少一个拟合轴线段确定出所述多个有效图像对应的预测轴线段；

利用所述多个有效图像中的投影线段和第二轴线段对所述预测轴线段进行调整，以得到第二目标轴线段。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

利用第一目标轴线段和/或所述第二目标轴线段，对所述人造杆进行重建。

11.一种人造杆重建装置，其特征在于，所述装置包括：

确定模块，用于基于激光点云确定人造杆的第一轴线段；

12.一种车辆，其特征在于，包括：如权利要求11所述的人造杆重建装置。

13.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被执行时能够实现如权利要求1-10中任一项所述的人造杆重建方法中的步骤。