CN113487746A - 一种车载点云着色中最优关联影像选择方法及系统 - Google Patents

Abstract

本发明涉及一种车载点云着色中最优关联影像选择方法及系统，该方法包括：对各个影像依次进行判断，确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像；确定影像的有效区域，将物方点投影到影像上得到投影点，投影点在有效区域内时确定该影像满足避开盲区的条件；物方点与某影像对应的摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件。选择未被遮挡的影像作为最优关联影像，可解决由于遮挡导致的着色错误问题。

Description

一种车载点云着色中最优关联影像选择方法及系统

技术领域

本发明涉及激光点云数据处理领域，尤其涉及一种车载点云着色中最优关联影像选择方法及系统。

背景技术

激光点云数据和光学影像数据的信息有诸多的互补性，两者进行融合后，可得到同时具有空间信息和语义信息的点云数据，发挥更大的优势。在车载移动测量系统中，通过点云与影像的配准，可以在全景影像中找到与激光点云中每个点P相对应的像点，将像点的颜色属性赋予P点，获得车载彩色点云数据。如图1所示为现有技术中车载真彩色点云生成方法的流程图。由于车载全景影像具有较高的重叠率。一个激光点可在多张全景影像中找到对应像点，确定最优关联影像直接影响彩色点云的质量，是得到车载彩色点云必不可少的一环。

现有技术中确定最优关联影像的方法有：1、根据激光点到路边线的垂线与摄影光束之间的夹角确定最优关联影像，夹角越小，证明物方点在激光扫描仪和全景摄像机中的采集视角越接近，此时激光点距离影像更近，成像精度越高，纹理更真实。2、寻找曝光时间与点云采集时间最接近的全景影像作为最优关联影像。

但是由于激光扫描仪与全景摄像机的采集视角不同，激光扫描仪采集的某一点可能在全景摄像机的采集视角下受到其他地物的遮挡，从而导致着色错误。

发明内容

本发明针对现有技术中存在的技术问题，提供一种车载点云着色中最优关联影像选择方法及系统，选择物方点在影像上的投影在有效区域内，且影像拍摄该物方点的过程中未受到遮挡的影像作为最优关联影像；在着色时会在影像的采集视角下，对待选影像进行遮挡判断，物方点和全景摄影中心构成一条线段，若线段附近存在其它物方点，则认为待选影像拍摄物方点时受到了其它地物的遮挡，并选择未被遮挡的影像作为最优关联影像，可解决由于遮挡导致的着色错误问题。

根据本发明的第一方面，提供了一种车载点云着色中最优关联影像选择方法，包括：

对各个影像依次进行判断，确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像；

确定所述影像的有效区域，将所述物方点投影到所述影像上得到投影点，所述投影点在所述有效区域内时确定该影像满足避开盲区的条件；

确定所述影像对应的摄影中心，所述物方点与所述摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，对各个影像依次进行判断之前还包括：按照所述点云的坐标范围对所述点云进行划分为各个块，依次确定各块点云中的各个物方点的最优关联影像。

可选的，按照所述点云的坐标范围对所述点云进行划分为各个块的过程包括：

将所述点云根据X、Y坐标，划分为边长为d的多个块；点云的坐标范围是(xmin，ymin，zmin)到(xmax，ymax，zmax)时，则第i个块的坐标范围是(xmin+(i－1)＊d，ymin+(i－1)＊d)到(xmin+i＊d，ymin+i＊d)。

可选的，所述有效区域由用户用多边形框选出。

可选的，确定该影像满足不存在遮挡的条件的过程包括：将待着色点所在的点云块划分为三维格网，确定所述连接线段穿过的各个所述网格，计算各个网格中各个物方点到所述连接线段的距离，该距离均大于设定的距离阈值时，确定该物方点在该摄影中心的拍摄视角下未被遮挡。

可选的，将待着色点所在的点云块划分为三维格网，确定所述连接线段穿过的各个所述网格，将待着色点和各个网格中的物方点投影到该影像上，若待着色点和某一物方点投影后的像素距离小于等于设定阈值，则认为该物方点受到了该网格中的物方点的遮挡。

可选的，最优关联影像选择完成后，将物方点在该最优关联影像上的投影点颜色属性赋予该物方点。

根据本发明的第二方面，提供一种车载点云着色中最优关联影像选择系统，包括：避开盲区判断模块、遮挡判断模块和最优关联影像确定模块；

避开盲区判断模块，用于确定所述影像的有效区域，将所述物方点投影到所述影像上得到投影点，所述投影点在所述有效区域内时确定该影像满足避开盲区的条件；

遮挡判断模块，用于确定所述影像对应的摄影中心，所述物方点与所述摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件；

最优关联影像确定模块，用于对各个影像依次进行判断，确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像。

根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现车载点云着色中最优关联影像选择方法的步骤。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现车载点云着色中最优关联影像选择方法的步骤。

本发明提供的一种车载点云着色中最优关联影像选择方法、系统、电子设备及存储介质，根据点云的坐标范围将点云划分为多个块，根据各个物方点的坐标确定其所在的块，将所在块划分为三维格网，再通过判断物方点与影像的摄影中心的连接线段穿过的格网中是否有在该线段附近的其它物方点来进行遮挡判断，若线段附近存在其它物方点，则认为待选影像拍摄物方点时受到了其它地物的遮挡，并选择未被遮挡的影像作为最优关联影像，可解决由于遮挡导致的着色错误问题。

附图说明

图1为现有技术中车载真彩色点云生成方法的流程图；

图2为本发明实施例提供的一种车载点云着色中最优关联影像选择方法的流程图；

图3为本发明提供的一种遮挡情况示意图；

图4为本发明实施例提供的一种车载点云着色中最优关联影像选择方法的结构框图；

图5为本发明提供的一种可能的电子设备的硬件结构示意图；

图6为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明提供的一种车载点云着色中最优关联影像选择方法，包括：

对各个影像依次进行判断，确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像。

即最优关联影像应该满足以下条件：

(1)物方点在最优关联影像上的投影点在影像的有效区域内，避开全景影像的拍摄盲区。

(2)待着色点和全景摄影中心之间不存在遮挡。

确定满足避开盲区的条件的影像的方法为：确定影像的有效区域，将物方点投影到影像上得到投影点，投影点在有效区域内时确定该影像满足避开盲区的条件。

确定满足不存在遮挡的条件的影像的方法为：确定影像对应的摄影中心，物方点与摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件。

选择物方点在影像上的投影在有效区域内，且影像拍摄该物方点的过程中未受到遮挡的影像作为最优关联影像；在着色时对影像进行遮挡判断，物方点和影像对应的摄影中心构成一条线段，若线段附近存在其它物方点，则认为待选影像拍摄物方点时受到了其它地物的遮挡，并选择未被遮挡的影像作为最优关联影像，可解决由于遮挡导致的着色错误问题。

实施例1

本发明提供的实施例1为本发明提供的一种车载点云着色中最优关联影像选择方法的实施例，如图2所示为本发明实施例提供的一种车载点云着色中最优关联影像选择方法的流程图，结合图2可知，该最优关联影像选择方法的实施例包括：

步骤1，确定全景影像的多边形有效区域。

具体的，有效区域由用户用多边形框选出。

由于同组数据中所有影像的有效区域相同，用户只需框选一次。

步骤2，按照点云的坐标范围将点云划分为N个块，令i＝0，j＝0，i表示点云块的序号数，j表示物方点的序号数。

具体的，按照点云的坐标范围将点云划分为N个块的过程包括：

假设点云的坐标范围是(xmin，ymin，zmin)到(xmax，ymax，zmax)，则第i个块的坐标范围是(xmin+(i－1)＊d，ymin+(i－1)＊d)到(xmin+i＊d，ymin+i＊d)。

步骤3，依次确定各块点云中的各个物方点的最优关联影像。确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像。

具体的，步骤3包括：

步骤301，取出第i块点云，该块点云中的物方点总数为M，判断i＜N是否成立，是则执行步骤302，否则结束整个流程。

步骤302，取出第i块点云中第j个物方点P。

步骤303，找到影像X中离P点最近的摄影中心S，将P点投影到影像X上。X表示待确定影像的ID。

步骤304，判断投影点是否在多边形有效区域内，是则执行步骤305，否则，执行步骤306。

确定满足避开盲区的条件的影像的方法为：将物方点投影到影像上得到投影点，投影点在有效区域内时确定该影像满足避开盲区的条件。

步骤305，判断P点和摄影中心S之间是否存在遮挡，是则执行步骤306，否则，执行步骤307。

优选的，确定满足不存在遮挡的条件的影像的方法为：确定影像对应的摄影中心，物方点与摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件。

优选的，本发明提供的一个实施例中确定该影像满足不存在遮挡的条件的过程包括：将待着色点云所在块划分为三维格网，确定连接线段穿过的各个网格，计算各个网格中各个物方点到连接线段的距离，该距离均大于设定的距离阈值时，确定该物方点在该摄影中心的拍摄视角下未被遮挡。

如图3所示为本发明提供的一种遮挡情况示意图，结合图3可知，假设点云中某点P与摄影中心S构成的线段穿过c个格网，依次判断这些格网内的点是否遮挡了光线PS。如图3所示，假设c个格网内的点分别为P1，P2，P3，P4，依次计算P1，P2，P3，P4到直线PS的距离，若其中有某个点到直线的距离小于距离阈值，则认为P点在摄影中心S的拍摄视角下被遮挡。

本发明提供的另一个实施例中，确定连接线段穿过的各个网格，将待着色点和各个网格中的物方点投影到该影像上，若存在某个物方点的投影点和待着色点的投影点的像素距离小于等于设定阈值，则认为该物方点受到了该网格中的物方点的遮挡。

步骤306，寻找下一张影像，并令X的值等于下一张影像的ID，执行步骤303。

步骤307，将投影点的RGB值赋予P点，j＝j+1后，判断j＜M是否成立，是则执行步骤302，否则令i＝i+1，j＝0后执行步骤301。

优选的，遍历点云，为每个待着色物方点选择一张最优关联影像，将物方点在最优关联影像上的投影点颜色属性赋予物方点，即可完成着色。

实施例2

本发明提供的实施例2为本发明提供的一种系统的实施例，如图4所示为本发明实施例提供的一种车载点云着色中最优关联影像选择系统结构图，如图4所示，一种车载点云着色中最优关联影像选择系统，包括：避开盲区判断模块、遮挡判断模块和最优关联影像确定模块；

避开盲区判断模块，用于确定影像的有效区域，将物方点投影到影像上得到投影点，投影点在有效区域内时确定该影像满足避开盲区的条件；

遮挡判断模块，用于确定影像对应的摄影中心，物方点与摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件；

最优关联影像确定模块，用于对各个影像依次进行判断，确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像。

可以理解的是，本发明提供的一种车载点云着色中最优关联影像选择系统与前述各实施例提供的车载点云着色中最优关联影像选择方法相对应，车载点云着色中最优关联影像选择系统的相关技术特征可参考车载点云着色中最优关联影像选择方法的相关技术特征，在此不再赘述。

请参阅图5，图5为本发明实施例提供的电子设备的实施例示意图。如图5所示，本发明实施例提了一种电子设备，包括存储器1310、处理器1320及存储在存储器1320上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：

对各个影像依次进行判断，确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像；

确定影像的有效区域，将物方点投影到影像上得到投影点，投影点在有效区域内时确定该影像满足避开盲区的条件；

确定影像对应的摄影中心，物方点与摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件。

请参阅图6，图6为本发明提供的一种计算机可读存储介质的实施例示意图。如图6所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：

对各个影像依次进行判断，确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像；

确定影像的有效区域，将物方点投影到影像上得到投影点，投影点在有效区域内时确定该影像满足避开盲区的条件；

确定影像对应的摄影中心，物方点与摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件。

本发明实施例提供的一种车载点云着色中最优关联影像选择方法、系统及存储介质，根据点云的坐标范围将点云划分多个块，将待着色点所在的块划分为三维格网，确定连接线段穿过的各个网格，计算各个网格中各个物方点到连接线段的距离，该距离均大于设定的距离阈值时，确定该物方点在该摄影中心的拍摄视角下未被遮挡。选择未被遮挡的影像作为最优关联影像，可解决由于遮挡导致的着色错误问题。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD－ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种车载点云着色中最优关联影像选择方法，其特征在于，所述最优关联影像选择方法包括：

对各个影像依次进行判断，确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像；

确定所述影像的有效区域，将所述物方点投影到所述影像上得到投影点，所述投影点在所述有效区域内时确定该影像满足避开盲区的条件；

确定所述影像对应的摄影中心，所述物方点与所述摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件。

2.根据权利要求1所述的最优关联影像选择方法，其特征在于，对各个影像依次进行判断之前还包括：按照所述点云的坐标范围将所述点云划分为多个块，依次确定各块点云中的各个物方点的最优关联影像。

3.根据权利要求2所述的最优关联影像选择方法，其特征在于，按照所述点云的坐标范围将所述点云进行划分为各个块的过程包括：

将所述点云根据X、Y坐标，划分为边长为d的多个块；点云的坐标范围是(xmin，ymin，zmin)到(xmax，ymax，zmax)时，则第i个块的坐标范围是(xmin+(i－1)＊d，ymin+(i－1)＊d)到(xmin+i＊d，ymin+i＊d)。

4.根据权利要求1所述的最优关联影像选择方法，其特征在于，所述有效区域由用户用多边形框选出。

5.根据权利要求3所述的最优关联影像选择方法，其特征在于，确定该影像满足不存在遮挡的条件的过程包括：将待着色点所在的块划分为三维格网，确定所述连接线段穿过的各个所述格网，计算各个格网中各个物方点到所述连接线段的距离，该距离均大于设定的距离阈值时，确定该物方点在该摄影中心的拍摄视角下未被遮挡。

6.根据权利要求1所述的最优关联影像选择方法，其特征在于，将待着色点所在的块划分为三维格网，确定所述连接线段穿过的各个所述格网，将物方点和各个格网中的物方点投影到该影像上，若待着色的物方点和某一网格中的某一物方点的像素距离小于设定阈值，则认为该物方点在影像的拍摄视角下受到了遮挡。

7.根据权利要求1所述的最优关联影像选择方法，其特征在于，最优关联影像选择完成后，将物方点在该最优关联影像上的投影点颜色属性赋予该物方点。

8.一种车载点云着色中最优关联影像选择系统，其特征在于，所述最优关联影像选择系统包括：避开盲区判断模块、遮挡判断模块和最优关联影像确定模块；

避开盲区判断模块，用于确定所述影像的有效区域，将所述物方点投影到所述影像上得到投影点，所述投影点在所述有效区域内时确定该影像满足避开盲区的条件；

遮挡判断模块，用于确定所述影像对应的摄影中心，所述物方点与所述摄影中心的连接线段的附近设定距离范围内不存在其它物方点时确定该影像满足不存在遮挡的条件；

最优关联影像确定模块，用于对各个影像依次进行判断，确定点云中任一待着色物方点的最优关联影像为满足避开盲区和不存在遮挡的条件的影像。

9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的车载点云着色中最优关联影像选择方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的车载点云着色中最优关联影像选择方法的步骤。

Images