CN114898094B - 点云上采样方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种点云上采样方法、装置、计算机设备和存储介质。所述方法包括：获取同一场景的二维全景图像和点云数据，二维全景图像中的物体在垂直空间上无相互遮挡，对二维全景图像进行语义分割，得到场景的二维语义分割图，获取二维语义分割图和点云数据之间的坐标系转换关系，并根据坐标系转换关系和二维语义分割图，得到点云数据的语义分割图，基于点云数据的语义分割图，提取点云数据的语义特征，语义特征包括点云数据中每个点的点语义特征，根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。采用本方法能够很大程度上提升上采样的精度。

Description

点云上采样方法、装置、计算机设备和存储介质

技术领域

本申请涉及点云数据处理技术领域，特别是涉及一种点云上采样方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

点云是一类由激光雷达等设备获取的三维空间点的数据集合，作为3D(ThreeDimensions，三维)数据的一种紧凑表示形式，点云由于其几乎可以反映三维空间场景的全局信息的特性，在无人驾驶中有着广泛的应用。然而，利用激光雷达扫描产生的原始点云数据通常往往是稀疏而且不均匀的，当物体距离激光雷达较远时，此时采集的点云数据十分稀疏以致无法正常使用。在这种情况下，往往需要使用点云上采样技术对点云数据进行预处理。

点云上采样技术是指将稀疏、不均匀无法正常使用的点云数据转化成为分布均匀稠密可以被用于点云识别的数据的过程。一般来说，点云上采样方法不仅期望从稀疏输入推断和生成稠密点，而且要求上采样后的点云模型均匀、干净、同时符合原有的点云语义特征。然而，现有的点云上采样方案，通过上采样新生成的点往往存在精度不高的情况，难以达到预期效果。例如，对手的点云数据进行上采样时，容易出现在两根手指的空隙中生成一些多余的点，显然，这会导致上采样的精度不够高的问题。

由此可见，目前的点云上采样方案存在精度不高的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种精度更高的点云上采样方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种点云上采样方法。所述方法包括：

获取同一场景的二维全景图像和点云数据，二维全景图像中的物体在垂直空间上无相互遮挡；

对二维全景图像进行语义分割，得到场景的二维语义分割图；

获取二维语义分割图和点云数据之间的坐标系转换关系，并根据坐标系转换关系和二维语义分割图，得到点云数据的语义分割图；

基于点云数据的语义分割图，提取点云数据的语义特征，语义特征包括点云数据中每个点的点语义特征；

根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。

在其中一个实施例中，根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点包括：

获取点语义特征的特征向量；

根据预设的特征扩展规则，依次对点语义特征的特征向量中预设维数的特征值进行扩展调整，得到多个扩展调整后的点语义特征的特征向量；

对多个扩展后的点语义特征进行降维处理，生成点云数据中每个点对应的扩展点。

在其中一个实施例中，语义特征包括点邻域语义特征、局部语义特征和全局语义特征，点邻域语义特征为点的邻域内的所有点生成的语义特征，局部语义特征为局部块内的点生成的语义特征，全局语义为所有点生成的语义特征；

生成点云数据中每个点对应的扩展点，得到稠密点云之后，还包括：

根据点邻域语义特征、局部语义特征和全局语义特征对扩展点进行偏移修正，得到扩展点的偏移量；

根据偏移量对扩展点的坐标进行修正，更新稠密点云。

在其中一个实施例中，根据点邻域语义特征、局部语义特征和全局语义特征对扩展点进行偏移修正，得到扩展点的偏移量包括：

获取扩展点的点语义特征的特征向量；

将扩展点的点语义特征的特征向量分别与点邻域语义特征的特征向量、局部语义特征的特征向量和全局语义特征的特征向量进行差运算，得到对应的偏移向量；

对偏移向量进行加权求和，得到扩展点的目标偏移向量；

对扩展点的目标偏移向量进行降维处理，得到扩展点的偏移量。

在其中一个实施例中，基于点云数据的语义分割图，提取点云数据的语义特征之前，还包括：

剔除点云数据的离群点和噪声点，以更新点云数据。

在其中一个实施例中，剔除点云数据的离群点包括：

获取点云数据中各点与局部语义块的距离；

若当前点与局部语义块的距离均大于预设距离阈值，则将当前点确定为离群点、并剔除；

若当前点与局部语义块的距离小于或等于预设距离阈值，则将当前点划分至相距最近的局部语义块。

第二方面，本申请还提供了一种点云上采样装置。所述装置包括：

数据获取模块，用于获取场景的二维全景图像和点云数据，二维全景图像中的物体在垂直空间上无相互遮挡；

语义分割模块，用于对二维全景图像进行语义分割，得到场景的二维语义分割图；

三维语义分割图获取模块，用于获取二维语义分割图和点云数据之间的坐标系转换关系，根据坐标系转换关系和二维语义分割图，得到点云数据的语义分割图；

语义特征提取模块，用于基于点云数据的语义分割图，提取点云数据的语义特征，语义特征包括点云数据中每个点的点语义特征；

点云上采样模块，用于根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取同一场景的二维全景图像和点云数据，二维全景图像中的物体在垂直空间上无相互遮挡；

对二维全景图像进行语义分割，得到场景的二维语义分割图；

获取二维语义分割图和点云数据之间的坐标系转换关系，并根据坐标系转换关系和二维语义分割图，得到点云数据的语义分割图；

基于点云数据的语义分割图，提取点云数据的语义特征，语义特征包括点云数据中每个点的点语义特征；

根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取同一场景的二维全景图像和点云数据，二维全景图像中的物体在垂直空间上无相互遮挡；

对二维全景图像进行语义分割，得到场景的二维语义分割图；

获取二维语义分割图和点云数据之间的坐标系转换关系，并根据坐标系转换关系和二维语义分割图，得到点云数据的语义分割图；

基于点云数据的语义分割图，提取点云数据的语义特征，语义特征包括点云数据中每个点的点语义特征；

根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取同一场景的二维全景图像和点云数据，二维全景图像中的物体在垂直空间上无相互遮挡；

对二维全景图像进行语义分割，得到场景的二维语义分割图；

获取二维语义分割图和点云数据之间的坐标系转换关系，并根据坐标系转换关系和二维语义分割图，得到点云数据的语义分割图；

基于点云数据的语义分割图，提取点云数据的语义特征，语义特征包括点云数据中每个点的点语义特征；

根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。

上述点云上采样方法、装置、计算机设备、存储介质和计算机程序产品，由于二维全景图像中的物体在垂直空间上无相互遮挡，因此，在获取场景的二维全景图像，对二维全景图像进行语义分割，得到场景的二维语义分割图后，只需将场景的二维语义分割图扩展为三维的语义分割图，便可得到粗略的点云数据的语义分割图，然后，提取点云数据的语义特征，包括点语义特征，根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。整个过程，基于场景的二维语义分割图，得到粗略的点云数据的语义分割图，使得在点云上采样中引入了场景的语义信息，能够避免由于缺乏场景的语义信息，使得新生成的点的精度难以满足实际需求的情况，很大程度上提升了上采样的精度。

附图说明

图1为一个实施例中点云上采样方法的流程示意图；

图2为另一个实施例中点云上采样方法的流程示意图；

图3为一个实施例中点云上采样装置的结构框图；

图4为另一个实施例中点云上采样装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种点云上采样方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤202，获取同一场景的二维全景图像和点云数据，二维全景图像中的物体在垂直空间上无相互遮挡。

点云数据是指在一个三维坐标系统中的一组向量的集合。本实施例中，点云数据可以是由激光雷达针对该场景采集得到的点云数据。二维全景图像中的物体在垂直空间上无相互遮挡。场景可以是城市道路，农村环境甚至是野外环境，该场景大部分物体立于地面上，在垂直空间上不存在相互遮挡，利用无人机搭载的相机得到场景的二维全景图像，该二维全景图像中的物体在垂直空间上无相互遮挡。

步骤204，对二维全景图像进行语义分割，得到场景的二维语义分割图。

得到场景的二维全景图像后，可以是将二维全景图像输入已经训练完成的图像识别卷积神经网络进行语义分割，该神经网络给出场景的二维语义分割图，以及图像的不同语义部分，并给出语义部分对应的方框以及对应的语义信息。可以理解的是，在另一个实施例中，也可以是采用语义分割方法对二维全景图像进行语义分割，得到场景的二维语义分割图。

步骤206，获取二维语义分割图和点云数据之间的坐标系转换关系，并根据坐标系转换关系和二维语义分割图，得到点云数据的语义分割图。

二维语义分割图和点云数据之间的坐标系转换关系即指二维语义分割图的二维坐标系与点云数据的三维坐标系的转换关系。本实施例中，可以是在二维语义分割图上建立二维坐标系，选取二维语义分割图的左上角为原点，保证所有的像素点均分布在第一象限，然后，记录每个语义方框(语义块以方框形式呈现)的X坐标以及Y坐标。然后，在该原点处再次建立三维坐标XYZ，并对场景的点云数据进行坐标系转换，可以是将点云数据从激光坐标系转换到像素坐标系，此时，重新设置点云数据的坐标原点，使得其x值和y值为场景全景图像的原点的x值和y值，设置原点的Z坐标为点云数据的Z坐标最小值，使得所有点云数据均满足x>0，y>0，z>0且点云数据和全景图像的x值和y值坐标一一对应，并将整个点云场景进行坐标系变换。由于前述已经得到了全景图像在二维空间XY的语义分割图，此时只需要再扩展一个维度即Z轴方向的维度，即可获得点云数据的语义分割图。例如，若图像中一个二维语义块的左下角坐标为(x₀,y₀)，右下角坐标为(x₁,y₁)，则此图像的二维语义块对应到点云场景中的三维语义框为(x₀,y₀,0)到(x₁,y₁,+∞)。通过这种方式将二维语义分割结果扩展到三维点云空间，得到点云数据的三维语义分割图。可以理解的是，此时得到的是点云数据粗略的三维语义分割图，其可以较为准确的表示点云数据的语义分割信息。在另一个实施例中，还可以是将二维全景图像的二维坐标系和点云数据的三维坐标系均转换至世界坐标系，然后得到二维语义分割图和点云数据之间的坐标系转换关系，同样的，根据坐标系转换关系和二维语义分割图，得到点云数据的三维语义分割图。

步骤208，基于点云数据的语义分割图，提取点云数据的语义特征，语义特征包括点云数据中每个点的点语义特征。

在得到点云数据的三维语义分割图之后，可以是采用pointnet++特征提取点云数据的语义特征，包括点语义特征、点邻域语义特征，局部块语义特征以及全局语义特征。其中，点语义特征为每个点的语义特征，点邻域语义特征为点的邻域内的所有点生成的语义特征，局部语义特征为局部块内的所有点生成的语义特征，全局语义为所有点生成的语义特征。本实施例中，语义特征均采用1024维向量进行表示。例如，若原始点(x₀,y₀,z₀)，则其对应的高维特征向量为(a₁,a₂,a₃,……a₁₀₂₄)。

步骤210，根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。

预设的特征扩展规则可以是分别对点语义特征的特征向量的固定几个维数的特征值进行简单调整，以扩展生成不同的点。在提取出点云数据的语义特征后，可以是根据点语义特征和预设的特征扩展规则，对点云数据中每个点进行扩展，生成点云数据中每个点对应的扩展点，得到稠密点云。即给定N个点和采样率r，针对每一个点拓展出(r-1)个扩展点，最终是生成rN个稠密点，得到稠密点云。

上述点云上采样方法中，由于二维全景图像中的物体在垂直空间上无相互遮挡，因此，获取场景的二维全景图像，对二维全景图像进行语义分割，得到场景的二维语义分割图后，只需将场景的二维语义分割图扩展为三维的语义分割图，便可得到粗略的点云数据的语义分割图，然后，提取点云数据的语义特征，包括点语义特征，根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。整个过程，基于场景的俯视图的语义分割图，得到粗略的点云数据的语义分割图，使得在点云上采样中引入了场景的语义信息，能够避免在上采样过程中由于缺乏场景的语义信息，使得新生成的点难以满足实际需求的情况，很大程度上提升上采样的精度和效率。

在其中一个实施例中，根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点包括：获取点语义特征的特征向量，根据预设的特征扩展规则，依次对点语义特征的特征向量中预设维数的特征值进行扩展调整，得到多个扩展调整后的点语义特征的特征向量，对多个扩展后的点语义特征进行降维处理，生成点云数据中每个点对应的扩展点。

具体实施时，对点云数据进行特征扩展可以是依次对点语义特征的特征向量中预设维数的特征值进行扩展调整，得到多个扩展调整后的点语义特征的特征向量，得到多个扩展调整后的点语义特征的特征向量。例如，由点的语义特征的特征向量(b₁,b₂,b3,……b₁₀₂₄)扩展生成三个点，则根据扩展规则可以生成(b₁,b₂,b₃,……b₁₀₂₄+1)，(b₁,b₂,b₃,……b₁₀₂₃+1,b₁₀₂₄)，(b₁,b₂,b₃,……b₁₀₂₃+1,b₁₀₂₄+1)。若是由点的语义特征的特征向量(b₁,b₂,b₃,……b₁₀₂₄)扩展生成五个点，根据扩展规则可以生成(b₁,b₂,b₃,……b₁₀₂₄+1)，(b₁,b₂,b₃,……b₁₀₂₃+1,b₁₀₂₄)，(b₁,b₂,b₃,……b₁₀₂₂+1,b₁₀₂₃,b₁₀₂₄)，(b₁,b₂,b₃,……b₁₀₂₃+1,b₁₀₂₄+1)，(b₁,b₂,b₃,……b₁₀₂₂+1,b₁₀₂₃+1,b₁₀₂₄+1)，以此方式类推，生成各点的扩展点的点语义特征的特征向量，然后，将扩展点的点语义特征的特征向量输入至全连接层神经网进行降维处理，得到若干个扩展点，得到稠密点云。本实施例中，通过对点语义特征的特征向量进行小幅度的扩展修改，能够使得生成的扩展点更趋于实际情况。

如图2所示，在其中一个实施例中，生成点云数据中每个点对应的扩展点，得到稠密点云之后，还包括：

步骤212，根据点邻域语义特征、局部语义特征和全局语义特征对扩展点进行偏移修正，得到扩展点的偏移量，根据偏移量对扩展点的坐标进行修正，更新稠密点云。

在实际应用中，由于根据特征扩展规则生成的扩展点可能会存在误差，使得稠密点云并非是均匀分布的。因此，需要对每个点复制出的r-1个扩展点进行偏移修正。本实施例中，可以是根据点邻域语义特征、局部语义特征和全局语义特征对扩展点进行偏移修正，得到扩展点的偏移量，然后，将偏移量与扩展点的原始坐标相加，以修正扩展点的坐标，进而更新稠密点云。本实施例中，通过对扩展点进行偏移修正，能够使得上采样后得到的是稠密均匀的点云数据。

在其中一个实施例中，根据点邻域语义特征、局部语义特征和全局语义特征对扩展点进行偏移修正，得到扩展点的偏移量包括：获取扩展点的点语义特征的特征向量，将扩展点的点语义特征的特征向量分别与点邻域语义特征的特征向量、局部语义特征的特征向量和全局语义特征的特征向量进行差运算，得到对应的偏移向量，对偏移向量进行加权求和，得到扩展点的目标偏移向量，对扩展点的目标偏移向量进行降维处理，得到扩展点的偏移量。

具体实施时，对每个点复制出的r-1个扩展点进行偏移修正，得到扩展点的偏移量可以是：将扩展点的点语义特征的特征向量分别与点邻域语义特征的特征向量、局部语义特征的特征向量和全局语义特征的特征向量进行差运算，一共比较三次，对应生成三个统一维度的偏移向量，然后，再分别将三个偏移向量输入至若干全连接层神经网络，对应生成三个偏移量，采用加权求和方式计算三个偏移量，得到扩展点的最终偏移量，并最终生成扩展点云，以获得均匀密集的点云数据。本实施例中，对于点邻域语义特征的偏移量、局部语义特征的偏移量和全局语义特征的偏移量，可以分别按照0.2、0.3和0.5的权重进行加权求和，得到最终的偏移量。本实施例中，通过对扩展点从三个维度进行偏移修正，能够确保得到的偏移量的准确性。

如图2所示，步骤208之前，还包括：步骤207，剔除点云数据的离群点和噪声点，以更新点云数据。

在实际应用中，由于点云数据中会包含一些离群点和噪声点，为了影响上采样的精度和效率，可剔除点云数据中的离群点和噪声点。由于点云数据的数据量十分庞大，对整个场景空间进行滤波计算量十分复杂，本实施例中，可以将点云场景进行划分，减少数据规模，以增加点云去噪效率和精度。具体实施时，采取两个阶段进行点云去噪。首先是剔除离群点，然后对剔除离群点后的点云进行滤波，剔除其噪声点。具体的，离群点的剔除可以是根据点云与局部语义块的距离与预设距离阈值的大小关系识别出离群点，再剔除该离群点。然后，可以根据二维语义分割图将三维场景划分为若干局部语义场景，并剔除所有离群点。剔除离群点后，将这若干局部语义场景的点云数据分别进行过滤。本实施例中，可以是设计一个基于KD(k-Dimension Tree，k维树)树点云滤波模块，在局部块中建立KD树，建立点云的拓扑关系图，在此关系图上查找所有点云的邻域，并计算该每个点与邻域内各点的欧式距离，然后，计算该点与邻域内各点的距离平均值，若该点的距离平均值大于预设的距离平均阈值，则该点视为噪声点进行剔除。可以理解的是，在其他实施例中，还可以采用其他方式剔除离群点和噪声点。本实施例中，通过在提取点云数据的语义特征之前，剔除离群点和噪声点，能够进一步的保证生成稠密且均匀的点云数据，提高上采样的效率和质量。

在其中一个实施例中，剔除点云数据的离群点包括：获取点云数据中各点与局部语义块的距离，若当前点与局部语义块的距离均大于预设距离阈值，则将当前点确定为离群点、并剔除，若当前点与局部语义块的距离小于或等于预设距离阈值，则将当前点划分至相距最近的局部语义块。

本实施例中，剔除点云数据的离群点的具体过程可以是：结合全景图像分割出的场景点云在三维坐标系下的局部语义块，给定一个距离阈值S。然后，对于一个点云数据p，以及若干局部语义块，若点云数据p与全部的局部语义块的距离均大于预设的距离阈值S，则将其视为离群点进行过滤，否则点云数据p不为离群点，则可将点云数据p对应划分至其所属的局部语义块。点云数据p若直接属于某一个局部语义块，则将其直接划分至该局部语义框，若其不直接隶属于某个局部语义块，则根据其与其他局部语义块的距离进行划分，即若其与至少一个局部语义框的距离小于给定的距离阈值S，将该点云数据划分至与其距离最近的局部语义块。本实施例中，通过根据点云数据与局部语义块的距离将当前点划分至所属的局部语义块，能够便于后续噪声点的准确剔除。

为了对本申请提供的点云上采样方法进行更为清楚的说明，下面结合一个具体实施例进行说明，该实施例可以是：

获取同一场景的二维全景图像和点云数据，该二维全景图像中的物体在垂直空间上无相互遮挡。然后，将二维全景图像输入已经训练完成的图像识别卷积神经网络进行语义分割，该神经网络给出场景的二维语义分割图，以及图像的不同语义部分，并给出语义部分对应的方框以及对应的语义信息。在二维语义分割图上建立二维坐标系，选取二维语义分割图的左上角为原点，保证所有的像素点均分布在第一象限，然后，记录每个语义块的X坐标以及Y坐标。然后，在该原点处再次建立三维坐标XYZ，并对场景的点云数据进行坐标系转换，可以是将点云数据从激光坐标系转换到像素坐标系，此时，重新设置点云数据的坐标原点，使得其x值和y值为场景全景图像的原点的x值和y值，设置原点的Z坐标为点云数据的Z坐标最小值，使得所有点云数据均满足x>0，y>0，z>0且点云数据和全景图像的x值和y值坐标一一对应，并将整个点云场景进行坐标系变换，得到二维语义分割图和点云数据之间的坐标系转换关系，根据坐标系转换关系和二维语义分割图，得到点云数据的三维语义分割图。

在得到点云数据的三维语义分割图之后，可以是剔除点云数据中的离群点和噪声点，更新点云数据，再采用pointnet++特征提取更新后的点云数据的语义特征，包括点语义特征、点邻域语义特征，局部块语义特征以及全局语义特征。获取点语义特征的特征向量，根据预设的特征扩展规则，依次对点语义特征的特征向量中预设维数的特征值进行扩展调整，得到多个扩展调整后的点语义特征的特征向量。例如，要根据点语义特征的特征向量(b₁,b₂,b₃,……b₁₀₂₄)扩展生成三个点，则根据扩展规则可以生成(b₁,b₂,b₃,……b₁₀₂₄+1)，(b₁,b₂,b₃,……b₁₀₂₃+1,b₁₀₂₄)，(b₁,b₂,b₃,……b₁₀₂₃+1,b₁₀₂₄+1)三个扩展点的特征向量，然后，将扩展点的点语义特征的特征向量输入至全连接层神经网进行降维处理，得到若干个扩展点，得到稠密点云。将扩展点的点语义特征的特征向量分别与点邻域语义特征的特征向量、局部语义特征的特征向量和全局语义特征的特征向量进行差运算，一共比较三次，对应生成三个统一维度的偏移向量，然后，再分别将三个偏移向量输入至若干全连接层神经网络，对应生成三个偏移量，采用加权求和方式计算三个偏移量，得到扩展点的最终偏移量，并最终生成扩展点云，以获得均匀密集的点云数据。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的点云上采样方法的点云上采样装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个点云上采样装置实施例中的具体限定可以参见上文中对于点云上采样方法的限定，在此不再赘述。

在一个实施例中，如图3所示，提供了一种点云上采样装置，包括：数据获取模块310、语义分割模块320、三维语义分割图获取模块330、语义特征提取模块340和点云上采样模块350，其中：

数据获取模块310，用于获取场景的二维全景图像和点云数据，二维全景图像中的物体在垂直空间上无相互遮挡。

语义分割模块320，用于对二维全景图像进行语义分割，得到场景的二维语义分割图。

三维语义分割图获取模块330，用于获取二维语义分割图和点云数据之间的坐标系转换关系，根据坐标系转换关系和二维语义分割图，得到点云数据的语义分割图。

语义特征提取模块340，用于基于点云数据的语义分割图，提取点云数据的语义特征，语义特征包括点云数据中每个点的点语义特征。

点云上采样模块350，用于根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点，得到稠密点云。

上述点云上采样装置中，由于二维全景图像中的物体在垂直空间上无相互遮挡，因此，获取场景的二维全景图像，对二维全景图像进行语义分割，得到场景的二维语义分割图后，只需将场景的二维语义分割图扩展为三维的语义分割图，便可得到粗略的点云数据的语义分割图，然后，提取点云数据的语义特征，包括点语义特征，根据点语义特征和预设的特征扩展规则，生成点云数据中每个点对应的扩展点。整个过程，基于场景的俯视图的语义分割图，得到粗略的点云数据的语义分割图，使得在点云上采样中引入了场景的语义信息，能够避免在上采样过程中由于缺乏场景的语义信息，使得新生成的点难以满足实际需求的情况，很大程度上提升上采样的精度和效率。

在其中一个实施例中，点云上采样模块350还用于获取所述点语义特征的特征向量，根据预设的特征扩展规则，依次对所述点语义特征的特征向量中预设维数的特征值进行扩展调整，得到多个扩展调整后的点语义特征的特征向量，对所述多个扩展后的点语义特征进行降维处理，生成所述点云数据中每个点对应的扩展点。

如图4所示，在其中一个实施例中，装置还包括扩展点修正模块360，用于根据点邻域语义特征、局部语义特征和全局语义特征对扩展点进行偏移修正，得到扩展点的偏移量，根据偏移量对扩展点的坐标进行修正，更新稠密点云。

在其中一个实施例中，扩展点修正模块360还用于获取扩展点的点语义特征的特征向量，将扩展点的点语义特征的特征向量分别与点邻域语义特征的特征向量、局部语义特征的特征向量和全局语义特征的特征向量进行差运算，得到对应的偏移向量，对偏移向量进行加权求和，得到扩展点的目标偏移向量，对扩展点的目标偏移向量进行降维处理，得到扩展点的偏移量。

在其中一个实施例中，装置还包括去噪模块335，用于剔除点云数据的离群点和噪声点，以更新点云数据。

在其中一个实施例中，去噪模块335还用于获取点云数据中各点与局部语义块的距离，若当前点与局部语义块的距离均大于预设距离阈值，则将当前点确定为离群点、并剔除，若当前点与局部语义块的距离小于或等于预设距离阈值，则将当前点划分至相距最近的局部语义块。

上述点云上采样装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种点云上采样方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述点云上采样方法中的步骤。

在其中一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述点云上采样方法中的步骤。

在其中一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述点云上采样方法中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种点云上采样方法，其特征在于，所述方法包括：

获取同一场景的二维全景图像和点云数据，所述二维全景图像中的物体在垂直空间上无相互遮挡；

对所述二维全景图像进行语义分割，得到场景的二维语义分割图；

获取所述二维语义分割图和所述点云数据之间的坐标系转换关系，并根据所述坐标系转换关系和所述二维语义分割图，得到所述点云数据的语义分割图；

基于所述点云数据的语义分割图，提取所述点云数据的语义特征，所述语义特征包括所述点云数据中每个点的点语义特征、点邻域语义特征、局部语义特征和全局语义特征，所述点邻域语义特征为点的邻域内的所有点生成的语义特征，所述局部语义特征为局部块内的点生成的语义特征，所述全局语义为所有点生成的语义特征；

获取所述点语义特征的特征向量，根据预设的特征扩展规则，依次对所述点语义特征的特征向量中预设维数的特征值进行扩展调整，得到多个扩展调整后的点语义特征的特征向量，对所述多个扩展调整后的点语义特征的特征向量进行降维处理，生成所述点云数据中每个点对应的扩展点，得到稠密点云；

获取所述扩展点的点语义特征的特征向量，将所述扩展点的点语义特征的特征向量分别与所述点邻域语义特征的特征向量、所述局部语义特征的特征向量和所述全局语义特征的特征向量进行差运算，得到对应的偏移向量，对所述偏移向量进行加权求和，得到所述扩展点的目标偏移向量，对所述扩展点的目标偏移向量进行降维处理，得到所述扩展点的偏移量，根据所述偏移量对所述扩展点的坐标进行修正，更新所述稠密点云。

2.根据权利要求1所述的点云上采样方法，其特征在于，所述基于所述点云数据的语义分割图，提取所述点云数据的语义特征之前，还包括：

剔除所述点云数据的离群点和噪声点，以更新所述点云数据。

3.根据权利要求2所述的点云上采样方法，其特征在于，剔除所述点云数据的离群点包括：

获取所述点云数据中各点与局部语义块的距离；

若当前点与局部语义块的距离均大于预设距离阈值，则将当前点确定为离群点、并剔除；

若当前点与局部语义块的距离小于或等于预设距离阈值，则将当前点划分至相距最近的局部语义块。

4.一种点云上采样装置，其特征在于，所述装置包括：

数据获取模块，用于获取场景的二维全景图像和点云数据，所述二维全景图像中的物体在垂直空间上无相互遮挡；

语义分割模块，用于对所述二维全景图像进行语义分割，得到所述场景的二维语义分割图；

三维语义分割图获取模块，用于获取所述二维语义分割图和所述点云数据之间的坐标系转换关系，根据所述坐标系转换关系和所述二维语义分割图，得到所述点云数据的语义分割图；

语义特征提取模块，用于基于所述点云数据的语义分割图，提取所述点云数据的语义特征，所述语义特征包括所述点云数据中每个点的点语义特征、点邻域语义特征、局部语义特征和全局语义特征，所述点邻域语义特征为点的邻域内的所有点生成的语义特征，所述局部语义特征为局部块内的点生成的语义特征，所述全局语义为所有点生成的语义特征；

点云上采样模块，用于获取所述点语义特征的特征向量，根据预设的特征扩展规则，依次对所述点语义特征的特征向量中预设维数的特征值进行扩展调整，得到多个扩展调整后的点语义特征的特征向量，对所述多个扩展调整后的点语义特征的特征向量进行降维处理，生成所述点云数据中每个点对应的扩展点，得到稠密点云；

扩展点修正模块，用于获取所述扩展点的点语义特征的特征向量，将所述扩展点的点语义特征的特征向量分别与所述点邻域语义特征的特征向量、所述局部语义特征的特征向量和所述全局语义特征的特征向量进行差运算，得到对应的偏移向量，对所述偏移向量进行加权求和，得到所述扩展点的目标偏移向量，对所述扩展点的目标偏移向量进行降维处理，得到所述扩展点的偏移量，根据所述偏移量对所述扩展点的坐标进行修正，更新所述稠密点云。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：去噪模块，用于剔除所述点云数据的离群点和噪声点，以更新所述点云数据。

6.根据权利要求5所述的装置，其特征在于，所述去噪模块，用于获取所述点云数据中各点与局部语义块的距离，若当前点与局部语义块的距离均大于预设距离阈值，则将当前点确定为离群点、并剔除，若当前点与局部语义块的距离小于或等于预设距离阈值，则将当前点划分至相距最近的局部语义块。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

获取同一场景的二维全景图像和点云数据，所述二维全景图像中的物体在垂直空间上无相互遮挡；

对所述二维全景图像进行语义分割，得到场景的二维语义分割图；

获取所述二维语义分割图和所述点云数据之间的坐标系转换关系，并根据所述坐标系转换关系和所述二维语义分割图，得到所述点云数据的语义分割图；

基于所述点云数据的语义分割图，提取所述点云数据的语义特征，所述语义特征包括所述点云数据中每个点的点语义特征、点邻域语义特征、局部语义特征和全局语义特征，所述点邻域语义特征为点的邻域内的所有点生成的语义特征，所述局部语义特征为局部块内的点生成的语义特征，所述全局语义为所有点生成的语义特征；

获取所述点语义特征的特征向量，根据预设的特征扩展规则，依次对所述点语义特征的特征向量中预设维数的特征值进行扩展调整，得到多个扩展调整后的点语义特征的特征向量，对所述多个扩展调整后的点语义特征的特征向量进行降维处理，生成所述点云数据中每个点对应的扩展点，得到稠密点云；

获取所述扩展点的点语义特征的特征向量，将所述扩展点的点语义特征的特征向量分别与所述点邻域语义特征的特征向量、所述局部语义特征的特征向量和所述全局语义特征的特征向量进行差运算，得到对应的偏移向量，对所述偏移向量进行加权求和，得到所述扩展点的目标偏移向量，对所述扩展点的目标偏移向量进行降维处理，得到所述扩展点的偏移量，根据所述偏移量对所述扩展点的坐标进行修正，更新所述稠密点云。

8.根据权利要求7所述的计算机设备，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：

剔除所述点云数据的离群点和噪声点，以更新所述点云数据。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。