CN115601275A - 点云增广方法及装置、计算机可读存储介质、终端设备 - Google Patents

点云增广方法及装置、计算机可读存储介质、终端设备 Download PDF

Info

Publication number
CN115601275A
CN115601275A CN202211090516.0A CN202211090516A CN115601275A CN 115601275 A CN115601275 A CN 115601275A CN 202211090516 A CN202211090516 A CN 202211090516A CN 115601275 A CN115601275 A CN 115601275A
Authority
CN
China
Prior art keywords
point cloud
image
original
projection
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211090516.0A
Other languages
English (en)
Inventor
庞磊
吕培
赵磊
张雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ziguang Zhanrui Communication Technology Co Ltd
Original Assignee
Beijing Ziguang Zhanrui Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ziguang Zhanrui Communication Technology Co Ltd filed Critical Beijing Ziguang Zhanrui Communication Technology Co Ltd
Priority to CN202211090516.0A priority Critical patent/CN115601275A/zh
Publication of CN115601275A publication Critical patent/CN115601275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种点云增广方法及装置、计算机可读存储介质、终端设备，点云增广方法包括：获取原始点云数据和至少一张图像，原始点云数据和至少一张图像是针对同一目标采集得到的；将原始点云数据中每一原始点云投影至至少一张图像中，以得到位于至少一张图像中的多个投影点，每一投影点对应一个原始点云；在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素，以作为扩展像素；至少将各个扩展像素反映射至三维空间，以得到增广点云。本申请能够在提升点云数量的同时提升增广点云的有效性。

Description

点云增广方法及装置、计算机可读存储介质、终端设备
技术领域
本申请实施例涉及激光雷达技术领域，尤其涉及一种点云增广方法及装置、计算机可读存储介质、终端设备。
背景技术
随着自动驾驶技术在不同场景下的持续落地，目标检测、目标分割等是其感知模块中的重要部分。激光雷达是自动驾驶方案中的重要传感器，激光雷达够获得准确的三维点云。以点云为输入的目标检测、目标分割等算法相对其他方案具有相对更高的性能表现。
但是，激光雷达采集的点云相对较为稀疏，尤其是当目标物体距离激光雷达的距离较远或者目标物体较小时，点云稀疏的问题更为凸显。针对目标物体的点云数量较少时，点云的语义表征能力会变得较弱，增大了根据点云实现目标检测的难度。
发明内容
本申请提供了一种点云增广方法及装置、计算机可读存储介质、终端设备，提供了一种对点云数据进行增广的方案，在提升点云数量的同时提升增广点云的有效性。
为了达到上述目的，本申请提供了以下技术方案：
第一方面，提供了一种点云增广方法，点云增广方法包括：获取原始点云数据和至少一张图像，所述原始点云数据和所述至少一张图像是针对同一目标采集得到的；将所述原始点云数据中每一原始点云投影至所述至少一张图像中，以得到位于所述至少一张图像中的多个投影点，每一投影点对应一个原始点云；在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素，以作为扩展像素；至少将各个扩展像素反映射至三维空间，以得到增广点云。
可选的，所述在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素包括：确定每一图像中所述目标的掩膜；如果所述投影点位于所述掩膜内，则在所述投影点的垂直方向上按照第一间隔选取至少一个相邻像素；或者，如果所述投影点位于所述掩膜外，则在所述投影点的垂直方向上按照第二间隔选取至少一个相邻像素，所述第二间隔大于所述第一间隔。
可选的，所述将各个扩展像素反映射至三维空间包括：将所述扩展像素反映射至三维空间，以得到扩展点云；将所述扩展像素的属性信息合并至所述扩展点云，以得到所述增广点云。
可选的，所述将所述扩展像素的属性信息合并至所述投影点对应的原始点云包括：以所述扩展像素为中心，在所述扩展像素所在的图像中确定图像块，所述图像块的边长小于等于所述预设间隔；将所述图像块转换为增广向量，并将所述增广向量合并入所述扩展点云，以得到所述增广点云，所述增广向量表示所述图像块的色彩信息。
可选的，点云增广方法还包括：将所述投影点处的原始像素的属性信息扩展至所述投影点对应的原始点云，以得到所述增广点云。
可选的，点云增广方法还包括：以所述原始像素为中心，在所述原始像素所在的图像中确定图像块，所述图像块的边长小于等于所述预设间隔；将所述图像块转换为增广向量，并将所述增广向量合并入所述原始点云，以得到所述增广点云，所述增广向量表示所述图像块的色彩信息。
可选的，同一原始点云对应的扩展像素具有相同的深度信息和额外信息。
可选的，采集所述至少一张图像的摄像设备具有第一水平视场角和第一垂直视场角，采集所述原始点云数据的激光雷达具有第二水平视场角和第二垂直视场角，所述第一水平视场角大于等于所述第二水平视场角，所述第一垂直视场角的视野范围与所述第二垂直视场角的视野范围的重叠率大于等于80％。
第二方面，本申请还公开一种点云增广装置，点云增广装置包括：获取模块，用于获取原始点云数据和至少一张图像，所述原始点云数据和所述至少一张图像是针对同一目标采集得到的；投影模块，用于将所述原始点云数据中每一原始点云投影至所述至少一张图像中，以得到位于所述至少一张图像中的多个投影点，每一投影点对应一个原始点云；选取模块，用于在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素，以作为扩展像素；增广模块，用于至少将各个扩展像素反映射至三维空间，以得到增广点云。
可选的，所述选取模块确定每一图像中所述目标的掩膜；如果所述投影点位于所述掩膜内，则在所述投影点的垂直方向上按照第一间隔选取至少一个相邻像素；或者，如果所述投影点位于所述掩膜外，则在所述投影点的垂直方向上按照第二间隔选取至少一个相邻像素，所述第二间隔大于所述第一间隔。
可选的，所述增广模块将所述扩展像素反映射至三维空间，以得到扩展点云；将所述扩展像素的属性信息合并至所述扩展点云，以得到所述增广点云。
可选的，所述增广模块将所述投影点处的原始像素的属性信息扩展至所述投影点对应的原始点云，以得到所述增广点云。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器运行以执行第一方面提供的方法。
第四方面，提供了一种通信装置，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机程序，处理器运行计算机程序以执行第一方面提供的方法。
第五方面，提供了一种计算机程序产品，其上存储有计算机程序，计算机程序被处理器运行以执行第一方面提供的方法。
第六方面，本申请实施例还提供一种芯片(或者说数据传输装置)，该芯片上存储有计算机程序，在计算机程序被芯片执行时，实现上述方法的步骤。
与现有技术相比，本申请实施例的技术方案具有以下有益效果：
本申请技术方案中，获取针对同一目标采集的原始点云数据和至少一张图像，将原始点云数据中每一原始点云投影至至少一张图像中，以得到位于至少一张图像中的多个投影点。在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素，以作为扩展像素，至少将各个扩展像素反映射至三维空间，以得到增广点云。投影点表示原始点云在图像中的二维位置，投影点的垂直方向也表示点云在三维空间垂直方向；由于点云数据通常是在水平方向较为密集，在垂直方向较为稀疏，因此本申请通过在投影点的垂直方向上选取相邻像素，通过将相邻像素反映射至三维空间，可以得到原始点云在三维空间垂直方向上的增广点云，实现了对点云数据的增广；此外，本申请利用图像中丰富的色彩、纹理等信息来实现点云的增广，能够增加点云数据的丰富性，有助于提升后续利用点云数据进行目标检测性能。
进一步地，确定每一图像中目标的掩膜；如果投影点位于掩膜内，则在投影点的垂直方向上按照第一间隔选取至少一个相邻像素；或者，如果投影点位于掩膜外，则在投影点的垂直方向上按照第二间隔选取至少一个相邻像素，第二间隔大于第一间隔。本申请根据投影点与掩膜的关系来选择性地选取相邻像素，能够保证选取到更多表征目标的相邻像素，从而得到更多表征目标的增广点云，进而提升点云增广的有效性。
附图说明
图1是本申请实施例提供的一种点云增广方法的流程图；
图2是本申请实施例提供的另一种点云增广方法的流程图；
图3是本申请实施例提供的一种点云增广装置的结构示意图；
图4是本申请实施例提供的一种点云增广装置的硬件结构示意图。
具体实施方式
如背景技术中所述，激光雷达采集的点云相对较为稀疏，尤其是当目标物体距离激光雷达的距离较远或者目标物体较小时，点云稀疏的问题更为凸显。针对目标物体的点云数量较少时，点云的语义表征能力会变得较弱，增大了根据点云实现目标检测的难度。
本申请提供了一种点云增广方法，获取针对同一目标采集的原始点云数据和至少一张图像，将原始点云数据中每一原始点云投影至至少一张图像中，以得到位于至少一张图像中的多个投影点。在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素，以作为扩展像素，至少将各个扩展像素反映射至三维空间，以得到增广点云。投影点表示原始点云在图像中的二维位置，投影点的垂直方向也表示点云在三维空间垂直方向；由于点云数据通常是在水平方向较为密集，在垂直方向较为稀疏，因此本申请通过在投影点的垂直方向上选取相邻像素，通过将扩展像素反映射至三维空间，可以得到原始点云在三维空间垂直方向上的增广点云，实现了对点云数据的增广；此外，本申请利用图像中丰富的色彩、纹理等信息来实现点云的增广，能够增加点云数据的丰富性，有助于提升后续利用点云数据进行目标检测性能。
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。
图1是本申请实施例提供的一种点云增广方法的流程图，本申请提供的方法包括：
步骤101：获取原始点云数据和至少一张图像，原始点云数据和至少一张图像是针对同一目标采集得到的；
步骤102：将原始点云数据中每一原始点云投影至至少一张图像中，以得到位于至少一张图像中的多个投影点，每一投影点对应一个原始点云；
步骤103：在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素，以作为扩展像素；
步骤104：至少将各个扩展像素反映射至三维空间，以得到增广点云。
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
可以理解的是，在具体实施中，所述点云增广方法可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中。该方法也可以采用软件结合硬件的方式实现，本申请不作限制。
本发明实施例中点云数据可以是由激光雷达采集得到的，至少一张图像可以是由摄像设备采集得到的。在实际的应用场景中，激光雷达与摄像设备可以设置于同一设备中，例如激光雷达与摄像设备设置于同一车辆。激光雷达与摄像设备能够针对同一目标采集分别采集点云数据和图像。
在步骤101的具体实施中，获取原始点云数据可以是从激光雷达处获取的，获取至少一张图像可以是从至少一个摄像设备处获得的。原始点云数据包括多个原始点云。
在一个非限制性的实施例中，为了保证激光雷达与摄像设备能够针对同一目标采集分别采集点云数据和图像，需要对激光雷达与摄像设备的相对位置进行配置，以保证两者的采集范围基本一致。具体而言，摄像设备具有第一水平视场角(Field of View,FOV)和第一垂直视场角，采集原始点云数据的激光雷达具有第二水平视场角和第二垂直视场角，第一水平视场角大于等于第二水平视场角，第一垂直视场角的视野范围与第二垂直视场角的视野范围的重叠率大于等于80％。
在一个具体的例子中，一个激光雷达对应N个摄像设备，N为大于等于1的正整数。摄像设备具体可以是用于拍摄彩色图像的摄像头。其中，激光雷达的第二水平视场角为θlidar，第二垂直视场角为
Figure BDA0003837064570000061
N个摄像设备的型号、焦段等参数可以不同，N个摄像设备的第一水平视场角为θcam，第一垂直视场角为
Figure BDA0003837064570000062
激光雷达和摄像设备需要满足下述条件:θcam≥θlidar，以及第一垂直视场角
Figure BDA0003837064570000063
与第二垂直视场角
Figure BDA0003837064570000064
的重叠率大于等于80％。
在对点云增广之前，需要先对激光雷达与摄像设备进行标定，通过标定得到每个摄像设备的内参数矩阵以及激光雷达与每个摄像设备的变换矩阵。内参数矩阵和变换矩阵可以用于点云到图像的投影，以及像素到点云的反映射。具体可以是对N个摄像设备进行内参数标定，获取对应的内参数矩阵，内参数矩阵表示为{M|M1,…,MN}，M1表示摄像设备1的内参数，MN表示摄像设备N的内参数。分别对N个摄像设备Ci,i＝1,…,N与激光雷达进行外参数标定，激光雷达坐标系到摄像设备Ci,i＝1,…,N标系的变换矩阵表示为Ti,i＝1,…,N。
需要说明的是，关于对摄像设备进行内参标定，以及对摄像设备与激光雷达进行外参标定的具体实现方式可以参照现有技术，此处不再赘述。
继续参照图1，在步骤102的具体实施中，将原始点云数据中每一原始点云投影至至少一张图像中。每一投影点对应一个原始点云，每一原始点云可以对应多个投影点。
具体而言，可以利用上述内参数矩阵和变换矩阵将原始点云投影至图像中。可以采用下述公式(1)将原始点云投影至至少一张图像中：
Figure BDA0003837064570000071
其中，点云数据表示为
Figure BDA0003837064570000072
(x,y,z)是原始点云的三维坐标信息，ej表示点云的额外信息，一般包括点的强度、线数等；
Figure BDA0003837064570000073
表示点云数据plidar中的第j个原始点云，
Figure BDA0003837064570000074
表示第j个原始点云
Figure BDA0003837064570000075
在第i张图像对应投影点的像素坐标，投影点的像素坐标具体可以表示为(ui,j,vi,j),dj为第j个原始点云
Figure BDA0003837064570000076
对应的深度信息。Mi表示第i张图像的内参数矩阵。Ti表示第i张图像的变换矩阵。
根据第j个原始点云
Figure BDA0003837064570000077
的投影点
Figure BDA0003837064570000078
坐标值，去除不在第i张图像范围内的投影点，得到第i张图像内的所有投影点，标记为
Figure BDA0003837064570000079
N张图像对应的全部投影点标记为Pcam。由于一般激光雷达与视觉传感器的垂直视场角不能完全重合，因此投影点的数量一般小于原始点云的数量。
继续参照图1，在步骤103的具体实施中，对投影点进行扩展，得到扩展像素。具体可以在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素。这是由于点云数据通常是在水平方向较为密集，在垂直方向较为稀疏，因此本申请在投影点的垂直方向上选取相邻像素，以对投影点进行扩展。
进而在步骤104的具体实施中，通过将扩展像素反映射至三维空间，可以得到原始点云在三维空间垂直方向上的增广点云，实现了对点云数据的增广；此外，本申请利用图像中丰富的色彩、纹理等信息来实现点云的增广，能够增加点云数据的丰富性，有助于提升后续利用点云数据进行目标检测性能。
在步骤103的一种具体实施方式中，对于所有的投影点，可以按照相同的预设间隔选取扩展像素。
在步骤103的另一种具体实施方式中，根据投影点与目标的掩膜(mask)的关系，可以按照不同的预设间隔选取扩展像素。
具体而言，可以预先对图像进行分割得到目标的掩膜。具体地，分别将N个摄像设备Ci,i＝1,…,N输出的图像输入语义分割网络，例如SegNet网络进行图像分割，获得包含目标的掩膜信息的分割结果。将全部的掩膜标记为
Figure BDA00038370645700000811
NK为掩膜的总数。
需要说明的是，SegNet网络可以为任意的二维图像语义分割网络，例如掩膜区域卷积神经网络(Mask Region Convolutional Neural Network,Mask-RCNN)、深度学院(Deep Lab)、高分辨率网络(High-Resolution Net,HRNet)等，或者可以采用其他任意可实施的语义分割算法获得目标的掩膜，本申请对此不作限制。
进一步地，如果投影点位于掩膜内，则在投影点的垂直方向上按照第一间隔选取至少一个相邻像素。如果投影点位于掩膜外，则在投影点的垂直方向上按照第二间隔选取至少一个相邻像素，第二间隔大于第一间隔。第一间隔和第二间隔的单位均为像素，例如第一间隔为3像素，第二间隔为5像素。
例如，对于每一投影点
Figure BDA0003837064570000081
投影点
Figure BDA0003837064570000082
点位于某一掩膜内时，则在投影点
Figure BDA0003837064570000083
点的垂直方向，分别于上下每隔第一间隔θ1取相邻像素，在投影点
Figure BDA0003837064570000084
点的垂直方向共取2κ1个相邻像素，以作为扩展像素。相邻像素具体可以是：(ui,j,vi,j+θ1),(ui,j,vi,j-θ1),…,(ui,j,vi,j+κ1θ1),(ui,j,vi,j-κ1θ1)。
投影点
Figure BDA0003837064570000085
点不位于某一掩膜内时，则在投影点
Figure BDA0003837064570000086
点的垂直方向，分别于上下每隔第二间隔θ2像素取相邻像素，在投影点
Figure BDA0003837064570000087
点的垂直方向共取2κ2个相邻像素，以作为扩展像素。相邻像素具体可以是：(ui,j,vi,j+θ2),(ui,j,vi,j-θ2),…,(ui,j,vi,j+κ2θ2),(ui,j,vi,j-κ2θ2)；
进一步地，同一原始点云对应的扩展像素具有相同的深度信息和额外信息，因此同一原始点云的投影点对应的扩展像素及对应深度表示为
Figure BDA0003837064570000088
扩展像素的数量总计为Ne，
Figure BDA0003837064570000089
表示原始点云的额外信息，
Figure BDA00038370645700000810
表示原始点云的深度信息。
本申请利用多传感器的联合标定信息，通过将激光雷达采集的点云数据投影到图像，在投影点处合理获得图像块信息并赋予原始点云，从而为点云赋予图像中的丰富语义信息，图像块带来的语义信息有利于提升基于点云的检测、分割等算法的性能。
请参照图2，图2示出了利用扩展像素和原始像素分别对点云进行增广的流程。
对于扩展像素，在步骤201中，将扩展像素反映射至三维空间，以得到扩展点云。
可以采用以下公式(2)计算扩展点云：
Figure BDA0003837064570000091
其中，pi,j为第i张图像中的扩展像素，
Figure BDA0003837064570000092
表示扩展点云，
Figure BDA0003837064570000093
表示第i张图像的内参数矩阵的倒置矩阵。
Figure BDA0003837064570000094
表示第i张图像的变换矩阵的倒置矩阵。通过将扩展像素pi,j(ui,j,vi,j,ei,j,dj)重新反映射到三维空间，得到扩展点云
Figure BDA0003837064570000095
(xi,j,yi,j,zi,j)表示扩展点云的三维坐标信息。
通过步骤202和步骤203将扩展像素的属性信息合并至扩展点云。
在步骤202中，以扩展像素为中心，在扩展像素所在的图像中确定图像块，图像块的边长小于等于预设间隔。
例如，在第i张图像中确定以扩展像素pi,j(ui,j,vi,j)为中心的图像块Se，图像块Se的尺寸为S×S，图像块的边长S小于等于预设间隔，以保证图像块内仅存在单个扩展像素，从而保证点云增广的准确性。
在步骤203中，将图像块转换为增广向量，并将增广向量合并入扩展点云。以得到增广点云，增广向量表示图像块的色彩信息。
具体地，将图像块Se展开为一维增广向量，表示为fj。在图像为RGB图像时，增广向量fj表示图像块中扩展像素的RGB通道信息。
将增广向量合并入扩展点云具体可以是将增广向量加入扩展点云中，增广点云可以表示为
Figure BDA0003837064570000096
本申请通过将扩展像素反映射至三维空间，可以得到原始点云在三维空间垂直方向上的增广点云，实现了对点云数据的增广；此外，本申请利用图像中丰富的色彩、纹理等信息来实现点云的增广，能够增加点云数据的丰富性，有助于提升后续利用点云数据进行目标检测性能。
此外，对于原始像素，将投影点处的原始像素的属性信息扩展至投影点对应的原始点云。
通过步骤204和步骤205将原始像素的属性信息合并至原始点云。
在步骤204中，以原始像素为中心，在原始像素所在的图像中确定图像块。图像块的边长小于等于预设间隔。
在步骤205中，将图像块转换为增广向量，并将增广向量合并入原始点云。以得到增广点云，增广向量表示图像块的色彩信息。
关于步骤204和步骤205的具体实施方式可以分别参照步骤202和步骤203的相关描述，此处不再赘述。
本申请中，图像可以通过丰富的色彩、纹理等信息提供较好的语义信息，因此利用图像对点云数据的信息进行更多维度的增广，多维度的数据补充能够辅助点云数据在环境感知任务中获得更高的检测性能。
本申请中将原始点云增广得到的点云集合作为新的点云用于后续的任务，例如用于三维目标检测任务，使用目标检测网络进行目标检测时，可以不改变网络结构，仅需改变输入点云的尺寸即可，在提升检测效果的基础上还能保住目标检测方案实施的便捷性。
关于本申请实施例的更多具体实现方式，请参照前述实施例，此处不再赘述。
请参照图3，图3示出了一种点云增广装置30，点云增广装置30可以包括：
获取模块301，用于获取原始点云数据和至少一张图像，所述原始点云数据和所述至少一张图像是针对同一目标采集得到的；
投影模块302，用于将所述原始点云数据中每一原始点云投影至所述至少一张图像中，以得到位于所述至少一张图像中的多个投影点，每一投影点对应一个原始点云；
选取模块303，用于在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素，以作为扩展像素；
增广模块304，用于至少将各个扩展像素反映射至三维空间，以得到增广点云。
在具体实施中，上述点云增广装置30可以对应于终端设备中具有点云增广功能的芯片，例如片上系统(System-On-a-Chip，SOC)、基带芯片等；或者对应于终端设备中包括具有点云增广功能的芯片模组；或者对应于具有数据处理功能芯片的芯片模组，或者对应于终端设备。
在一个具体实施例中，选取模块303确定每一图像中目标的掩膜；如果投影点位于掩膜内，则在投影点的垂直方向上按照第一间隔选取至少一个相邻像素；或者，如果投影点位于掩膜外，则在投影点的垂直方向上按照第二间隔选取至少一个相邻像素，第二间隔大于第一间隔。
在一个具体实施例中，增广模块304包括：反映射单元，用于将扩展像素反映射至三维空间，以得到扩展点云；合并单元，用于将扩展像素的属性信息合并至扩展点云，以得到增广点云。
进一步地，合并单元以扩展像素为中心，在扩展像素所在的图像中确定图像块，图像块的边长小于等于预设间隔；将图像块转换为增广向量，并将增广向量合并入扩展点云，以得到增广点云，增广向量表示图像块的色彩信息
在一个具体实施例中，增广模块304包括扩展单元，扩展单元将投影点处的原始像素的属性信息扩展至投影点对应的原始点云，以得到增广点云。
进一步地，扩展单元以原始像素为中心，在原始像素所在的图像中确定图像块，图像块的边长小于等于预设间隔；将图像块转换为增广向量，并将增广向量合并入原始点云，以得到增广点云，增广向量表示图像块的色彩信息。
关于点云增广装置30的其他相关描述可以参照图1和图2中的相关描述，此处不再赘述。
关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端设备的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端设备内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端设备内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
本申请实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时可以执行图1至图3中所示方法的步骤。所述存储介质可以包括只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁盘或光盘等。存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
请参照图4，本申请实施例还提供了一种通信装置的硬件结构示意图。该装置包括处理器401、存储器402和收发器403。
处理器401可以是一个通用中央处理器(central processing unit，CPU)、微处理器、特定应用集成电路(application-specific integrated circuit，ASIC)，或者一个或多个用于控制本申请方案程序执行的集成电路。处理器401也可以包括多个CPU，并且处理器401可以是一个单核(single-CPU)处理器，也可以是多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路或用于处理数据(例如计算机程序指令)的处理核。
存储器402可以是ROM或可存储静态信息和指令的其他类型的静态存储设备、RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，本申请实施例对此不作任何限制。存储器402可以是独立存在(此时，存储器402可以位于该装置外，也可以位于该装置内)，也可以和处理器401集成在一起。其中，存储器402中可以包含计算机程序代码。处理器401用于执行存储器402中存储的计算机程序代码，从而实现本申请实施例提供的方法。
处理器401、存储器402和收发器403通过总线相连接。收发器403用于与其他设备或通信网络通信。可选的，收发器403可以包括发射机和接收机。收发器403中用于实现接收功能的器件可以视为接收机，接收机用于执行本申请实施例中的接收的步骤。收发器403中用于实现发送功能的器件可以视为发射机，发射机用于执行本申请实施例中的发送的步骤。
当图4所示的结构示意图用于示意上述实施例中所涉及的终端设备的结构时，处理器401用于对终端设备的动作进行控制管理，例如，处理器401用于支持终端设备执行图1中的步骤101、步骤102、步骤103和步骤104，或者图2中的步骤201、步骤202、步骤203、步骤204和步骤205，和/或本申请实施例中所描述的其他过程中的终端设备执行的动作。处理器401可以通过收发器403与其他网络实体通信，
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/“，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本申请实施例对此不做任何限定。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的部分步骤。
虽然本申请披露如上，但本申请并非限定于此。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各种更动与修改，因此本申请的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种点云增广方法，其特征在于，包括：
获取原始点云数据和至少一张图像，所述原始点云数据和所述至少一张图像是针对同一目标采集得到的；
将所述原始点云数据中每一原始点云投影至所述至少一张图像中，以得到位于所述至少一张图像中的多个投影点，每一投影点对应一个原始点云；在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素，以作为扩展像素；
至少将各个扩展像素反映射至三维空间，以得到增广点云。
2.根据权利要求1所述的点云增广方法，其特征在于，所述在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素包括：
确定每一图像中目标的掩膜；
如果所述投影点位于所述掩膜内，则在所述投影点的垂直方向上按照第一间隔选取至少一个相邻像素；或者，
如果所述投影点位于所述掩膜外，则在所述投影点的垂直方向上按照第二间隔选取至少一个相邻像素，所述第二间隔大于所述第一间隔。
3.根据权利要求1所述的点云增广方法，其特征在于，所述将各个扩展像素反映射至三维空间，以得到增广点云包括：
将所述扩展像素反映射至三维空间，以得到扩展点云；
将所述扩展像素的属性信息合并至所述扩展点云，以得到所述增广点云。
4.根据权利要求3所述的点云增广方法，其特征在于，所述将所述扩展像素的属性信息合并至所述投影点对应的原始点云包括：
以所述扩展像素为中心，在所述扩展像素所在的图像中确定图像块，所述图像块的边长小于等于所述预设间隔；
将所述图像块转换为增广向量，并将所述增广向量合并入所述扩展点云，以得到所述增广点云，所述增广向量表示所述图像块的色彩信息。
5.根据权利要求1所述的点云增广方法，其特征在于，还包括：
将所述投影点处的原始像素的属性信息扩展至所述投影点对应的原始点云，以得到所述增广点云。
6.根据权利要求5所述的点云增广方法，其特征在于，还包括：
以所述原始像素为中心，在所述原始像素所在的图像中确定图像块，所述图像块的边长小于等于所述预设间隔；
将所述图像块转换为增广向量，并将所述增广向量合并入所述原始点云，以得到所述增广点云，所述增广向量表示所述图像块的色彩信息。
7.根据权利要求1至6任一项所述的点云增广方法，其特征在于，同一原始点云对应的扩展像素具有相同的深度信息和额外信息。
8.根据权利要求1至6任一项所述的点云增广方法，其特征在于，采集所述至少一张图像的摄像设备具有第一水平视场角和第一垂直视场角，采集所述原始点云数据的激光雷达具有第二水平视场角和第二垂直视场角，所述第一水平视场角大于等于所述第二水平视场角，所述第一垂直视场角的视野范围与所述第二垂直视场角的视野范围的重叠率大于等于80％。
9.一种点云增广装置，其特征在于，包括：
获取模块，用于获取原始点云数据和至少一张图像，所述原始点云数据和所述至少一张图像是针对同一目标采集得到的；
投影模块，用于将所述原始点云数据中每一原始点云投影至所述至少一张图像中，以得到位于所述至少一张图像中的多个投影点，每一投影点对应一个原始点云；
选取模块，用于在每一投影点的垂直方向上按照预设间隔选取至少一个相邻像素，以作为扩展像素；
增广模块，用于至少将各个扩展像素反映射至三维空间，以得到增广点云。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至8中任一项所述点云增广方法的步骤。
11.一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至8中任一项所述点云增广方法的步骤。
CN202211090516.0A 2022-09-07 2022-09-07 点云增广方法及装置、计算机可读存储介质、终端设备 Pending CN115601275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211090516.0A CN115601275A (zh) 2022-09-07 2022-09-07 点云增广方法及装置、计算机可读存储介质、终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211090516.0A CN115601275A (zh) 2022-09-07 2022-09-07 点云增广方法及装置、计算机可读存储介质、终端设备

Publications (1)

Publication Number Publication Date
CN115601275A true CN115601275A (zh) 2023-01-13

Family

ID=84843053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211090516.0A Pending CN115601275A (zh) 2022-09-07 2022-09-07 点云增广方法及装置、计算机可读存储介质、终端设备

Country Status (1)

Country Link
CN (1) CN115601275A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168046A (zh) * 2023-04-26 2023-05-26 山东省凯麟环保设备股份有限公司 复杂环境下的3d点云语义分割方法、系统、介质及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168046A (zh) * 2023-04-26 2023-05-26 山东省凯麟环保设备股份有限公司 复杂环境下的3d点云语义分割方法、系统、介质及设备
CN116168046B (zh) * 2023-04-26 2023-08-25 山东省凯麟环保设备股份有限公司 复杂环境下的3d点云语义分割方法、系统、介质及设备

Similar Documents

Publication Publication Date Title
CN111563923B (zh) 获得稠密深度图的方法及相关装置
JP6902122B2 (ja) ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
WO2022206517A1 (zh) 一种目标检测方法及装置
WO2020017334A1 (ja) 車載環境認識装置
CN105139401A (zh) 一种深度图中深度的可信度的评估方法
CN112184828B (zh) 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN114002701A (zh) 一种实时渲染点云的方法、装置、电子设备及系统
CN115601275A (zh) 点云增广方法及装置、计算机可读存储介质、终端设备
JP7432793B1 (ja) 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
CN115239815B (zh) 一种相机标定方法及装置
CN111145264A (zh) 多传感器的标定方法、装置及计算设备
CN110706288A (zh) 目标检测的方法、装置、设备及可读存储介质
CN116740681B (zh) 目标检测方法、装置、车辆和存储介质
US20200242832A1 (en) Image processing device, display device, image transmission device, image processing method, control program, and recording medium
CN117152330B (zh) 一种基于深度学习的点云3d模型贴图方法和装置
CN113409376A (zh) 一种基于相机的深度估计进行激光雷达点云过滤的方法
CN117078767A (zh) 激光雷达与相机标定方法、装置、电子设备及存储介质
CN111899277A (zh) 运动目标检测方法及装置、存储介质、电子装置
CN116704111A (zh) 图像处理方法和设备
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
CN112766338A (zh) 一种计算距离图像的方法、系统及计算机可读存储介质
CN116205788B (zh) 一种三维特征图的获取方法、图像处理方法及相关装置
WO2024034469A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination