CN116703952B - 过滤遮挡点云的方法、装置、计算机设备及存储介质 - Google Patents

过滤遮挡点云的方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116703952B
CN116703952B CN202310995614.7A CN202310995614A CN116703952B CN 116703952 B CN116703952 B CN 116703952B CN 202310995614 A CN202310995614 A CN 202310995614A CN 116703952 B CN116703952 B CN 116703952B
Authority
CN
China
Prior art keywords
point cloud
projection
filtering
window
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310995614.7A
Other languages
English (en)
Other versions
CN116703952A (zh
Inventor
张健喃
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Magic Vision Intelligent Technology Co ltd
Original Assignee
Shenzhen Magic Vision Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Magic Vision Intelligent Technology Co ltd filed Critical Shenzhen Magic Vision Intelligent Technology Co ltd
Priority to CN202310995614.7A priority Critical patent/CN116703952B/zh
Publication of CN116703952A publication Critical patent/CN116703952A/zh
Application granted granted Critical
Publication of CN116703952B publication Critical patent/CN116703952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明涉及数据融合技术领域，公开了过滤遮挡点云的方法、装置、计算机设备及存储介质，该方法包括：获取相机采集到的相机图像和激光雷达采集到的点云数据；将点云数据投影至相机的成像平面，形成点云投影图；确定相机图像中的实例；根据实例在相机图像中的区域范围，从点云投影图中提取出包含区域范围的投影子图；根据投影子图中点云的深度，过滤掉比实例的深度更深的遮挡点云；将过滤后的投影子图拼接回点云投影图，生成过滤后的点云投影图。本发明以投影子图为单位，对每个实例分别进行过滤，可以避免其他实例的影响，通过投影子图中点云的深度，即可简单准确地确定哪些点云为遮挡点云，降低了识别遮挡点云的复杂度。

Description

过滤遮挡点云的方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据融合技术领域，具体涉及过滤遮挡点云的方法、装置、计算机设备及存储介质。
背景技术
在现代的自动驾驶、机器人感知和环境建模等领域，激光雷达和相机是两种常用的传感器。激光雷达能够提供高精度的三维距离和深度信息，而相机则具备高分辨率的图像感知能力。激光雷达和相机的联合使用可以充分发挥它们各自的优势，实现更准确、全面地环境感知和场景理解。但是由于两种传感器不同的信号形式，其二者信息的有效融合会面临一系列的问题，其中较为棘手的一个问题便是激光雷达与相机的视角差异问题。
由于激光雷达和相机二者大多数情况下安装位置不同，尤其是在自动驾驶场景中，通常一个激光雷达会对应多个相机，且安装位置存在较大差异，因此在将激光雷达采集到的点云投影到相机图像时，由于二者观察视角的差异，可能导致在相机图像中，很多本应该被遮挡在物体后面的点云被投影到物体前面，而这种错误的信息将会对两种传感器的信息融合产生很大的影响。因此，需要去掉相机图像中被遮挡的点云。
发明内容
有鉴于此，本发明提供了一种过滤遮挡点云的方法、装置、计算机设备及存储介质，以能够去掉被遮挡的点云。
第一方面，本发明提供了一种过滤遮挡点云的方法，包括：
获取相机采集到的相机图像和激光雷达采集到的点云数据；
将所述点云数据投影至所述相机的成像平面，形成点云投影图；
对所述相机图像进行图像实例分割，确定所述相机图像中的实例；
根据所述实例在所述相机图像中的区域范围，从所述点云投影图中提取出包含所述区域范围的投影子图；
根据所述投影子图中点云的深度，过滤掉比所述实例的深度更深的遮挡点云；
将过滤后的投影子图拼接回所述点云投影图，生成过滤后的点云投影图。
本实施例提供的过滤遮挡点云的方法，对相机图像进行图像实例分割，分割出相机图像中的实例，并从点云投影图中提取出与该实例对应的投影子图，以投影子图为单位过滤掉其中的遮挡点云，之后将过滤后的投影子图还原至点云投影图中。该方法以投影子图为单位，对每个实例分别进行过滤，可以避免其他实例的影响，通过投影子图中点云的深度，即可简单准确地确定哪些点云为遮挡点云，降低了识别遮挡点云的复杂度，可以提高过滤效率；并且，该方法对相机的依赖性低，通用性强，可方便地应用于激光雷达与相机联合使用的多种场景。
在一些可选的实施方式中，所述根据所述实例在所述相机图像中的区域范围，从所述点云投影图中提取出包含所述区域范围的投影子图，包括：根据所述实例在所述相机图像中的像素坐标，确定最大横坐标、最小横坐标、最大纵坐标和最小纵坐标；将所述点云投影图中，与所述最大横坐标、所述最小横坐标、所述最大纵坐标和所述最小纵坐标所对应的矩形区域，作为所述实例对应的投影子图。基于实例像素坐标的最大值、最小值，可以简单方便地提取出该实例所对应的投影子图。
在一些可选的实施方式中，该方法还包括：为所述投影子图中的目标像素点设置掩码；所述目标像素点为与所述实例位置对应的像素点；并且，所述将过滤后的投影子图拼接回所述点云投影图，包括：将过滤后的投影子图中的所述目标像素点拼接回所述点云投影图。只用过滤后的目标像素点，替换原始的点云投影图中相应的像素点，即只对相应实例的像素点进行替换，这样可以避免因对其他像素点过滤错误，而导致过滤后的点云投影图存在问题。
在一些可选的实施方式中，所述根据所述投影子图中点云的深度，过滤掉比所述实例的深度更深的遮挡点云，包括：设置所述投影子图的滤波窗口；确定所述滤波窗口内所有点云的最小深度值，将深度值与所述滤波窗口内所有点云的最小深度值之差大于预设阈值的点云作为遮挡点云，并过滤掉所述滤波窗口内的遮挡点云；通过滑动所述滤波窗口，过滤掉所述投影子图中的遮挡点云。
本实施例中，为投影子图设置滤波窗口，在滤波窗口内，由于同一个物体上的点云深度不会发生较大变化，点云深度的差值超过预设阈值dk，则可将相应点云识别为遮挡点云，从而可以基于尺寸较小的滤波窗口简单快速地识别出滤波窗口内的遮挡点云。
在一些可选的实施方式中，所述设置所述投影子图的滤波窗口，包括：确定滤波窗口所对应的最小深度值；所述滤波窗口所对应的最小深度值为，所述滤波窗口处参考区域内所有点云的最小深度值，所述参考区域的尺寸与滤波窗口的预设最大尺寸相一致；根据所述滤波窗口所对应的最小深度值，确定滤波窗口的尺寸；其中，所述滤波窗口所对应的最小深度值与所述滤波窗口的尺寸之间为负相关关系。基于滤波窗口所对应的最小深度值，自适应调整滤波窗口的尺寸，使得不同尺寸的滤波窗口内点云数量比较一致，能够保证较好的滤波效果。
在一些可选的实施方式中，所述滤波窗口的尺寸满足：
；
其中，n x表示所述滤波窗口的尺寸，d x表示所述滤波窗口所对应的最小深度值，d min表示所述投影子图或所述点云投影图的最小深度值，d max表示所述投影子图或所述点云投影图的最大深度值；n min、n max分别为滤波窗口的预设最小尺寸、预设最大尺寸。
在一些可选的实施方式中，所述遮挡点云为所述投影子图中的目标像素点处的点云；所述目标像素点为与所述实例位置对应的像素点。
第二方面，本发明提供了一种过滤遮挡点云的装置，包括：
获取模块，用于获取相机采集到的相机图像和激光雷达采集到的点云数据；
投影模块，用于将所述点云数据投影至所述相机的成像平面，形成点云投影图；
实例分割模块，用于对所述相机图像进行图像实例分割，确定所述相机图像中的实例；
子图提取模块，用于根据所述实例在所述相机图像中的区域范围，从所述点云投影图中提取出包含所述区域范围的投影子图；
过滤模块，用于根据所述投影子图中点云的深度，过滤掉比所述实例的深度更深的遮挡点云；
处理模块，用于将过滤后的投影子图拼接回所述点云投影图，生成过滤后的点云投影图。
第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的过滤遮挡点云的方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的过滤遮挡点云的方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是在相机视角下出现被遮挡点云的一种示意图；
图2是根据本发明实施例的过滤遮挡点云的方法的流程示意图；
图3是根据本发明实施例的另一过滤遮挡点云的方法的流程示意图；
图4是本发明实施例提供的点云投影图的一种示意图；
图5是本发明实施例提供的投影子图的一种示意图；
图6是根据本发明实施例的又一过滤遮挡点云的方法的流程示意图；
图7是根据本发明实施例的过滤遮挡点云的装置的结构框图；
图8是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在将激光雷达采集到的点云投影到相机图像时，在相机图像中可能出现被遮挡在物体后面的点云被投影到物体前面，导致在相机视角下出现被遮挡的错误点云。图1示出了相机101和激光雷达102的一种工作场景示意图，如图1所示，相机101和激光雷达102位于不同的位置，且视角存在一定的区别。其中，在相机101的正前方存在两个物体：第一物体103和第二物体104；第一物体103比第二物体104更靠近相机101，且在相机视角下，第二物体104会被第一物体103遮挡，即在相机视角下，看不到第二物体104，相机101所采集到的相机图像中，不存在第二物体104。而位于另一视角的激光雷达102，其位于第一物体103和第二物体104的侧边，激光雷达102可以采集到第一物体103和第二物体104的点云。在图1中，相机101正前方的虚线表示该相机101的主光轴，激光雷达102前方的两条虚线表示该激光雷达102的视场范围。
在将激光雷达和相机进行融合时，即在将激光雷达采集到的点云投影到相机图像时，在理想情况下，在相机图像中，除了具有第一物体103的图像之外，还融合有该第一物体103的点云，且不应该存在第二物体104的图像和点云。但在实际情况下，可能会将激光雷达102所采集到的第二物体104的点云也融合到相机图像中，导致相机图像中除了具有第一物体103的图像和点云之外，还包含第二物体104的点云，该第二物体104的点云即为错误点云。图1以105示意性表示相机图像中的错误点云。
为了能够过滤掉相机图像中被遮挡的错误点云，目前存在几种方法：
一种方法是几何投影法。几何投影法的原理为将原始点云经过几何变换转到远距离的球面上，然后通过计算凸包的方式得到未被遮挡的点云。该方法在处理均匀分布的稠密点云效果较好，但是其速度较慢，效率低，而且对于非均匀分布的点云其遮挡过滤效果不够好。
另一种方法是双目匹配法。双目匹配法的原理为利用双目相机做双目立体匹配，从而通过三角视差法得到图像的深度信息，然后将该深度信息与雷达点云投影过来的深度进行对比，去掉差距较大的点，从而实现遮挡过滤。该方法强依赖于双目立体相机，而且在进行双目立体匹配时远处物体的精度难以保证，因此其通用性较差。
本发明实施例提供一种过滤遮挡点云的方法，基于图像实例分割，然后对每个实例分别进行过滤，可以简单快速过滤掉遮挡点云，且该方法可以不使用双目相机，通用性强，可方便地应用于激光雷达与相机联合使用的多种场景。其中，该遮挡点云指的是相机图像中被前方物体遮挡的点云，也即上述的错误点云；例如，图1中的错误点云105即为一种遮挡点云。
根据本发明实施例，提供了一种过滤遮挡点云的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种过滤遮挡点云的方法，可用于移动终端、计算机、车辆控制器等需要对点云和图像进行融合的设备。图2是根据本发明实施例的过滤遮挡点云的方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取相机采集到的相机图像和激光雷达采集到的点云数据。
本实施例中，在相机和激光雷达联合使用的场景中，相机可以采集到周围环境的图像，即相机图像；激光雷达也可以采集到周围环境的点云数据，该点云数据包括多个点云，每个点云可以对应空间中的一个位置坐标。例如，具有辅助驾驶功能的车辆上安装有相机和激光雷达，基于车辆上的相机和激光雷达，可以采集到车辆周围的相机图像和点云数据。
可以理解，为了使得相机图像和点云数据能够被融合，该相机和激光雷达的视场范围具有一定的重合。例如，如图1所示，相机101和激光雷达102的视场范围内均存在第一物体103。
步骤S202，将点云数据投影至相机的成像平面，形成点云投影图。
其中，相机成像过程就是将真实世界中的物体映射到成像平面，形成相机图像；在将激光雷达的点云数据融合到相机图像时，也需要将该点云数据投影至相机的成像平面，进而叠加相机图像，实现相机图像与点云数据的融合。本实施例中，将点云数据投影至成像平面的投影图，称为“点云投影图”，该点云投影图包含每个点云投影至成像平面的位置。
可以理解，本实施例中的相机和激光雷达是经过外参标定的，基于标定的外参，可以将位于激光雷达坐标系的点云数据，转换至相机坐标系中，即可以将点云数据投影至相机的成像平面，生成点云投影图。该点云投影图可以只包含与点云相关的数据，并不包含相机所采集到的信息；换句话说，该点云投影图与相机图像虽然均映射至成像平面，但点云投影图所表示的是点云的位置，而相机图像是相机所采集到的二维图像。
步骤S203，对相机图像进行图像实例分割，确定相机图像中的实例。
本实施例中，在获取到相机图像后，可以使用训练好的图像实例分割深度神经网络，或者使用通用的图像实例分割深度神经网络等，对该相机图像进行图像实例分割，以获取到该相机图像中的实例（Instance）。其中，实例即为相机图像中的某个对象，且同一类的不同物体，也被分割成不同的实例。通过图像实例分割，可以获取到相机图像中每个实例的标签，具体可以在相机图像中实例的每个像素位置处，给出标签，以表示该像素属于哪一个实例。
例如，相机图像中包含两个人和两辆车，则可以为其中一个人的像素设置标签person01，另一个人的像素设置标签person02，类似地，为其中一辆车的像素设置标签car01，另一辆车的像素设置标签car02。
可以理解，在执行该过滤遮挡点云的方法时，可以先执行步骤S202、再执行步骤S203，或者，也可以先执行步骤S203、再执行步骤S202，本实施例对此不做限定。
步骤S204，根据实例在相机图像中的区域范围，从点云投影图中提取出包含该区域范围的投影子图。
本实施例中，虽然点云投影图和相机图像是两个从不同维度表示周围环境的图，但二者均投影至成像平面，故二者在位置上具有对应关系。例如，相机图像中的某片区域为一辆车，相应地，在点云投影图的该区域处的点云，也是该车的点云。因此，在分割出相机图像中的实例后，可以确定该实例在相机图像中的区域范围，进而可以在该点云投影图中提取出包含该区域范围的投影子图；例如，该投影子图的范围与实例的区域范围相一致。
可以理解，该投影子图包含实例所对应的点云，该投影子图一般是点云投影图的一部分图像。其中，在相机图像包含多个实例的情况下，从点云投影图中可以分别提取出每个实例所对应的投影子图。
步骤S205，根据投影子图中点云的深度，过滤掉比实例的深度更深的遮挡点云。
本实施例中，投影子图是与某个实例对应的部分点云投影图，投影子图中实例的点云，是应当正常显示的点云，在该实例处，若存在比实例的深度更深的点云，则说明在相机视角下，该点云位于实例的后方，其会被实例遮挡，这些点云即为遮挡点云，需要过滤掉这些遮挡点云。
例如，可以将该投影子图简单地分为前景和背景，前景即为实例，背景即为除实例之外的其他像素点。基于前景处点云的深度，即可确定实例的深度，进而将比实例的深度更深的点云作为遮挡点云，并过滤。其中，可以基于相机图像中实例所对应的像素点，确定投影子图中哪些像素点为前景。
步骤S206，将过滤后的投影子图拼接回点云投影图，生成过滤后的点云投影图。
本实施例中，投影子图是从原始的点云投影图中提取出来的，在过滤掉投影子图中的遮挡点云后，可以将过滤后的投影子图再拼接回点云投影图，从而得到过滤后的点云投影图，即滤掉遮挡点云的点云投影图，实现对遮挡点云的过滤。
此外可选地，在得到过滤后的点云投影图后，还可以基于相机内外参恢复得到过滤后的点云数据；可以理解，该过滤后的点云数据是过滤掉原始点云数据（即步骤S201中采集到的点云数据）中遮挡点云后所生成的数据。此外，也可以将该过滤后的点云投影图与相机图像进行叠加，即可实现点云数据与相机图像的融合，且叠加后所形成的图像中，基本不存在位于物体后方的点云，可以保证叠加效果。
本实施例提供的过滤遮挡点云的方法，对相机图像进行图像实例分割，分割出相机图像中的实例，并从点云投影图中提取出与该实例对应的投影子图，以投影子图为单位过滤掉其中的遮挡点云，之后将过滤后的投影子图还原至点云投影图中。该方法以投影子图为单位，对每个实例分别进行过滤，可以避免其他实例的影响，通过投影子图中点云的深度，即可简单准确地确定哪些点云为遮挡点云，降低了识别遮挡点云的复杂度，可以提高过滤效率；并且，该方法对相机的依赖性低，通用性强，可方便地应用于激光雷达与相机联合使用的多种场景。
在本实施例中提供了一种过滤遮挡点云的方法，可用于移动终端、计算机、车辆控制器等需要对点云和图像进行融合的设备。图3是根据本发明实施例的过滤遮挡点云的方法的流程图，如图3所示，该流程包括如下步骤：
步骤S301，获取相机采集到的相机图像和激光雷达采集到的点云数据。其中，详细请参见图2所示实施例的步骤S201，在此不再赘述。
步骤S302，将点云数据投影至相机的成像平面，形成点云投影图。其中，详细请参见图2所示实施例的步骤S202，在此不再赘述。
步骤S303，对相机图像进行图像实例分割，确定相机图像中的实例。其中，详细请参见图2所示实施例的步骤S203，在此不再赘述。
步骤S304，根据实例在相机图像中的区域范围，从点云投影图中提取出包含该区域范围的投影子图。
具体而言，上述步骤S304“根据实例在相机图像中的区域范围，从点云投影图中提取出包含该区域范围的投影子图”可以包括以下步骤S3041至步骤S3042。
步骤S3041，根据实例在相机图像中的像素坐标，确定最大横坐标、最小横坐标、最大纵坐标和最小纵坐标。
步骤S3042，将点云投影图中，与最大横坐标、最小横坐标、最大纵坐标和最小纵坐标所对应的矩形区域，作为实例对应的投影子图。
本实施例中，在对相机图像进行图像实例分割后，可以为实例的像素点设置相应的标签，即可以确定相机图像中哪些像素点属于该实例，并且，每个像素点具有相应的二维坐标，故可以确定实例中每个像素点的坐标，即像素坐标。基于这些二维的像素坐标，可以确定横坐标的最大值和最小值，即最大横坐标、最小横坐标，同样可以确定纵坐标的最大值和最小值，即最大纵坐标、最小纵坐标，该最大横坐标、最小横坐标、最大纵坐标和最小纵坐标即可表示实例在相机图像中的区域范围。
具体地，基于该最大横坐标、最小横坐标、最大纵坐标和最小纵坐标，可以确定一个矩形区域，本实施例将该矩形区域所对应的一部分点云投影图，作为与该实例对应的投影子图。
例如，以(u,v)表示像素坐标，u为像素坐标的横坐标，v为像素坐标的纵坐标，确定实例中所有像素坐标的最大值、最小值，即确定最大横坐标umax、最小横坐标umin、最大纵坐标vmax和最小纵坐标vmin。例如，图4示出了点云投影图的一种示意图；相机图像中包含一人体，该人体即为一个实例，相应地，如图4所示，点云投影图401中也存在相应的实例402，该实例402可以表示该人体的点云数据。像素坐标的最大值、最小值可如图4所示，基于此可以确定相应的矩形区域，即图4中虚线框所示的区域；本实施例中，可以将该矩形区域内的点云投影图提取出来，从而得到该实例402所对应的投影子图403。
本实施例基于实例像素坐标的最大值、最小值，可以简单方便地提取出该实例所对应的投影子图。
步骤S305，根据投影子图中点云的深度，过滤掉比实例的深度更深的遮挡点云。其中，详细请参见图2所示实施例的步骤S205，在此不再赘述。
步骤S306，将过滤后的投影子图拼接回点云投影图，生成过滤后的点云投影图。其中，详细请参见图2所示实施例的步骤S206，在此不再赘述。
在一些可选的实施方式中，该方法还包括以下步骤A1；并且，上述步骤S306“将过滤后的投影子图拼接回点云投影图”可以包括以下步骤B1。
步骤A1，为投影子图中的目标像素点设置掩码；该目标像素点为与实例位置对应的像素点。
步骤B1，将过滤后的投影子图中的目标像素点拼接回点云投影图。
本实施例中，根据实例在相机图像中的位置，可以确定投影子图中哪些像素点与实例位置对应，为方便描述，将投影子图中与实例位置对应的像素点称为“目标像素点”。并且，为这些目标像素点设置掩码，该掩码用于区分：与实例位置对应的像素点，以及与实例位置不对应的像素点。
例如，图5示出了一个投影子图的示意图。如图5所示，投影子图501对应一个人体实例，与该人体实例位置对应的像素点即是目标像素点，如图5中灰色区域中的像素点即为目标像素点，这些目标像素点设有掩码，而除该目标像素点之外的其他像素点（即投影子图501中白色区域中的像素点）不设置掩码。或者，目标像素点与其他像素点设置不同的掩码，也可实现对这两种像素点的区分。
在目标像素点设有掩码的情况下，在对投影子图进行过滤后，即过滤掉遮挡点云后，可以只将目标像素点拼接回点云投影图，除目标像素点之外的其他像素点不做处理，即其不拼接回点云投影图。可以理解，此时只用过滤后的目标像素点，替换原始的点云投影图中相应的像素点，即只对相应实例的像素点进行替换，这样可以避免因对其他像素点过滤错误，而导致过滤后的点云投影图存在问题。
例如，若投影子图为矩形状的图像，在点云投影图中存在多个实例的情况下，可能会使得某个或某些投影子图中包含多个实例。例如，点云投影图中包含实例A和实例B，若一个投影子图1与实例A相对应，另一个投影子图2与实例B相对应，并且，由于投影子图为矩形状，该投影子图2中还包含实例A的一部分。若将投影子图的所有像素点均拼接回点云投影图，则会导致两个投影子图中共同存在的实例A的一部分，会被拼接回点云投影图两次；若先拼接投影子图1，后拼接投影子图2，由于在投影子图2中，实例A为背景，实例A所对应的点云可能被过滤掉，最终使得过滤后的点云投影图中，实例A的点云存在异常。本实施例只将目标像素点拼接回点云投影图，可以有效避免该问题。
此外可选地，遮挡点云除了深度更深之外，其还是投影子图中的目标像素点处的点云，或者说，只有目标像素点处的点云，才有可能被作为遮挡点云。在这种情况下，只需要对目标像素点中的点云进行过滤，而不需要对背景的其他像素点进行处理，可以降低处理量。
在本实施例中提供了一种过滤遮挡点云的方法，可用于移动终端、计算机、车辆控制器等需要对点云和图像进行融合的设备。图6是根据本发明实施例的过滤遮挡点云的方法的流程图，如图6所示，该流程包括如下步骤：
步骤S601，获取相机采集到的相机图像和激光雷达采集到的点云数据。其中，详细请参见图2所示实施例的步骤S201，在此不再赘述。
步骤S602，将点云数据投影至相机的成像平面，形成点云投影图。其中，详细请参见图2所示实施例的步骤S202，在此不再赘述。
步骤S603，对相机图像进行图像实例分割，确定相机图像中的实例。其中，详细请参见图2所示实施例的步骤S203，在此不再赘述。
步骤S604，根据实例在相机图像中的区域范围，从点云投影图中提取出包含该区域范围的投影子图。其中，详细请参见图2所示实施例的步骤S204，或者图3所示实施例的步骤S304，在此不再赘述。
步骤S605，根据投影子图中点云的深度，过滤掉比实例的深度更深的遮挡点云。其中，详细请参见图2所示实施例的步骤S205，在此不再赘述。
具体地，本实施例中，在过滤投影子图中遮挡点云时，设置滤波窗口，通过滑动该滤波窗口，确定滤波窗口内的遮挡点云，并进行过滤。其中，上述步骤S605“根据投影子图中点云的深度，过滤掉比实例的深度更深的遮挡点云”可以包括以下步骤S6051至步骤S6053。
步骤S6051，设置投影子图的滤波窗口。
步骤S6052，确定滤波窗口内所有点云的最小深度值，将深度值与滤波窗口内所有点云的最小深度值之差大于预设阈值的点云作为遮挡点云，并过滤掉滤波窗口内的遮挡点云。
步骤S6053，通过滑动滤波窗口，过滤掉投影子图中的遮挡点云。
本实施例中，为该投影子图设置滤波窗口，将滤波窗口内的遮挡点云进行过滤，并按照预设的步长滑动滤波窗口，从而可以遍历整个投影子图，过滤掉投影子图中的遮挡点云。例如，滑动窗口的大小可以是固定的。例如，滑动窗口为方形，其边长为n，则滑动窗口大小为n×n；设置步长也为n，则以该步长n移动滤波窗口，从而可以遍历整个投影子图，进而过滤掉整个投影子图中的遮挡点云。
其中，对于每一个滤波窗口，确定该滤波窗口内所有点云的最小深度值；可以理解，深度值越小，说明距离相机越近，滤波窗口内深度值最小的点云，表示距离相机最近的像素点；并且，若该滤波窗口内存在实例的一部分，则该最小深度值所对应的点云，一般也是实例上的点云。本实施例将该最小深度值作为基准，以识别出该滤波窗口内的遮挡点云。具体地，若某点云的深度值，与该最小深度值之差大于某预设阈值，即该点云的深度值大于该最小深度值，且大的程度也较大，则可说明该点云在该滤波窗口内属于距离相机较远的点云，其可能会被实例遮挡，故该点云可以作为需要被滤掉的遮挡点云。
例如，对于某滤波窗口，统计确定该滤波窗口内所有点云的最小深度值dwmin，若某点云的深度值与该最小深度值dwmin的差值大于预设阈值dk，或者说，若某点云的深度值大于dwmin+dk，则可将该点云作为遮挡点云。其中，不同实例的预设阈值dk可以相同，也可以不同，即可以基于实例的类型分别设置合适的预设阈值dk，本实施例对此不做限定。
由于不同实例的尺寸一般不同，对于尺寸较大的实例，其相对于相机的深度也在一个较大的范围内；若对完整的投影子图进行过滤，不易准确判断需要被过滤掉的遮挡点云。本实施例中，基于尺寸更小的滤波窗口识别遮挡点云，在滤波窗口内，由于同一个物体上的点云深度不会发生较大变化，点云深度的差值在预设阈值dk范围内的点云，均可认为是实例的点云（前景点云），其余深度较大的点云为遮挡点云，从而可以简单快速地识别出滤波窗口内的遮挡点云。
可选地，遮挡点云为投影子图中的目标像素点处的点云；该目标像素点为与实例位置对应的像素点。换句话说，只有目标像素点处的点云，才有可能被作为遮挡点云。在这种情况下，在基于滤波窗口进行过滤时，只有滤波窗口内存在一部分实例时，才识别其中是否存在遮挡点云；若当前的滤波窗口内不存在实例，其全部为背景，则可按照步长直接滑动到下一滤波窗口。本实施例中，只需要对目标像素点中的点云进行过滤，而不需要对背景的其他像素点进行处理，可以降低处理量。
在一些可选的实施方式中，上述步骤S6051“设置投影子图的滤波窗口”可以包括步骤C1和步骤C2。
步骤C1，确定滤波窗口所对应的最小深度值；滤波窗口所对应的最小深度值为，滤波窗口处参考区域内所有点云的深度值的最小值，参考区域的尺寸与滤波窗口的预设最大尺寸相一致。
步骤C2，根据滤波窗口所对应的最小深度值，确定滤波窗口的尺寸；其中，滤波窗口所对应的最小深度值与滤波窗口的尺寸之间为负相关关系。
本实施例中，激光雷达可以采集到周围环境中物体的点云数据，该物体距离激光雷达越远（即物体深度越大），物体表面的点云越稀疏，点云数量越少。而由于相机成像时，距离相机越远的物体（即物体深度越大），其在相机中的面积也越小，即物体在相机图像中呈现近大远小的特点，将点云数据映射至图像平面后，在点云投影图中，距离相机越远的物体，其表面点云数量虽然较少，但由于该物体在相机图像中尺寸较小，使得该物体的点云密度仍然偏大。即，在点云投影图中，物体的深度越大，其点云密度一般也越大，在同一大小的滤波窗口内的点云数量也越多。
本实施例中，基于滤波窗口所对应的最小深度值，来确定滤波窗口的尺寸，且二者之间为负相关关系，即滤波窗口所对应的最小深度值越大（即物体距离相机越远），滤波窗口的尺寸越小。通过使用不同尺寸的滤波窗口，可以使得不同滤波窗口内点云的数量比较一致。
在确定滤波窗口所对应的最小深度值时，由于滤波窗口的尺寸未定，但滤波窗口在按照步长滑动时，其中心位置是确定的，故可以基于该中心位置确定滤波窗口的一个参考区域，将该参考区域内点云深度值的最小值作为该滤波窗口所对应的最小深度值。其中，为保证该参考区域内具有点云，该参考区域的尺寸与滤波窗口的预设最大尺寸相一致。
例如，可以预先设置滤波窗口的预设最大尺寸n max，在确定每个滤波窗口的尺寸时，根据滤波窗口的中心位置确定相应的参考区域，该参考区域与该滤波窗口具有相同的中心位置，且该参考区域的尺寸为n max，例如，参考区域的大小为n max×n max。将该参考区域内所有点云的最小深度值，作为相应滤波窗口所对应的最小深度值。
在一些可选的实施方式中，滤波窗口的尺寸与滤波窗口所对应的最小深度值之间为线性关系；具体地，该滤波窗口的尺寸满足：
（1）
其中，n x表示滤波窗口的尺寸，d x表示滤波窗口所对应的最小深度值，d min表示投影子图或点云投影图的最小深度值，d max表示投影子图或点云投影图的最大深度值；n min、n max分别为滤波窗口的预设最小尺寸、预设最大尺寸。
本实施例中，滤波窗口的尺寸随着滤波窗口所对应的最小深度值的变化而变化，该滤波窗口的尺寸具体可以为滤波窗口的长度或宽度；一般情况下，滤波窗口为方形，相应地，滤波窗口的尺寸为滤波窗口的边长。并且，预先设置滤波窗口的最小尺寸n min和最大尺寸n max，使得任一滤波窗口的尺寸均在n min与n max之间。其中，可以根据激光雷达点云的稀疏程度确定最小尺寸n min和最大尺寸n max，以保证在滤波窗口内具有足够数量的点云。
并且，预先确定投影子图或整个点云投影图的最小深度值d min和最大深度值d max。一般情况下，对每个投影子图进行过滤时，分别确定相应的最小深度值和最大深度值；即，该最小深度值d min为投影子图中所有点云深度的最小值，该最大深度值d max为投影子图中所有点云深度的最大值。
在确定滤波窗口尺寸的过程中，先确定滤波窗口所对应的最小深度值d x，之后，即可基于上式（1）确定该滤波窗口的尺寸。可以理解，若该滤波窗口所对应的最小深度值d x为最小深度值d min，则滤波窗口的尺寸为预设最大尺寸n max；若该滤波窗口所对应的最小深度值d x为最大深度值d max，则滤波窗口的尺寸为预设最小尺寸n min。其中，若滤波窗口以步长s进行滑动，为能够对投影子图进行完整过滤，该滤波窗口的步长s不大于预设最小尺寸n min，例如，步长s=n min。
例如，参见图5所示，在对投影子图501进行过滤时，构建滤波窗口502，滤波窗口502从投影子图501的左上角开始，行进步长s为n min，从而逐步覆盖整张投影子图501；如图5所示，相邻两个滤波窗口502的中心之间的距离为该步长s。其中，滤波窗口502每行进一步，则确定滤波窗口502处大小为n max×n max的参考区域内，所有点云深度值的最小值，将该最小值作为滤波窗口502所对应的最小深度值d x，并基于上式（1）计算出滤波窗口502的尺寸n x，基于大小为n x×n x的滤波窗口502对遮挡点云进行过滤。
其中，在步长s确定的情况下，可以同步并行确定多个滤波窗口的尺寸n x，因此，也可以对多个滤波窗口进行并行滤波，从而可以加快对投影子图的过滤效率。
此外，可以理解，由于参考区域的尺寸不小于滤波窗口的尺寸，故参考区域内所有点云的最小深度值，与滤波窗口内所有点云的最小深度值可能不同；换句话说，滤波窗口所对应的最小深度值d x，与上述步骤S6052中所确定的滤波窗口内所有点云的最小深度值dwmin，二者可能不同。
步骤S606，将过滤后的投影子图拼接回点云投影图，生成过滤后的点云投影图。其中，详细请参见图2所示实施例的步骤S206，在此不再赘述。
本实施例提供的过滤遮挡点云的方法，为投影子图设置滤波窗口，在滤波窗口内，由于同一个物体上的点云深度不会发生较大变化，点云深度的差值超过预设阈值dk，则可将相应点云识别为遮挡点云，从而可以基于尺寸较小的滤波窗口简单快速地识别出滤波窗口内的遮挡点云。并且，基于滤波窗口所对应的最小深度值，自适应调整滤波窗口的尺寸，使得不同尺寸的滤波窗口内点云数量比较一致，能够保证较好的滤波效果。
在本实施例中还提供了一种过滤遮挡点云的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种过滤遮挡点云的装置，如图7所示，包括：
获取模块701，用于获取相机采集到的相机图像和激光雷达采集到的点云数据；
投影模块702，用于将所述点云数据投影至所述相机的成像平面，形成点云投影图；
实例分割模块703，用于对所述相机图像进行图像实例分割，确定所述相机图像中的实例；
子图提取模块704，用于根据所述实例在所述相机图像中的区域范围，从所述点云投影图中提取出包含所述区域范围的投影子图；
过滤模块705，用于根据所述投影子图中点云的深度，过滤掉比所述实例的深度更深的遮挡点云；
处理模块706，用于将过滤后的投影子图拼接回所述点云投影图，生成过滤后的点云投影图。
在一些可选的实施方式中，所述子图提取模块704根据所述实例在所述相机图像中的区域范围，从所述点云投影图中提取出包含所述区域范围的投影子图，包括：
根据所述实例在所述相机图像中的像素坐标，确定最大横坐标、最小横坐标、最大纵坐标和最小纵坐标；
将所述点云投影图中，与所述最大横坐标、所述最小横坐标、所述最大纵坐标和所述最小纵坐标所对应的矩形区域，作为所述实例对应的投影子图。
在一些可选的实施方式中，所述子图提取模块704还用于：为所述投影子图中的目标像素点设置掩码；所述目标像素点为与所述实例位置对应的像素点；
所述处理模块706将过滤后的投影子图拼接回所述点云投影图，包括：将过滤后的投影子图中的所述目标像素点拼接回所述点云投影图。
在一些可选的实施方式中，所述过滤模块705根据所述投影子图中点云的深度，过滤掉比所述实例的深度更深的遮挡点云，包括：
设置所述投影子图的滤波窗口；
确定所述滤波窗口内所有点云的最小深度值，将深度值与所述滤波窗口内所有点云的最小深度值之差大于预设阈值的点云作为遮挡点云，并过滤掉所述滤波窗口内的遮挡点云；
通过滑动所述滤波窗口，过滤掉所述投影子图中的遮挡点云。
在一些可选的实施方式中，所述过滤模块705设置所述投影子图的滤波窗口，包括：
确定滤波窗口所对应的最小深度值；所述滤波窗口所对应的最小深度值为，所述滤波窗口处参考区域内所有点云的最小深度值，所述参考区域的尺寸与滤波窗口的预设最大尺寸相一致；
根据所述滤波窗口所对应的最小深度值，确定滤波窗口的尺寸；其中，所述滤波窗口所对应的最小深度值与所述滤波窗口的尺寸之间为负相关关系。
在一些可选的实施方式中，所述滤波窗口的尺寸满足：
；
其中，n x表示所述滤波窗口的尺寸，d x表示所述滤波窗口所对应的最小深度值，d min表示所述投影子图或所述点云投影图的最小深度值，d max表示所述投影子图或所述点云投影图的最大深度值；n min、n max分别为滤波窗口的预设最小尺寸、预设最大尺寸。
在一些可选的实施方式中，所述遮挡点云为所述投影子图中的目标像素点处的点云；所述目标像素点为与所述实例位置对应的像素点。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的过滤遮挡点云的装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备，具有上述图7所示的过滤遮挡点云的装置。
请参阅图8，图8是本发明可选实施例提供的一种计算机设备的结构示意图，如图8所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。
本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (6)

1.一种过滤遮挡点云的方法，其特征在于，所述方法包括：
获取相机采集到的相机图像和激光雷达采集到的点云数据；
将所述点云数据投影至所述相机的成像平面，形成点云投影图；
对所述相机图像进行图像实例分割，确定所述相机图像中的实例；
根据所述实例在所述相机图像中的区域范围，从所述点云投影图中提取出包含所述区域范围的投影子图；
根据所述投影子图中点云的深度，过滤掉比所述实例的深度更深的遮挡点云；所述遮挡点云为所述投影子图中的目标像素点处的点云；所述目标像素点为与所述实例位置对应的像素点；
将过滤后的投影子图拼接回所述点云投影图，生成过滤后的点云投影图；
其中，所述根据所述投影子图中点云的深度，过滤掉比所述实例的深度更深的遮挡点云，包括：
设置所述投影子图的滤波窗口；
确定所述滤波窗口内所有点云的最小深度值，将深度值与所述滤波窗口内所有点云的最小深度值之差大于预设阈值的点云作为遮挡点云，并过滤掉所述滤波窗口内的遮挡点云；
通过滑动所述滤波窗口，过滤掉所述投影子图中的遮挡点云；
所述设置所述投影子图的滤波窗口，包括：
确定滤波窗口所对应的最小深度值；所述滤波窗口所对应的最小深度值为，所述滤波窗口处参考区域内所有点云的最小深度值，所述参考区域的尺寸与滤波窗口的预设最大尺寸相一致；
根据所述滤波窗口所对应的最小深度值，确定所述滤波窗口的尺寸；其中，所述滤波窗口所对应的最小深度值与所述滤波窗口的尺寸之间为负相关关系；
所述滤波窗口的尺寸满足：
；
其中，n x表示所述滤波窗口的尺寸，d x表示所述滤波窗口所对应的最小深度值，d min表示所述投影子图或所述点云投影图的最小深度值，d max表示所述投影子图或所述点云投影图的最大深度值；n min、n max分别为滤波窗口的预设最小尺寸、预设最大尺寸。
2.根据权利要求1所述的方法，其特征在于，所述根据所述实例在所述相机图像中的区域范围，从所述点云投影图中提取出包含所述区域范围的投影子图，包括：
根据所述实例在所述相机图像中的像素坐标，确定最大横坐标、最小横坐标、最大纵坐标和最小纵坐标；
将所述点云投影图中，与所述最大横坐标、所述最小横坐标、所述最大纵坐标和所述最小纵坐标所对应的矩形区域，作为所述实例对应的投影子图。
3.根据权利要求2所述的方法，其特征在于，还包括：为所述投影子图中的目标像素点设置掩码；所述目标像素点为与所述实例位置对应的像素点；
所述将过滤后的投影子图拼接回所述点云投影图，包括：将过滤后的投影子图中的所述目标像素点拼接回所述点云投影图。
4.一种过滤遮挡点云的装置，其特征在于，所述装置包括：
获取模块，用于获取相机采集到的相机图像和激光雷达采集到的点云数据；
投影模块，用于将所述点云数据投影至所述相机的成像平面，形成点云投影图；
实例分割模块，用于对所述相机图像进行图像实例分割，确定所述相机图像中的实例；
子图提取模块，用于根据所述实例在所述相机图像中的区域范围，从所述点云投影图中提取出包含所述区域范围的投影子图；
过滤模块，用于根据所述投影子图中点云的深度，过滤掉比所述实例的深度更深的遮挡点云；所述遮挡点云为所述投影子图中的目标像素点处的点云；所述目标像素点为与所述实例位置对应的像素点；
处理模块，用于将过滤后的投影子图拼接回所述点云投影图，生成过滤后的点云投影图；
其中，所述过滤模块根据所述投影子图中点云的深度，过滤掉比所述实例的深度更深的遮挡点云，包括：
设置所述投影子图的滤波窗口；
确定所述滤波窗口内所有点云的最小深度值，将深度值与所述滤波窗口内所有点云的最小深度值之差大于预设阈值的点云作为遮挡点云，并过滤掉所述滤波窗口内的遮挡点云；
通过滑动所述滤波窗口，过滤掉所述投影子图中的遮挡点云；
所述过滤模块设置所述投影子图的滤波窗口，包括：
确定滤波窗口所对应的最小深度值；所述滤波窗口所对应的最小深度值为，所述滤波窗口处参考区域内所有点云的最小深度值，所述参考区域的尺寸与滤波窗口的预设最大尺寸相一致；
根据所述滤波窗口所对应的最小深度值，确定所述滤波窗口的尺寸；其中，所述滤波窗口所对应的最小深度值与所述滤波窗口的尺寸之间为负相关关系；
所述滤波窗口的尺寸满足：
；
其中，n x表示所述滤波窗口的尺寸，d x表示所述滤波窗口所对应的最小深度值，d min表示所述投影子图或所述点云投影图的最小深度值，d max表示所述投影子图或所述点云投影图的最大深度值；n min、n max分别为滤波窗口的预设最小尺寸、预设最大尺寸。
5.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至3中任一项所述的过滤遮挡点云的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至3中任一项所述的过滤遮挡点云的方法。
CN202310995614.7A 2023-08-09 2023-08-09 过滤遮挡点云的方法、装置、计算机设备及存储介质 Active CN116703952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310995614.7A CN116703952B (zh) 2023-08-09 2023-08-09 过滤遮挡点云的方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310995614.7A CN116703952B (zh) 2023-08-09 2023-08-09 过滤遮挡点云的方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116703952A CN116703952A (zh) 2023-09-05
CN116703952B true CN116703952B (zh) 2023-12-08

Family

ID=87831641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310995614.7A Active CN116703952B (zh) 2023-08-09 2023-08-09 过滤遮挡点云的方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116703952B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101289385B1 (ko) * 2012-04-17 2013-07-29 전자부품연구원 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템
CN113689393A (zh) * 2021-08-19 2021-11-23 东南大学 一种基于图像和点云实例匹配的三维目标检测算法
CN114972758A (zh) * 2022-06-06 2022-08-30 上海人工智能创新中心 一种基于点云弱监督的实例分割方法
KR102525570B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101289385B1 (ko) * 2012-04-17 2013-07-29 전자부품연구원 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템
CN113689393A (zh) * 2021-08-19 2021-11-23 东南大学 一种基于图像和点云实例匹配的三维目标检测算法
CN114972758A (zh) * 2022-06-06 2022-08-30 上海人工智能创新中心 一种基于点云弱监督的实例分割方法
KR102525570B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Semi-automated extraction and delineation of 3Droads of street scene from mobile laser scanning point clouds;YANG B et al;《ISPRS Journal of Photogrammetry &Remote Sensing》;第79卷(第5期);第80-93页 *
基于RGB-D相机的果树三维重构与果实识别定位;麦春艳 等;《农业机械学报》;第40-45页 *

Also Published As

Publication number Publication date
CN116703952A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN107409166B (zh) 摇摄镜头的自动生成
EP2806396B1 (en) Sparse light field representation
US10970915B2 (en) Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
CN110895822B (zh) 深度数据处理系统的操作方法
CN111666876B (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
CA2650557A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
JP2021119507A (ja) 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
WO2021018093A1 (zh) 立体匹配方法、图像处理芯片及移动载具
CN111950543A (zh) 一种目标检测方法和装置
CN112487979B (zh) 目标检测方法和模型训练方法、装置、电子设备和介质
JP2018113683A (ja) 画像処理装置、画像処理方法及びプログラム
CN108259722A (zh) 成像方法、装置及电子设备
US20160180201A1 (en) Image processing
CN115035235A (zh) 三维重建方法及装置
WO2023142352A1 (zh) 一种深度图像的获取方法、装置、终端、成像系统和介质
JP2022050311A (ja) 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム
CN110673607B (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
CN113888639A (zh) 基于事件相机与深度相机的视觉里程计定位方法及系统
JP7013144B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN116703952B (zh) 过滤遮挡点云的方法、装置、计算机设备及存储介质
CN116245961B (zh) 一种基于多类传感器信息的融合感知方法及系统
EP3676801B1 (en) Electronic devices, methods, and computer program products for controlling 3d modeling operations based on pose metrics
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant