CN112508983B

CN112508983B - 一种基于图像边缘检测的点云降采样方法

Info

Publication number: CN112508983B
Application number: CN202011506663.2A
Authority: CN
Inventors: 王念峰; 谢伟镛; 张宪民
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2023-06-20
Anticipated expiration: 2040-12-18
Also published as: CN112508983A

Abstract

本发明公开了一种基于图像边缘检测的点云降采样方法，包括对场景投影编码条纹图像并进行图像采集；对场景投影空白图像并进行图像采集；对条纹场景图像中的阴影区域进行填充；对填充后的场景条纹图像进行边缘轮廓的检测；对物体轮廓图进行白噪声处理；将得到的掩膜应用于点云的生成过程中。本方法减少点云模型在传输以及处理等操作中的计算量，提高实时性。

Description

一种基于图像边缘检测的点云降采样方法

技术领域

本发明涉及点云数据处理领域，具体涉及一种基于图像边缘检测的点云降采样方法。

背景技术

三维重建技术是通过机器视觉等方法重建出指定环境的三维点云模型，得到的点云模型在经过降噪、分割、识别等处理后，可用于对环境中的物体进行识别、位姿估计等操作。随着智能制造的发展，该技术也被应用于工厂自动化控制以及安全检测等领域。因此对于点云模型传输以及分割、识别等处理的实时性要求也在提高。

一般来说，通过对点云模型进行降采样的方式减小点云模型的大小是增快点云传输以及处理速度的有效方法之一。目前常用的点云降采样方法包括随机降采样法和体素化网格法等。随机降采样策略简单，但是可能会导致物体关键特征信息丢失；体素化网格方法对点云创建一个三维体素栅格，利用体素内的点对每个体素计算出一个重心，用以代替整个体素内的所有点。这种方法的优点在于对采样点对应曲面的表示较准确。

上述提到的方法缺点主要在于会减少点云模型中包含的特征信息。因此需要在处理速度与特征量之间进行权衡。并且上述降采样方法是对已生成的点云模型进行处理。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于图像边缘检测的点云降采样方法，本发明尽可能保留物体轮廓处特征信息的情况下，对点云模型进行降采样处理以减少点云模型在传输以及处理等操作中的计算量，提高实时性。

本发明采用如下技术方案：

一种基于图像边缘检测的点云降采样方法，包括：

利用投影仪对待检测场景进行投影，得到至少两张条纹图像，相机对条纹图像进行采集，得到场景条纹图像；

利用投影仪对待检测场景投影空白图像，相机对空白图像进行采集，得到在投影仪光源下的场景阴影区域图；

根据场景阴影区域图得到场景条纹图像中的阴影区域位置，再根据相机与投影仪之间的相对位置关系，对阴影区域进行条纹填充，得到不受阴影影响的场景条纹图像；

对不受阴影影响的场景条纹图像利用Gabor滤波器进行滤波，检测出场景中的物体轮廓位置，得到场景的物体轮廓图；

在物体轮廓图中加入随机盐噪声，生成场景点云模型的降采样掩膜；

在点云模型的生成过程中，对于每一个待生成点，利用降采样掩膜判断待生成点是否需要被生成，得到降采样后的点云模型。

进一步，条纹图像的数量为大于等于2的任意正整数。

进一步，投影仪与相机的相对位置使得相机采集的场景条纹图像中的条纹为水平或竖直的。

进一步，对阴影区域进行条纹填充，填充的目的在于找到物体实际的轮廓,具体方法为：首先根据相机以及投影仪的相对位置关系推测出阴影是由位于其哪一侧的物体产生的，再在图像中将位于其对侧的的条纹向阴影区域进行延伸，直至填满整个阴影区域,填充后的图像在滤波后即得到物体的轮廓图。

进一步，采用Gabor滤波器进行滤波具体是对场景条纹图像中条纹出现偏移的位置进行检测，得到物体的轮廓位置：

Gabor滤波器虚部公式为：

x′＝x cosθ+y sinθ

y′＝-x sinθ+y cosθ

其中λ为波长，以像素为单位；θ为Gabor函数的方向；ψ为相位；σ表示高斯窗的标准差；γ决定Gabor函数形状的椭圆率。

进一步，在场景轮廓中加入10％的盐噪声。

进一步，对于每一个待生成点，利用降采样掩膜判断待生成点是否需要被生成，得到降采样后的点云模型，具体为：获得降采样掩膜对应像素的灰度值，计算三维点云模型中各点的坐标值时对其进行筛选，当灰度值大于阈值时保留该点，当灰度值小于阈值时舍弃该点。

进一步，不同图像中的条纹方向应相同或者互相垂直,具有相同条纹方向的图像应具有不同的条纹宽度。

本发明的有益效果：

(1)本发明应用了投影条纹图案的方式对物体边缘信息进行采集，相较于Canny算子等图像边缘采集方法，能够避免纹理边缘对采集结果的影响。

(2)本发明应用了物体轮廓边缘检测的结果来指导降采样，实现了对物体轮廓边缘处特征信息尽可能的保留。

(3)本发明在点云生成阶段实现了点云模型的降采样，进一步提高实时性。

附图说明

图1是本发明的工作流程图；

图2(a)为投影条纹图案时相机采集到的场景图像；

图2(b)为投影空白图案时相机采集到的场景图像；

图2(c)为阴影区域填充结果图；

图3(a)是物体在图像列方向的边缘的检测结果图；

图3(b)是物体在图像行方向的边缘的检测结果图；

图3(c)是将图3(a)和图3(b)合并后得到的图像。

图4(a)是降采样后的场景点云模型；

图4(b)是图4(a)方框部分的局部放大图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种基于图像边缘检测的点云降采样方法，包括如下步骤：

S1待检测场景为在水平地面上摆放的六轴工业机器人以及一个悬浮在空中的立方体。投影仪以及相机的摆放高度为3米，且二者的相对位置使得最终相机采集到的图片中条纹是水平或者竖直的。利用投影仪对待检测场景进行投影，投影的图像为两张条纹图像，两张图像上的条纹相互垂直且条纹宽度相等。随后利用相机进行图像采集，得到两张具有不同方向条纹的场景图像；

S2在投影仪以及相机位置不变的情况下，利用投影仪对待检测场景投影空白图像，随后利用相机进行图像采集，得到场景阴影区域图，得到的图像中黑色部分即为该场景在投影仪光源下产生的阴影区域；

S3首先根据场景阴影区域图得到场景条纹图像中的阴影区域位置。在采集到的图像中，投影仪相对于相机是处于右上方的位置，因此说明图像中的阴影是由位于其右上侧的物体产生的。因此，对于具有水平条纹的场景图像，将阴影区域左侧的水平条纹向右延伸，直至填满该图像中的阴影区域；对于具有竖直条纹的场景图像，将阴影区域下侧的竖直条纹向上延伸，直至填满该图像中的阴影区域。最终得到不受阴影影响的场景条纹图像；

S4对不受阴影影响的场景条纹图像利用Gabor滤波器进行滤波，检测出场景中的物体轮廓位置，得到场景的物体轮廓图；

采用Gabor滤波器对图像中条纹出现偏移的位置进行检测以得到物体的轮廓边缘位置，Gabor滤波器虚部公式为：

x′＝x cosθ+y sinθ

y′＝-x sinθ+y cosθ

其中λ为波长，以像素为单位；θ为Gabor函数的方向；ψ为相位；σ表示高斯窗的标准差；γ决定了Gabor函数形状的椭圆率。

在物体轮廓处，条纹会发生偏移，偏移量越大，Gabor滤波后得到的幅值响应越大，因此可以对滤波后得到的幅值图像进行二值化处理，保留其中幅值较大的部分，即得到场景的物体轮廓图。Gabor滤波器具有方向性。因此，对两张具有不同方向条纹的场景图像应用对应方向的Gabor滤波器进行滤波，得到场景中的物体在两个不同方向上的部分轮廓。最终将这两张轮廓图进行合并，得到完整的物体轮廓图。

S5在物体轮廓图中加入随机的图像盐噪声，添加的图像噪声占整个图像的比例及轮廓检测的结果决定了降采样后剩余点的数量。本实例向物体轮廓图中添加10％的图像噪声，最终生成场景点云模型的降采样图像掩膜；

S6在点云模型的生成过程中，对于每一个待生成点，利用降采样掩膜判断该待生成点是否需要被生成，得到降采样后的点云模型，具体为：在计算生成待测场景的三维点云模型时，对于每一个待计算的三维点，首先计算其在降采样掩膜图像中对应的像素位置，根据该像素的灰度值进行判断，当灰度值大于阈值时继续计算其坐标并保留该三维点，当灰度值小于阈值时停止计算其坐标并舍弃该三维点。本实例中阈值取为0.5。

如图2(a)～图2(c)所示，由于此时在图像中，投影仪相对于相机处于右上方，因此，对于具有竖直条纹的此图像，将阴影区域下侧的竖直条纹向上延伸，对阴影区域实现填充。

如图3(a)～图3(c)所示，对具有不同方向条纹的图像利用Gabor滤波器进行滤波，可以检测到场景中物体在不同方向上的轮廓。合并后即可以得到物体的完整轮廓图。

图4(a)～图4(b)是降采样结果图。经过降采样之后的场景点云模型中的点在物体的轮廓处具有更密集的分布。

本发明考虑到物体轮廓边缘处具有更多的特征信息，首先对待测场景投影条纹图像，并利用相机对场景图像进行采集。对待测场景投影空白图像，得到场景在投影仪光源下的阴影区域图。利用阴影区域图像对具有编码条纹的场景图像进行处理，去除其中的阴影区域。对去除了阴影区域的场景条纹图像利用Gabor滤波器进行滤波，检测出场景中的物体轮廓。在检测到的物体轮廓图中加入随机盐噪声，得到场景的降采样掩膜。在点云的生成过程中，根据掩膜对点云模型中每个点是否需要被生成进行判断，实现在尽可能保留物体轮廓处特征信息的情况下，对点云模型进行降采样处理，以减少点云模型在传输以及处理等操作中的计算量，提高实时性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于图像边缘检测的点云降采样方法，其特征在于，包括：

对阴影区域进行条纹填充，填充的目的在于找到物体实际的轮廓,具体方法为：首先根据相机以及投影仪的相对位置关系推测出阴影是由位于其哪一侧的物体产生的，再在图像中将位于其对侧的条纹向阴影区域进行延伸，直至填满整个阴影区域,填充后的图像在滤波后即得到物体的轮廓图；

Gabor滤波器虚部公式为：

x′＝xcosθ+ysinθ

y′＝-xsinθ+ycosθ

其中λ为波长，以像素为单位；θ为Gabor函数的方向；ψ为相位；σ表示高斯窗的标准差；γ决定Gabor函数形状的椭圆率；

在物体轮廓处，条纹会发生偏移，偏移量越大，Gabor滤波后得到的幅值响应越大，因此对滤波后得到的幅值图像进行二值化处理，保留其中幅值较大的部分，即得到场景的物体轮廓图；

Gabor滤波器具有方向性，对两张具有不同方向条纹的场景图像应用对应方向的Gabor滤波器进行滤波，得到场景中的物体在两个不同方向上的部分轮廓，最终将这两张轮廓图进行合并，得到完整的物体轮廓图；

2.根据权利要求1所述的点云降采样方法，其特征在于，条纹图像的数量为大于等于2的任意正整数。

3.根据权利要求1所述的点云降采样方法，其特征在于，投影仪与相机的相对位置使得相机采集的场景条纹图像中的条纹为水平或竖直的。

4.根据权利要求1所述的点云降采样方法，其特征在于，在场景轮廓中加入10％的盐噪声。

5.根据权利要求1所述的点云降采样方法，其特征在于，对于每一个待生成点，利用降采样掩膜判断待生成点是否需要被生成，得到降采样后的点云模型，具体为：获得降采样掩膜对应像素的灰度值，计算三维点云模型中各点的坐标值时对其进行筛选，当灰度值大于阈值时保留该点，当灰度值小于阈值时舍弃该点。

6.根据权利要求2所述的点云降采样方法，其特征在于，不同图像中的条纹方向应相同或者互相垂直,具有相同条纹方向的图像应具有不同的条纹宽度。