CN111798398B - 点云降噪方法、装置、电子设备和计算机可读存储介质 - Google Patents
点云降噪方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111798398B CN111798398B CN202010660830.2A CN202010660830A CN111798398B CN 111798398 B CN111798398 B CN 111798398B CN 202010660830 A CN202010660830 A CN 202010660830A CN 111798398 B CN111798398 B CN 111798398B
- Authority
- CN
- China
- Prior art keywords
- point
- current pixel
- pixel point
- point cloud
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 239000013598 vector Substances 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims description 53
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提出一种点云降噪方法、装置、电子设备和计算机可读存储介质，涉及数据处理领域。在获取初始点云数据后，通过遍历初始点云数据中的每一个像素点，基于当前像素点确定对应的邻域点集，根据当前像素点和邻域点集计算当前像素点对应的局部法向量，根据当前像素点的坐标信息和初始点云数据对应的坐标原点计算当前像素点的视线方向向量，计算局部法向量和视线方向向量的第一夹角，根据第一夹角与设定阈值的大小判断当前像素点为噪声点或者有效点，在遍历结束后根据所有的有效点输出降噪点云数据。由于第一夹角表征了当前像素点信息采样的优劣程度，故根据该第一夹角与设定阈值可以有效区分噪声点与有效点，进而提高点云数据的降噪效果。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种点云降噪方法、装置、电子设备和计算机可读存储介质。
背景技术
三维相机能够获取目标场景的3D点云坐标信息，相较于常规的2D相机多了一个深度自由度，因此为各种后端开发提供了额外的数据处理自由度，具有重要的应用价值。随着智能制造和智能交互技术的蓬勃发展，三维相机越来越成为其中不可或缺的基础硬件设备和数据处理核心技术，在工业检测、生物医学、移动支付以及军事导航等领域都有着广阔的应用前景。
现有非接触式的三维测量技术主要包括结构光(Structured Light)、飞行时间(Time of Flight)和双目视觉(Binocular Vision)三种，这也是市场上三维相机所采用的主流技术方案。在实际的应用中，由于不可避免地存在环境噪声的干扰，对物体边缘突变处的采样往往有所欠缺，导致重建3D点云信息出现一些计算错误的点。这些飞出物面的点不仅影响点云的观感，也会对后续的分割、聚类以及拟合匹配等算法操作带来很多的不便之处，严重时甚至算法完全失效。
现有的解决方案中，采用一些滤波算法，如中值、均值、高斯或者双边滤波，可以有一定抑制飞点噪声的效果，但同时可能造成高频细节信息的丢失，降低了点云的测量精度；基于一些统计学特征(如特定的物点分布模式或统计点云直方图等)可以检测异常的离群点并将其删除，但这种方法不仅效果有限且复杂度也较高。因此，对于处在物体边缘欠采样点的误检率和漏检率可能较高，尤其是在工业检测领域，由于工件的边缘锐利且反光率较高，问题可能更为突出。
发明内容
有鉴于此，本发明的目的在于提供一种点云降噪方法、装置、电子设备和计算机可读存储介质，以提高点云数据的降噪效果。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供一种点云降噪方法，所述方法包括：
获取初始点云数据；
遍历所述初始点云数据中的每一个像素点，基于当前像素点确定对应的邻域点集；
根据所述当前像素点与所述邻域点集计算所述当前像素点对应的局部法向量；
根据所述当前像素点的坐标信息和所述初始点云数据对应的坐标原点计算所述当前像素点的视线方向向量；
计算所述局部法向量和所述视线方向向量的第一夹角；所述第一夹角表征所述当前像素点信息采样的优劣程度；
根据所述第一夹角与设定阈值的大小判断所述当前像素点为噪声点或者有效点，在遍历结束后根据所有的有效点输出降噪点云数据。
在可选的实施方式中，所述基于当前像素点确定对应的邻域点集的步骤包括：以所述当前像素点为中心点，选取n×n窗口内的像素点构成邻域点集；
所述根据所述当前像素点与所述邻域点集计算所述当前像素点对应的局部法向量的步骤包括：
每次在所述邻域点集中选取两个不同的像素点与所述中心点组成两个向量，将所述两个向量进行叉乘计算得到候选法向量，直到所述邻域点集中的任意两个不同像素点均有对应的候选法向量；
计算所有候选法向量相互之间的第二夹角，当任一个候选法向量对应的所有第二夹角中大于预设夹角的数目达到预设值时，排除所述候选法向量；
将最终保留的所有候选法向量取平均值或者进行拟合计算，得到所述当前像素点对应的局部法向量。
在可选的实施方式中，所述基于当前像素点确定对应的邻域点集的步骤包括：当所述初始点云数据为有序点云数据时，根据所述初始点云数据中的像素点的序号，选取与所述当前像素点的序号最接近的设定数量个像素点构成邻域点集；当所述初始点云数据为无序点云数据时，根据所述初始点云数据构建KDTree数据结构，基于所述KDTree数据结构查找与所述当前像素点距离最近的设定数量个像素点构成邻域点集；
所述根据所述当前像素点与所述邻域点集计算所述当前像素点对应的局部法向量的步骤包括：基于所述当前像素点与所述邻域点集，利用主成分分析算法或者最小二乘法拟合平面，计算所述当前像素点对应的局部法向量。
在可选的实施方式中，所述遍历所述初始点云数据中的每一个点云的步骤之前，所述方法还包括：
对所述初始点云数据进行旋滤波处理。
在可选的实施方式中，所述对所述初始点云数据进行旋滤波处理的步骤包括：
在以当前像素点为中心的n×n窗口内确定预设数目个等角度间隔的旋滤波方向；
在每个旋滤波方向计算梯度均值；
计算每个旋滤波方向上各像素点的梯度值与所述梯度均值的差值之和；
确定所有旋滤波方向对应的差值之和中的最小值，将所述最小值对应的旋滤波方向作为目标旋滤波方向；
在所述目标旋滤波方向上调用滤波器进行去噪处理。
在可选的实施方式中，所述根据所述第一夹角与设定阈值的大小判断所述当前像素点为噪声点或者有效点的步骤包括：
当所述第一夹角超过设定阈值时，将所述当前像素点确定为噪声点；
当所述第一夹角未超过设定阈值时，将所述当前像素点确定为有效点。
在可选的实施方式中，所述设定阈值与结构光投影结构关联。
第二方面，本发明实施例提供一种点云降噪装置，所述装置包括：
点云获取模块，用于获取初始点云数据；
邻域点集确定模块，用于遍历所述初始点云数据中的每一个像素点，基于当前像素点确定对应的邻域点集；
局部法向量计算模块，用于根据所述当前像素点与所述邻域点集计算所述当前像素点对应的局部法向量；
视线方向向量计算模块，用于根据所述当前像素点的坐标信息和所述初始点云数据对应的坐标原点计算所述当前像素点的视线方向向量；
第一夹角计算模块，用于计算所述局部法向量和所述视线方向向量的第一夹角；所述第一夹角表征所述当前像素点信息采样的优劣程度；
降噪处理模块，用于根据所述第一夹角与设定阈值的大小判断所述当前像素点为噪声点或者有效点，在遍历结束后根据所有的有效点输出降噪点云数据。
第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时，实现如前述实施方式中任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前述实施方式中任一项所述的方法。
本发明实施例提供的点云降噪方法、装置、电子设备和计算机可读存储介质，在获取初始点云数据后，通过遍历初始点云数据中的每一个像素点，基于当前像素点确定对应的邻域点集，然后根据当前像素点和邻域点集计算当前像素点对应的局部法向量，根据当前像素点的坐标信息和初始点云数据对应的坐标原点计算当前像素点的视线方向向量，并计算局部法向量和视线方向向量的第一夹角，根据该第一夹角与设定阈值的大小判断当前像素点为噪声点或者有效点，在遍历结束后根据所有的有效点输出降噪点云数据。由于局部法向量和视线方向向量的第一夹角表征了当前像素点信息采样的优劣程度，其物理意义非常直观，故根据该第一夹角与设定阈值的大小判断噪声点与有效点，噪声点和有效点的区分度高，进而有效提高了点云数据的降噪效果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备的一种结构框图；
图2示出了本发明实施例提供的点云降噪方法的一种流程示意图；
图3示出了初始点云数据经过降噪处理后得到的降噪点云数据的一种示意图；
图4示出了本发明实施例提供的点云降噪方法的另一种流程示意图；
图5示出了图4中步骤S401的子步骤流程示意图；
图6示出了本发明实施例提供的点云降噪装置的一种功能模块图；
图7示出了本发明实施例提供的点云降噪装置的另一种功能模块图。
图标：100-电子设备；110-存储器；120-处理器；130-通信模块；600-点云降噪装置；610-点云获取模块；620-邻域点集确定模块；630-局部法向量计算模块；640-视线方向向量计算模块；650-第一夹角计算模块；660-降噪处理模块；670-旋滤波处理模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参照图1，为本发明实施例提供的电子设备100的一种结构框图。该电子设备100可以为三维相机或者PC(Personal Computer，个人计算机)等设备，对于获取的初始点云数据，能够以简单且有效的方式对其进行降噪处理，实现较好的降噪效果。在本实施例中，该电子设备100可以包括存储器110、处理器120及通信模块130，存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。例如，当存储器110存储的计算机程序被处理器120执行时，能够实现本发明各实施例所揭示的点云降噪方法。
通信模块130用于通过网络建立与其它通信终端之间的通信连接，并用于通过网络收发数据。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，该电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器120执行时，能够实现本发明各实施例所揭示的点云降噪方法。
请参照图2，为本发明实施例提供的点云降噪方法的一种流程示意图。需要说明的是，本发明实施例提供的点云降噪方法并不以图2以及以下的具体顺序为限制，应当理解，在其他实施例中，本发明实施例提供的点云降噪方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该点云降噪方法可以应用在图1所示的电子设备100中，下面将对图2所示的具体流程进行详细阐述。
步骤S201，获取初始点云数据。
其中，该初始点云数据可以是利用各种三维测量技术(例如结构光、飞行时间、双目视觉等)获取的点云数据。在本实施例中，可以结构光立体相机重建的3D点云为例。
步骤S202，遍历初始点云数据中的每一个像素点，基于当前像素点确定对应的邻域点集。
在本实施例中，该初始点云数据可以是有序的或者无序的，对于有序点云数据和无序点云数据，邻域点集的确定方式有一定差别。具体地，该步骤S202可以包括：当初始点云数据为有序点云数据时，根据初始点云数据中的像素点的序号，选取与当前像素点的序号最接近的设定数量个像素点构成邻域点集；当初始点云数据为无序点云数据时，根据初始点云数据构建KDTree数据结构，基于KDTree数据结构查找与当前像素点距离最近的设定数量个像素点构成邻域点集。
其中，KDTree(K-Dimensional树)是一颗二叉树，树中存储的是一些K(本实施例中K＝3)维数据，可用于多维空间关键数据的搜索(如范围搜索、最近邻搜索等)。在一个K维数据集合上构建一棵Kd-Tree代表了对该K维数据集合构成的K维空间的一个划分，即树中的每个节点对应了一个K维的超矩形区域(Hyperrectangle)。本实施例中根据初始点云数据构建相应的KDTree数据结构后，基于该KDTree数据结构使用邻域搜索算法可以搜索到设定数量个与当前像素点距离最近的像素点。
例如，当初始点云数据为有序点云数据时，初始点云数据中的各像素点的序号在一定程度上可以代表各像素点之间的距离远近，假设当前像素点的序号为15，设定数量为4，则与当前像素点的序号最接近的4个像素点分别为：序号为13、14、16、17的像素点，此时该4个像素点可以构成该当前像素点对应的邻域点集。当初始点云数据为无序点云数据时，首先根据初始点云数据构建相应的KDTree数据结构，然后使用邻域搜索算法搜索4个与当前像素点距离最近的像素点，该4个像素点即构成该当前像素点对应的邻域点集。
此外，为了提高计算速度，本实施例中还可以当前像素点为中心点，选取n×n窗口内的像素点构成邻域点集。其中，n的取值可以根据实际场景需要设定。
步骤S203，根据当前像素点与邻域点集计算当前像素点对应的局部法向量。
在本实施例中，针对以当前像素点为中心点，选取n×n窗口内的像素点构成邻域点集的邻域点集确定方式，该步骤S203具体可以包括：每次在邻域点集中选取两个不同的像素点与中心点组成两个向量，将两个向量进行叉乘计算得到候选法向量，直到邻域点集中的任意两个不同像素点均有对应的候选法向量；计算所有候选法向量相互之间的第二夹角，当任一个候选法向量对应的所有第二夹角中大于预设夹角的数目达到预设值时，排除候选法向量；将最终保留的所有候选法向量取平均值或者进行拟合计算，得到当前像素点对应的局部法向量。该计算方式可以快速得到局部法向量。
例如，假设预设值为3，当邻域点集中包括4个像素点时，则通过每次选取两个不同的像素点与中心点组成两个向量，并将两个向量进行叉乘计算得到候选法向量pi后，最终可得到6个候选法向量p1、p2、p3、p4、p5、p6；分别计算该6个候选法向量相互之间的第二夹角，当候选法向量p1与另外5个候选法向量之间的第二夹角中有3个超过预设夹角时，则将候选法向量p1排除，其它候选法向量按照同样的方式判断是排除还是保留，如此可以排除与其它多数候选法向量夹角较大的候选法向量，将最终保留下来的候选法向量取平均值或者进行拟合计算，便可以得到该当前像素点对应的局部法向量p。
在另一种实施方式中，还可以按照以下方式计算当前像素点对应的局部法向量：基于当前像素点与邻域点集，利用主成分分析算法或者最小二乘法拟合平面，计算当前像素点对应的局部法向量。
步骤S204，根据当前像素点的坐标信息和初始点云数据对应的坐标原点计算当前像素点的视线方向向量。
可选地，该初始点云数据对应的坐标原点可以根据相机、投影仪所处的位置，或者根据相机与投影仪之间的位置进行设置，还可以根据初始点云数据中的各像素点的坐标信息计算得到。
在本实施例中，以相机所处的位置作为坐标原点为例，当前像素点的坐标信息为相机坐标系下的坐标(xc,yc,zc)，则该当前像素点的坐标与坐标原点之间的连线的方向即可认为是当前像素点的视线方向，得到该当前像素点的视线方向向量。
步骤S205，计算局部法向量和视线方向向量的第一夹角；第一夹角表征当前像素点信息采样的优劣程度。
在本实施例中，该局部法向量和视线方向向量的第一夹角θ的物理意义为表征当前像素点信息采样的优劣程度，第一夹角θ越大，表明该当前像素点的采样信息量越低越差，第一夹角θ越小，表明该当前像素点的采样信息量越丰富。
步骤S206，根据第一夹角与设定阈值的大小判断当前像素点为噪声点或者有效点，在遍历结束后根据所有的有效点输出降噪点云数据。
在本实施例中，该设定阈值θv与结构光投影结构关联，可以通过相关的几何参数(例如，相机镜头焦距等)并结合实际场景、实验数据等进行预先设置，可以理解为经验值。通过设置合理的设定阈值θv，即可简单、有效地区分该当前像素点是属于噪声点还是有效点。具体地，在本实施例中，当第一夹角超过设定阈值θv时，将当前像素点确定为噪声点，当第一夹角未超过设定阈值θv时，将当前像素点确定为有效点。
通过遍历初始点云数据中的所有像素点并重复以上的计算判断过程，即可有效区分出每个像素点是属于噪声点还是有效点，保留初始点云数据中所有的有效点，最终输出降噪点云数据，完成初始点云数据的降噪处理。如图3所示，为初始点云数据(a)经过降噪处理后得到的降噪点云数据(b)的一种示意图，通过对比分析可知，利用本发明实施例提供的点云降噪方法对初始点云数据(a)进行降噪处理后，所得到的降噪点云数据(b)中基本上去除了初始点云数据上(a)的噪声点，点云数据的质量有了明显改善。
可选地，本实施例中在获取初始点云数据之后，以及遍历初始点云数据中的每一个点云的步骤之前，还需要对获取的初始点云数据进行旋滤波处理。请参照图4，该点云降噪方法还包括：
步骤S401，对初始点云数据进行旋滤波处理。
在本实施例中，通过对初始点云数据进行旋滤波处理，一方面能够有效地抑制系统噪声，另一方面能够较高程度地保持结构光条纹或者其他有用特征信息，在降噪的同时较好地平衡噪声点的误检率与漏检率。
可选地，请参照图5，该步骤S401具体包括如下子步骤：
子步骤S4011，在以当前像素点为中心的n×n窗口内确定预设数目个等角度间隔的旋滤波方向。
在本实施例中，n可以等于3、5、7或其他值，预设数目可以为4、16、32或其他数目。
子步骤S4012，在每个旋滤波方向计算梯度均值。
在本实施例中，可以根据公式计算每个旋滤波方向上的梯度均值；其中，下标ij表示当前像素点的位置，k为旋滤波方向，G是k方向上第l个像素点的梯度值，n为旋滤波窗口总的像素数。
子步骤S4013，计算每个旋滤波方向上各像素点的梯度值与梯度均值的差值之和。
在本实施例中，可以根据公式计算每个旋滤波方向上各像素点的梯度值与梯度均值的差值之和；其中，sumD代表k方向上的梯度分布变化。
子步骤S4014，确定所有旋滤波方向对应的差值之和中的最小值，将最小值对应的旋滤波方向作为目标旋滤波方向。
在本实施例中，由于滤波要在梯度变化最小的切向进行，故在计算出所有旋滤波方向对应的差值之和后，需对sumD比较求取最小值，该最小值代表的旋滤波方向即为切向的旋滤波方向kg(即目标旋滤波方向)。
子步骤S4015，在目标旋滤波方向上调用滤波器进行去噪处理。
在本实施例中，可以在该目标旋滤波方向上调用均值、中值或其他滤波器进行去噪处理，最后将经过旋滤波处理的初始点云数据进行后续的局部法向量、视线方向向量的计算、噪声点与有效点的区分等步骤，具体参考前述的步骤S202～S206，此处不再赘述。
需要说明的是，对于初始点云数据的旋滤波处理，可以根据采样系统误差的程度选择开启或者关闭，开启旋滤波处理能够保留更多的有效点，关闭旋滤波处理则能够充分保持原始数据的特征但会判断出更多的噪声点，因此开启与否取决于实际应用的具体要求，本实施例对此不做限制。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种点云降噪装置的实现方式，请参阅图6，为本发明实施例提供的点云降噪装置600的一种功能模块图。需要说明的是，本实施例所提供的点云降噪装置600，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该点云降噪装置600包括：点云获取模块610、邻域点集确定模块620、局部法向量计算模块630、视线方向向量计算模块640、第一夹角计算模块650、降噪处理模块660。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于该电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
该点云获取模块610用于获取初始点云数据。
可以理解，该点云获取模块610可以执行上述步骤S201。
该邻域点集确定模块620用于遍历初始点云数据中的每一个像素点，基于当前像素点确定对应的邻域点集。
可以理解，该邻域点集确定模块620可以执行上述步骤S202。
该局部法向量计算模块630用于根据当前像素点与邻域点集计算当前像素点对应的局部法向量。
可以理解，该局部法向量计算模块630可以执行上述步骤S203。
该视线方向向量计算模块640用于根据当前像素点的坐标信息和初始点云数据对应的坐标原点计算当前像素点的视线方向向量。
可以理解，该视线方向向量计算模块640可以执行上述步骤S204。
该第一夹角计算模块650用于计算局部法向量和视线方向向量的第一夹角；第一夹角表征当前像素点信息采样的优劣程度。
可以理解，该第一夹角计算模块650可以执行上述步骤S205。
该降噪处理模块660用于根据第一夹角与设定阈值的大小判断当前像素点为噪声点或者有效点，在遍历结束后根据所有的有效点输出降噪点云数据。
在本实施例中，该设定阈值与结构光投影结构关联。
可以理解，该降噪处理模块660可以执行上述步骤S206。
可选地，在一种实施方式中，该邻域点集确定模块620具体用于以当前像素点为中心点，选取n×n窗口内的像素点构成邻域点集。该局部法向量计算模块630具体用于每次在邻域点集中选取两个不同的像素点与中心点组成两个向量，将两个向量进行叉乘计算得到候选法向量，直到邻域点集中的任意两个不同像素点均有对应的候选法向量；计算所有候选法向量相互之间的第二夹角，当任一个候选法向量对应的所有第二夹角中大于预设夹角的数目达到预设值时，排除候选法向量；将最终保留的所有候选法向量取平均值或者进行拟合计算，得到当前像素点对应的局部法向量。
可选地，在一种实施方式中，该邻域点集确定模块620具体用于当初始点云数据为有序点云数据时，根据初始点云数据中的像素点的序号，选取与当前像素点的序号最接近的设定数量个像素点构成邻域点集；当初始点云数据为无序点云数据时，根据初始点云数据构建KDTree数据结构，基于KDTree数据结构查找与当前像素点距离最近的设定数量个像素点构成邻域点集。该局部法向量计算模块630具体用于基于当前像素点与邻域点集，利用主成分分析算法或者最小二乘法拟合平面，计算当前像素点对应的局部法向量。
可选地，请参照图7，该点云降噪装置600还可以包括旋滤波处理模块670，该旋滤波处理模块670用于在点云获取模块610获取初始点云数据后，以及在邻域点集确定模块620遍历初始点云数据中的每一个像素点之前，对初始点云数据进行旋滤波处理。
其中，该旋滤波处理模块670具体用于在以当前像素点为中心的n×n窗口内确定预设数目个等角度间隔的旋滤波方向，在每个旋滤波方向计算梯度均值，计算每个旋滤波方向上各像素点的梯度值与梯度均值的差值之和，确定所有旋滤波方向对应的差值之和中的最小值，将最小值对应的旋滤波方向作为目标旋滤波方向，在目标旋滤波方向上调用滤波器进行去噪处理。
可以理解，该旋滤波处理模块670可以执行上述步骤S401、S4011～S4015。
综上，本发明实施例提供的点云降噪方法、装置、电子设备和计算机可读存储介质，在获取初始点云数据后，通过遍历初始点云数据中的每一个像素点，基于当前像素点确定对应的邻域点集，然后根据当前像素点和邻域点集计算当前像素点对应的局部法向量，根据当前像素点的坐标信息和初始点云数据对应的坐标原点计算当前像素点的视线方向向量，并计算局部法向量和视线方向向量的第一夹角，根据该第一夹角与设定阈值的大小判断当前像素点为噪声点或者有效点，在遍历结束后根据所有的有效点输出降噪点云数据。由于局部法向量和视线方向向量的第一夹角表征了当前像素点信息采样的优劣程度，其物理意义非常直观，故根据该第一夹角与设定阈值的大小判断噪声点与有效点，噪声点和有效点的区分度高，进而有效提高了点云数据的降噪效果。在获取初始点云数据后，通过对初始点云数据进行旋滤波处理，不仅能有效地抑制系统噪声，还能较高程度地保持结构光条纹或者其他有用特征信息，在降噪的同时较好地平衡噪声点的误检率与漏检率。整个算法架构简单，容易实现，能够兼顾去噪效果和计算速度。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种点云降噪方法，其特征在于，所述方法包括：
获取初始点云数据；
遍历所述初始点云数据中的每一个像素点，基于当前像素点确定对应的邻域点集；
根据所述当前像素点与所述邻域点集计算所述当前像素点对应的局部法向量；
根据所述当前像素点的坐标信息和所述初始点云数据对应的坐标原点计算所述当前像素点的视线方向向量；
计算所述局部法向量和所述视线方向向量的第一夹角；所述第一夹角表征所述当前像素点信息采样的优劣程度；
根据所述第一夹角与设定阈值的大小判断所述当前像素点为噪声点或者有效点，在遍历结束后根据所有的有效点输出降噪点云数据；
所述基于当前像素点确定对应的邻域点集的步骤包括：以所述当前像素点为中心点，选取n×n窗口内的像素点构成邻域点集；所述根据所述当前像素点与所述邻域点集计算所述当前像素点对应的局部法向量的步骤包括：每次在所述邻域点集中选取两个不同的像素点与所述中心点组成两个向量，将所述两个向量进行叉乘计算得到候选法向量，直到所述邻域点集中的任意两个不同像素点均有对应的候选法向量；计算所有候选法向量相互之间的第二夹角，当任一个候选法向量对应的所有第二夹角中大于预设夹角的数目达到预设值时，排除所述候选法向量；将最终保留的所有候选法向量取平均值或者进行拟合计算，得到所述当前像素点对应的局部法向量。
2.根据权利要求1所述的方法，其特征在于，所述遍历所述初始点云数据中的每一个点云的步骤之前，所述方法还包括：
对所述初始点云数据进行旋滤波处理。
3.根据权利要求2所述的方法，其特征在于，所述对所述初始点云数据进行旋滤波处理的步骤包括：
在以当前像素点为中心的n×n窗口内确定预设数目个等角度间隔的旋滤波方向；
在每个旋滤波方向计算梯度均值；
计算每个旋滤波方向上各像素点的梯度值与所述梯度均值的差值之和；
确定所有旋滤波方向对应的差值之和中的最小值，将所述最小值对应的旋滤波方向作为目标旋滤波方向；在所述目标旋滤波方向上调用滤波器进行去噪处理。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一夹角与设定阈值的大小判断所述当前像素点为噪声点或者有效点的步骤包括：
当所述第一夹角超过设定阈值时，将所述当前像素点确定为噪声点；
当所述第一夹角未超过设定阈值时，将所述当前像素点确定为有效点。
5.一种点云降噪装置，其特征在于，所述装置包括：
点云获取模块，用于获取初始点云数据；
邻域点集确定模块，用于遍历所述初始点云数据中的每一个像素点，基于当前像素点确定对应的邻域点集；
局部法向量计算模块，用于根据所述当前像素点与所述邻域点集计算所述当前像素点对应的局部法向量；
视线方向向量计算模块，用于根据所述当前像素点的坐标信息和所述初始点云数据对应的坐标原点计算所述当前像素点的视线方向向量；
第一夹角计算模块，用于计算所述局部法向量和所述视线方向向量的第一夹角；所述第一夹角表征所述当前像素点信息采样的优劣程度；
降噪处理模块，用于根据所述第一夹角与设定阈值的大小判断所述当前像素点为噪声点或者有效点，在遍历结束后根据所有的有效点输出降噪点云数据；
所述邻域点集确定模块具体用于以所述当前像素点为中心点，选取n×n窗口内的像素点构成邻域点集；所述局部法向量计算模块具体用于每次在所述邻域点集中选取两个不同的像素点与所述中心点组成两个向量，将所述两个向量进行叉乘计算得到候选法向量，直到所述邻域点集中的任意两个不同像素点均有对应的候选法向量；计算所有候选法向量相互之间的第二夹角，当任一个候选法向量对应的所有第二夹角中大于预设夹角的数目达到预设值时，排除所述候选法向量；将最终保留的所有候选法向量取平均值或者进行拟合计算，得到所述当前像素点对应的局部法向量。
6.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-4中任一项所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010660830.2A CN111798398B (zh) | 2020-07-10 | 2020-07-10 | 点云降噪方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010660830.2A CN111798398B (zh) | 2020-07-10 | 2020-07-10 | 点云降噪方法、装置、电子设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111798398A CN111798398A (zh) | 2020-10-20 |
| CN111798398B true CN111798398B (zh) | 2023-09-22 |
Family
ID=72811509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010660830.2A Active CN111798398B (zh) | 2020-07-10 | 2020-07-10 | 点云降噪方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798398B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972044A (zh) * | 2021-02-19 | 2022-08-30 | 广东博智林机器人有限公司 | 点云去噪方法、装置、电子设备及存储介质 |
| CN113569915B (zh) * | 2021-06-30 | 2024-04-02 | 广西大学 | 一种基于激光雷达的多策略轨道交通障碍物识别方法 |
| CN114648711B (zh) * | 2022-04-11 | 2023-03-10 | 成都信息工程大学 | 一种基于聚类的云微粒子图像虚假目标滤除方法 |
| CN115830269B (zh) * | 2022-12-08 | 2023-06-06 | 中铁工程设计咨询集团有限公司 | 隧道点云法线方向调整方法、装置、设备及可读存取介质 |
| CN117474795B (zh) * | 2023-12-27 | 2024-05-24 | 深圳市信润富联数字科技有限公司 | 点云降噪方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599129A (zh) * | 2016-12-02 | 2017-04-26 | 山东科技大学 | 一种顾及地形特点的多波束点云数据去噪方法 |
| CN107274422A (zh) * | 2017-05-08 | 2017-10-20 | 燕山大学 | 一种基于法线信息和k邻域搜索结合的点云边缘提取方法 |
| CN107610176A (zh) * | 2017-09-15 | 2018-01-19 | 斯坦德机器人（深圳）有限公司 | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 |
| CN108876744A (zh) * | 2018-06-27 | 2018-11-23 | 大连理工大学 | 一种基于区域分割的大尺度点云噪声去噪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590311A (zh) * | 2014-11-13 | 2016-05-18 | 富泰华工业（深圳）有限公司 | 图形化平面数据分析系统及方法 |
-
2020
- 2020-07-10 CN CN202010660830.2A patent/CN111798398B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599129A (zh) * | 2016-12-02 | 2017-04-26 | 山东科技大学 | 一种顾及地形特点的多波束点云数据去噪方法 |
| CN107274422A (zh) * | 2017-05-08 | 2017-10-20 | 燕山大学 | 一种基于法线信息和k邻域搜索结合的点云边缘提取方法 |
| CN107610176A (zh) * | 2017-09-15 | 2018-01-19 | 斯坦德机器人（深圳）有限公司 | 一种基于Kinect的栈板动态识别与定位方法、系统及介质 |
| CN108876744A (zh) * | 2018-06-27 | 2018-11-23 | 大连理工大学 | 一种基于区域分割的大尺度点云噪声去噪方法 |
Non-Patent Citations (6)
| Title |
|---|
| 一种自适应点云特征点提取算法;韩磊;陈宇;王春阳;于艳鑫;;现代计算机(专业版)(11);全文 * |
| 一种航空影像密集匹配点云的迭代中值滤波算法;郑建;高红旗;戴永洪;;人民长江(08);全文 * |
| 基于kd＿tree算法和法向量估计的点云数据精简方法;王丽;;宿州学院学报(12);全文 * |
| 基于旋滤波的表面粗糙度图像预处理方法;刘颖;唐文彦;段海峰;;光电子技术(02);全文 * |
| 引入曲面变分实现点云法矢一致性调整;何华 等;《测绘学报》;全文 * |
| 改进的ICP点云配准算法;朱新宇 等;《海洋测绘》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111798398A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798398B (zh) | 点云降噪方法、装置、电子设备和计算机可读存储介质 | |
| US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
| CN109766404A (zh) | 点云处理方法、装置及计算机可读存储介质 | |
| CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
| CN107980138A (zh) | 一种虚警障碍物检测方法及装置 | |
| US9153067B2 (en) | Systems and methods for 3D data based navigation using descriptor vectors | |
| Duan et al. | Weighted multi-projection: 3D point cloud denoising with tangent planes | |
| CN114359042A (zh) | 点云拼接方法和装置、三维扫描仪及电子设备 | |
| CN116958145B (zh) | 图像处理方法、装置、视觉检测系统及电子设备 | |
| O'Byrne et al. | A stereo‐matching technique for recovering 3D information from underwater inspection imagery | |
| CN109191513A (zh) | 基于全局优化的电力设备立体匹配方法 | |
| CN111476812A (zh) | 地图分割方法、装置、位姿估计方法和设备终端 | |
| CN117726673B (zh) | 焊缝位置获得方法、装置及电子设备 | |
| CN117291936A (zh) | 点云分割方法、装置、设备和介质 | |
| CN113298838B (zh) | 一种物体轮廓线提取方法及系统 | |
| CN114445473A (zh) | 基于深度学习算子的立体匹配方法和系统 | |
| EP2757526B1 (en) | Systems and methods for 3D data based navigation using a watershed method | |
| CN117474998A (zh) | 一种货架位置检测方法、装置、设备及存储介质 | |
| Pham et al. | Robust non-local stereo matching for outdoor driving images using segment-simple-tree | |
| Lee et al. | Refinement of inverse depth plane in textureless and occluded regions in a multiview stereo matching scheme | |
| CN113096024B (zh) | 用于深度数据的去飞点方法及其系统和电子设备 | |
| Kovacs et al. | Edge detection in discretized range images | |
| Borisagar et al. | Census and segmentation-based disparity estimation algorithm using region merging | |
| CN117495785B (zh) | 一种基于点云数据的产品检测方法及装置 | |
| CN117455928B (zh) | 无序抓取过程中抓取对象的分割方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230105 Address after: 314506 room 116, building 4, No. 288, development avenue, Tongxiang Economic Development Zone, Tongxiang City, Jiaxing City, Zhejiang Province Applicant after: Shengjing Intelligent Technology (Jiaxing) Co.,Ltd. Address before: 102200 5th floor, building 6, No.8 Beiqing Road, Changping District, Beijing Applicant before: SANY HEAVY INDUSTRY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |