CN113538264B - 一种点云数据的去噪方法、装置及存储介质 - Google Patents
一种点云数据的去噪方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113538264B CN113538264B CN202110739242.2A CN202110739242A CN113538264B CN 113538264 B CN113538264 B CN 113538264B CN 202110739242 A CN202110739242 A CN 202110739242A CN 113538264 B CN113538264 B CN 113538264B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- power line
- data
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000000605 extraction Methods 0.000 claims abstract description 79
- 230000009466 transformation Effects 0.000 claims abstract description 49
- 238000012216 screening Methods 0.000 claims abstract description 18
- 230000009467 reduction Effects 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 238000010845 search algorithm Methods 0.000 claims description 32
- 230000011218 segmentation Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 16
- 230000000694 effects Effects 0.000 abstract description 7
- 230000002776 aggregation Effects 0.000 abstract description 5
- 238000004220 aggregation Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种点云数据的去噪方法、装置及存储介质，所述方法包括：获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。本发明实施例通过上述方法以坐标变换的方式对点云数据沿着电力线方向进行压缩，以此提高电力线点云的聚集程度从而达到在保留电力线数据完整性的前提下尽可能多的去除影响后续操作的噪声点，提高去噪的准确度和效果，经过处理之后的点云数据具有更高的鲁棒性，为后续的点云处理工作提供了更优质的数据，方便用户。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及的是一种点云数据的去噪方法、装置及存储介质。
背景技术
随着经济发展社会进步，输电线路规模也日益的增大，为了提早预防与发现配电线路的缺陷隐患，电力巡线、树障分析等工作的重要性与日俱增，随着新型的无人机测量手段的发展，越来越多的巡检工作都围绕着倾斜影像采集与激光扫描来展开，仪器在扫描过程中,由于激光扫描仪本身原因、被扫物体的质量情况、外界其他因素等形成的一些散乱点、空洞等噪声，噪声会影响数据整体质量，对后续相关的数字几何处理带来极大的影响。
利用去噪结果点云可以展开如巡视航线规划、电网改造等工作和研究，目前针对传统的点云去噪方法，现有的点云去噪技术的问题：
1.难以去除离电力线较近的噪声点；
2.难以在保证不破坏原本点云的前提下，去除比较密集的噪声点。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种点云数据的去噪方法，旨在解决现有技术中难以去除离电力线较近的噪声点以及难以在保证不破坏原本点云的前提下，去除比较密集的噪声点的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种点云数据的去噪方法，其中，所述方法包括：
获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；
计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；
将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
在一种实现方式中，其中，所述获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云包括：
采集待去噪电力线点云；
对所述待去噪电力线点云进行空间分割，得到空间网格点云；
对所述空间网格点云进行粗提取，得到粗提取点云。
在一种实现方式中，其中，所述对所述待去噪电力线点云进行空间分割，得到空间网格点云包括：
将预设的二维空间先按照X轴进行等距分割，接着按照Y轴进行等距分割，得到二维分割空间；
将所述待去噪电力线点云映射到二维分割空间中，得到空间网格点云。
在一种实现方式中，其中，所述对所述空间网格点云进行粗提取，得到粗提取点云包括：
获取所述空间网格点云中子空间网格点云的平均密度和所述空间网格点云的平均密度；
基于高程滤波算法、子空间网格点云的平均密度和所述空间网格点云的平均密度，计算每个子空间网格点云的高程区间；
将所述空间网格点云中的所有子空间网格点云的高程区间滤除，得到粗提取点云。
在一种实现方式中，其中，所述计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云包括：
计算所述粗提取点云的质心；
根据所述质心，得到坐标转换点云；其中，所述坐标转换点云包括若干第一点云数据；
在所述坐标转换点云中随机选择一个第一点云数据，采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合；其中，所述第一点云集合为所述第一点云数据及与所述第一点云数据距离小于或等于预设值的若干点云数据的集合；
将所述第一点云集合中除去所述第一点云数据后剩下的点云数据作为第二点云数据，对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合；其中，所述第二点云集合为每个第二点云数据及与每个第二点云数据距离小于或等于所述预设值的若干点云数据的集合；
将所述第二点云集合中除去所述第二点云数据后剩下的点云数据作为更新的第二点云数据，继续执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合的步骤；
当更新的第二点云集合中的点云数据的个数不增加时，停止执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合的步骤，并将更新的第二点云集合和所述第一点云集合进行合并，得到更新后的第一点云集合；
在所述坐标转换点云除去更新后的第一点云集合后剩下的点云数据中随机选择一个第三点云数据，将所述第三点云数据作为更新的第一点云数据，重复执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤；
当所述集合向量中的点云数据和所述坐标转换点云中的点云数据相等时，则停止执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤，得到若干第三点云集合；
将所述第一点云集合和若干第三点云集合组成集合向量；
当所述集合向量中的点云集合中点云数量小于预设的阈值时，将所述点云集合作为噪声点删除，得到中间电力线点云。
在一种实现方式中，其中，所述根据所述质心，得到坐标转换点云包括：
将所述质心作为中心点坐标，构建协方差矩阵；
对协方差矩阵进行对角化，得到特征值矩阵；
求解所述特征值矩阵中的最大特征值；
将所述最大特征值代入到所述协方差矩阵中，得到所述最大特征值对应的特征向量；
根据所述特征向量，对所述粗提取点云进行坐标转换，得到坐标转换点云。
在一种实现方式中，其中，所述将所述中间电力线点云进行坐标还原变换，得到目标电力线点云包括：
根据所述特征向量，将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
第二方面，本发明实施例还提供一种点云数据的去噪装置其中，上述装置包括：
粗提取点云获取模块，用于获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；
中间电力线点云获取模块，用于计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；
目标电力线点云获取模块，用于将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
第三方面，本发明实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的点云数据的去噪方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述点云数据方法。
本发明的有益效果：本发明实施例首先获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云，以便减少后续点云数据处理的计算量；然后计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；通过坐标变换对点云数据沿着电力线方向进行压缩，以此提高电力线点云的聚集程度从而达到在保留电力线数据完整性的前提下尽可能多的去除影响筛选操作的噪声点，提高去噪的准确度和效果，最后将所述中间电力线点云进行坐标还原变换，得到目标电力线点云；经过处理之后的目标电力线点云数据具有更高的鲁棒性，为后续的点云处理工作提供了更优质的数据，方便用户。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的点云数据的去噪方法流程示意图。
图2为本发明实施例提供的点云数据的去噪方法一个实施例的示意图。
图3为本发明实施例提供的kdtree空间分割过程示意图。
图4为本发明实施例提供的点云数据的去噪装置的原理框图。
图5为本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
本发明公开了点云数据的去噪方法、装置、存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中，点云去噪方法存在以下问题：
1.难以去除离电力线较近的噪声点；
2.难以在保证不破坏原本点云的前提下，去除比较密集的噪声点。
为了解决现有技术的问题，本实施例提供了一种点云数据的去噪方法，通过上述方法以坐标变换的方式对点云数据沿着电力线方向进行压缩，以此提高电力线点云的聚集程度从而达到在保留电力线数据完整性的前提下尽可能多的去除影响后续操作的噪声点，提高去噪的准确度和效果，经过处理之后的点云数据具有更高的鲁棒性，为后续的点云处理工作提供了更优质的数据，方便用户。具体实施时，先获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；然后计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；最后将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
示例性方法
本实施例提供一种点云数据的去噪方法，该方法可以应用于计算机的智能终端。具体如图1所示，所述方法包括：
步骤S100、获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；
具体地，可以通过机载LiDAR采集输电线路走廊的条状待去噪电力线点云，也可以通过背包式雷达采集输电线路走廊的条状待去噪电力线点云。然后对所述待去噪电力线点云进行粗提取，也即为了减小后续数据处理的计算量，只处理所述待去噪电力线点云中部分符合要求的点云数据。
为了得到粗提取点云，所述获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云包括如下步骤：
S101、采集待去噪电力线点云；
S102、对所述待去噪电力线点云进行空间分割，得到空间网格点云；
S103、对所述空间网格点云进行粗提取，得到粗提取点云。
在本实施例中，机载LiDAR采集输电线路走廊的条状待去噪电力线点云，然后对所述待去噪电力线点云进行空间分割，得到空间网格点云；可以按照不规则形状进行空间分割，也可以按照规则形状进行空间分割，得到空间网格点云，最后提取空间网格点云中的符合要求的点云数据，得到粗提取点云。
具体地，步骤S102包括如下步骤：
S1021、将预设的二维空间先按照X轴进行等距分割，接着按照Y轴进行等距分割，得到二维分割空间；
S1022、将所述待去噪电力线点云映射到二维分割空间中，得到空间网格点云。
具体地，将预设的二维空间对应到二维坐标系中，先按照X轴进行等距分割，接着按照Y轴进行等距分割，得到二维分割空间；例如，根据输电线路走廊的地形情况设置分割尺度dx和dy，一般为几米到几十米，地形起伏变化越小分割尺度越大，先沿X轴方向根据尺度dx等距分割，然后对分割所得网格沿Y轴方向根据尺度dy进一步等距分割，得到二维分割空间。然后将所述待去噪电力线点云数据按照其本身占有的空间映射到二维分割空间中，得到空间网格点云。
具体地，步骤S103包括如下步骤：
S1031、获取所述空间网格点云中子空间网格点云的平均密度和所述空间网格点云的平均密度；
S1032、基于高程滤波算法、子空间网格点云的平均密度和所述空间网格点云的平均密度，计算每个子空间网格点云的高程区间；
S1033、将所述空间网格点云中的所有子空间网格点云的高程区间滤除，得到粗提取点云。
具体地，先获取所述空间网格点云中子空间网格点云的平均密度和所述空间网格点云的平均密度；例如，d表示每个子空间网格的点云平均密度，D表示输电线路总体点云的点云平均密度(输电线路总体点云个数/输电线路水平投影面积)。然后基于高程滤波算法、子空间网格点云的平均密度和所述空间网格点云的平均密度，计算每个子空间网格点云的高程区间；高程滤波算法是通过设置高程区间，过滤掉位于高程区间内(外)的点云数据的方法。例如，Zmin、Zmean分别表示每个子空间网格点云高程的最小值和平均值。a和b表示常数，其取值根据实际数据的电力线粗提取效果进行调整，在保证电力线完整度的情况下取值尽可能大，以便减少后续滤波算法的计算量，提高效率。f(z)表示不同条件下子空间网格中需要被滤除的非电力线点的高程区间。
当d>0.6*D时，表示该子空间网格内存在大量地面点、电塔点或者植被点；
当0.03*D≤d≤0.6*D时，该子空间网格内存在地面、电塔点或者植被点但比较稀疏；
当d<0.03*D时，该子空间网格中只有极少数点，此时可能存在的点为电力线点或者地面点(空间分割时线路边缘处可能出现只有很少地面点的子空间网格)，地面点集在电力线精提取时基本都能被滤除，因此该子空间网格中的点云可以视为电力线点云。最后将所述空间网格点云中的所有子空间网格点云的高程区间滤除，得到粗提取点云，也即将不同条件下子空间网格中需要被滤除的非电力线点的高程区间f(z)滤除后，得到粗提取点云。
得到粗提取点云后，就可以执行如图1所示的如下步骤：S200、计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；
具体地，可以根据所述点云数据的坐标来计算粗提取点云的质心，然后可以世界坐标系为参考，也可以以实际中的一个点云数据作为参考，来对所述粗提取点云进行坐标变换，然后对坐标变换后的点云数据进行筛选，得到中间电力线点云。
为了得到中间电力线点云，所述计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云包括如下步骤：
S201、计算所述粗提取点云的质心；
S202、根据所述质心，得到坐标转换点云；其中，所述坐标转换点云包括若干第一点云数据；
S203、在所述坐标转换点云中随机选择一个第一点云数据，采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合；其中，所述第一点云集合为所述第一点云数据及与所述第一点云数据距离小于或等于预设值的若干点云数据的集合；
S204、将所述第一点云集合中除去所述第一点云数据后剩下的点云数据作为第二点云数据，对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合；其中，所述第二点云集合为每个第二点云数据及与每个第二点云数据距离小于或等于所述预设值的若干点云数据的集合；
S205、将所述第二点云集合中除去所述第二点云数据后剩下的点云数据作为更新的第二点云数据，继续执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合的步骤；
S206、当更新的第二点云集合中的点云数据的个数不增加时，停止执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合的步骤，并将更新的第二点云集合和所述第一点云集合进行合并，得到更新后的第一点云集合；
S207、在所述坐标转换点云除去更新后的第一点云集合后剩下的点云数据中随机选择一个第三点云数据，将所述第三点云数据作为更新的第一点云数据，重复执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤；
S208、当所述集合向量中的点云数据和所述坐标转换点云中的点云数据相等时，则停止执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤，得到若干第三点云集合；
S209、将所述第一点云集合和若干第三点云集合组成集合向量；
S210、当所述集合向量中的点云集合中点云数量小于预设的阈值时，将所述点云集合作为噪声点删除，得到中间电力线点云。
具体地，先计算所述粗提取点云的质心；例如，假设粗提取点云中每一个点云数据点的质量均为1，则点云质心Pc(center_x，center_y，center_z)的计算公式为：
公式中n为粗提取点云中点的个数，xi为第i个点的X轴坐标，yi为第i个点的Y轴坐标，zi为第i个点的Z轴坐标，通过此方法对点云进行质心的计算。根据所述质心，得到坐标转换点云；相应的，步骤S202包括如下步骤：
S2021、将所述质心作为中心点坐标，构建协方差矩阵；
S2022、对协方差矩阵进行对角化，得到特征值矩阵；
S2023、求解所述特征值矩阵中的最大特征值；
S2024、将所述最大特征值代入到所述协方差矩阵中，得到所述最大特征值对应的特征向量；
S2025、根据所述特征向量，对所述粗提取点云进行坐标转换，得到坐标转换点云。
具体地，将所述质心作为中心点坐标，构建协方差矩阵；例如，
其中，CovMat(x,y)表示协方差矩阵的元素值，xi为第i个点的X轴坐标，yi为第i个点的Y轴坐标，zi为第i个点的Z轴坐标；center_x，center_y，center_z分别为质心的在X轴、Y轴和Z轴上的坐标。对协方差矩阵进行对角化，得到特征值矩阵Val；则L1＝Val(1，1)，L2＝Val(2，2)，L3＝Val(3，3)，求解所述特征值矩阵中的最大特征值，也即求解L1、L2、L3中的最大值，得到最大特征值，将所述最大特征值代入到所述协方差矩阵中，得到所述最大特征值对应的特征向量(X0,Y0,Z0)；根据所述特征向量，对所述粗提取点云进行坐标转换，得到坐标转换点云。例如，对粗提取点云中每一个点X坐标值除以X0，对粗提取点云中每一个点Y坐标值除以Y0，对粗提取点云中每一个点Z坐标值除以Z0，得到坐标变化之后的坐标转换点云。
得到坐标转换点云后，其中，所述坐标转换点云包括若干第一点云数据；在所述坐标转换点云中随机选择一个第一点云数据，如图2所示，采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合；其中，所述第一点云集合为所述第一点云数据及与所述第一点云数据距离小于或等于预设值的若干点云数据的集合；例如，执行步骤：(1)设定一个半径阈值，也即预设值，然后任选一个第一点云数据P1，将第一点云数据P1半径阈值范围内的点都与第一点云数据P1归于第一点云集合Q1。然后将所述第一点云集合中除去所述第一点云数据后剩下的点云数据作为第二点云数据，对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合Q1’；其中，所述第二点云集合Q1’为每个第二点云数据及与每个第二点云数据距离小于或等于所述预设值的若干点云数据的集合；例如，执行步骤：(2)然将第一点云集合Q1中的所有点，除去第一点云数据P1外的所有第二点云数据都做步骤(1)过程。接着将所述第二点云集合Q1’中除去所述第二点云数据后剩下的点云数据作为更新的第二点云数据，继续执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合Q1’的步骤；当更新的第二点云集合Q1’中的点云数据的个数不增加时，停止执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合Q1’的步骤，并将更新的第二点云集合Q1’和所述第一点云集合Q1进行合并，得到更新后的第一点云集合Q1；例如，执行步骤(3)对(2)中的Q1’中的所有点再次做过程(1)，如此反复直到Q1’不再增加，将该过程中第二点云集合Q1’的点云数据都归于第一点云集合Q1。然后在所述坐标转换点云除去更新后的第一点云集合后剩下的点云数据中随机选择一个第三点云数据，将所述第三点云数据作为更新的第一点云数据，重复执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤；当所述集合向量中的点云数据和所述坐标转换点云中的点云数据相等时，则停止执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤，得到若干第三点云集合；将所述第一点云集合和若干第三点云集合组成集合向量；当所述集合向量中的点云集合中点云数量小于预设的阈值时，将所述点云集合作为噪声点删除，得到中间电力线点云。例如，执行如下步骤：(4)然后再在第一点云集合Q1外的点中任选一点云数据P2做过程(1)(2)(3)得到第三点云集合Q2；(5)重复过程(4)可以得到第三点云集合Q3,第三点云集合Q4,第三点云集合Q5….直到点云中所有点都在各自的聚类集合中；(6)然后再根据预设的阈值去将第一点云集合Q1，第三点云集合Q2,第三点云集合Q3…中数量少于预设的阈值(如1000)的点云集合作为噪声点去除(噪声点是属于异常点云数据，数量相较于正常点云数据少)，得到中间电力线点云。上述步骤(1)-(6)均采用K维树近邻搜索算法(kdtree)。在本实施例中，为提高点云数据处理效率，常规的利用点云数据索引进行处理往往不能快速的进行三维空间的点云数据搜索、坐标处理等操作，因此需要引入相应的数据结构进行三维点云数据的处理运算。由于激光扫描点云数据以及倾斜摄影密集匹配点云数据均为无序点云，即采集到的点云数据在空间上并无拓扑关系，不利于点云数据处理。本实施例在系统功能实现时需要对输电线路的无序点云数据进行处理，需要对待处理的多个点云数据建立有效的数据结构形成拓扑关系，以实现多源数据共同处理的目的，故需要采用K维树近邻搜索算法(kdtree)。针对激光扫描点云数据以及倾斜摄影密集匹配点云数据这类散乱无序点云数据，可以利用kdtree或者octree进行点云数据空间拓扑关系的构建，其中，kdtree是把二叉树搜索树推广到多维数据的一种主存数据结构，基本原理是：不断地用垂直于坐标轴的超平面将K维空间进行切分，构成一系列的K维超矩形区域。KD树查找和插入简单，在不进行二级存储和删除点的前提下具有较高的查询性能。本实施例中对于散乱的点云数据采用的三维kdtree数据处理，在X轴、Y轴、Z轴三个维度上分别进行空间划分，其具体的流程为：分别计算X、Y、Z三个维度上对应点云数据坐标的方差，并决定二叉树的分割顺序，从方差最大的维度进行二叉树分割。二叉树分割条件首先需要找到该维度数值的中间值，从中间值分割第一个维度空间，接下来对分割好的两个空间进行第二个维度的空间二叉分割，接着对第二次分割的结果进行第三个维度的空间二叉分割，依次循环三个维度顺序进行分割直到整个数据集不能继续分割为止，并记录各个节点的拓扑关系就完成了三维kdtree的建立。三维kdtree分割流程如图3所示，逐次的分割空间直到不能分割为止。
得到中间电力线点云后，就可以执行如图1所示的如下步骤：S300、将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
具体地，通过前述坐标变换，已经将待去噪电力线点云数据中的噪声去除，因此，通过坐标逆变换，将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
为了得到目标电力线点云，所述将所述中间电力线点云进行坐标还原变换，得到目标电力线点云包括如下步骤：
S301、根据所述特征向量，将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
具体地，对所述的中间电力线点云中每一个点X坐标值除以所述的粗提取点云的最大特征值对应的最大特征向量中的X0，对所述的中间电力线点云中每一个点Y坐标值除以所述的粗提取点云的最大特征值对应的最大特征向量中的Y0，对所述的中间电力线点云中每一个点Z坐标值除以所述的粗提取点云的最大特征值对应的最大特征向量中的Z0，还原到最初的坐标系，得到目标电力线点云。
示例性设备
如图4中所示，本发明实施例提供一种点云数据的去噪装置，该装置包括粗提取点云获取模块401，中间电力线点云获取模块402和目标电力线点云获取模块403，其中：
粗提取点云获取模块401，用于获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；
中间电力线点云获取模块402，用于计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；
目标电力线点云获取模块403，用于将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
本发明实施例通过粗提取点云获取模块401，获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；以便减少后续点云数据处理的计算量；然后通过中间电力线点云获取模块402，计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；通过坐标变换对点云数据沿着电力线方向进行压缩，以此提高电力线点云的聚集程度从而达到在保留电力线数据完整性的前提下尽可能多的去除影响筛选操作的噪声点，提高去噪的准确度和效果，最后通过目标电力线点云获取模块403，将所述中间电力线点云进行坐标还原变换，得到目标电力线点云，经过处理之后的目标电力线点云数据具有更高的鲁棒性，为后续的点云处理工作提供了更优质的数据，方便用户。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图5所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种点云数据的去噪方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图5中的原理图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；
计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；
将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了点云数据的去噪方法、装置、存储介质，所述方法包括：获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。本发明实施例通过上述方法以坐标变换的方式对点云数据沿着电力线方向进行压缩，以此提高电力线点云的聚集程度从而达到在保留电力线数据完整性的前提下尽可能多的去除影响后续操作的噪声点，提高去噪的准确度和效果，经过处理之后的点云数据具有更高的鲁棒性，为后续的点云处理工作提供了更优质的数据，方便用户。
基于上述实施例，本发明公开了一种点云数据的去噪方法，应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种点云数据的去噪方法，其特征在于，所述方法包括：
获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；其中，所述获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云包括：
采集待去噪电力线点云；
对所述待去噪电力线点云进行空间分割，得到空间网格点云；
对所述空间网格点云进行粗提取，得到粗提取点云；
计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；
其中，所述计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云包括：
计算所述粗提取点云的质心；
根据所述质心，得到坐标转换点云；其中，所述坐标转换点云包括若干第一点云数据；
在所述坐标转换点云中随机选择一个第一点云数据，采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合；其中，所述第一点云集合为所述第一点云数据及与所述第一点云数据距离小于或等于预设值的若干点云数据的集合；
将所述第一点云集合中除去所述第一点云数据后剩下的点云数据作为第二点云数据，对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合；其中，所述第二点云集合为每个第二点云数据及与每个第二点云数据距离小于或等于所述预设值的若干点云数据的集合；
将所述第二点云集合中除去所述第二点云数据后剩下的点云数据作为更新的第二点云数据，继续执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合的步骤；
当更新的第二点云集合中的点云数据的个数不增加时，停止执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合的步骤，并将更新的第二点云集合和所述第一点云集合进行合并，得到更新后的第一点云集合；
在所述坐标转换点云除去更新后的第一点云集合后剩下的点云数据中随机选择一个第三点云数据，将所述第三点云数据作为更新的第一点云数据，重复执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤；
当集合向量中的点云数据和所述坐标转换点云中的点云数据相等时，则停止执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤，得到若干第三点云集合；
将所述第一点云集合和若干第三点云集合组成集合向量；
当所述集合向量中的点云集合中点云数量小于预设的阈值时，将所述点云集合作为噪声点删除，得到中间电力线点云；
将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
2.根据权利要求1所述的点云数据的去噪方法，其特征在于，所述对所述待去噪电力线点云进行空间分割，得到空间网格点云包括：
将预设的二维空间先按照X轴进行等距分割，接着按照Y轴进行等距分割，得到二维分割空间；
将所述待去噪电力线点云映射到二维分割空间中，得到空间网格点云。
3.根据权利要求1所述的点云数据的去噪方法，其特征在于，所述对所述空间网格点云进行粗提取，得到粗提取点云包括：
获取所述空间网格点云中子空间网格点云的平均密度和所述空间网格点云的平均密度；其中，所述子空间网格点云用于表征空间网格中不同密度的子空间网格的点云；
基于高程滤波算法、子空间网格点云的平均密度和所述空间网格点云的平均密度，计算每个子空间网格点云的高程区间；
将所述空间网格点云中的所有子空间网格点云的高程区间滤除，得到粗提取点云。
4.根据权利要求1所述的点云数据的去噪方法，其特征在于，所述根据所述质心，得到坐标转换点云包括：
将所述质心作为中心点坐标，构建协方差矩阵；
对协方差矩阵进行对角化，得到特征值矩阵；
求解所述特征值矩阵中的最大特征值；
将所述最大特征值代入到所述协方差矩阵中，得到所述最大特征值对应的特征向量；
根据所述特征向量，对所述粗提取点云进行坐标转换，得到坐标转换点云。
5.根据权利要求4所述的点云数据的去噪方法，其特征在于，所述将所述中间电力线点云进行坐标还原变换，得到目标电力线点云包括：
根据所述特征向量，将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
6.一种点云数据的去噪装置，其特征在于，所述装置包括：
粗提取点云获取模块，用于获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云；其中，所述获取待去噪电力线点云，并对所述待去噪电力线点云进行粗提取，得到粗提取点云包括：
采集待去噪电力线点云；
对所述待去噪电力线点云进行空间分割，得到空间网格点云；
对所述空间网格点云进行粗提取，得到粗提取点云；
中间电力线点云获取模块，用于计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云；
其中，所述计算所述粗提取点云的质心，并根据所述质心，对所述粗提取点云进行坐标变换和筛选，得到中间电力线点云包括：
计算所述粗提取点云的质心；
根据所述质心，得到坐标转换点云；其中，所述坐标转换点云包括若干第一点云数据；
在所述坐标转换点云中随机选择一个第一点云数据，采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合；其中，所述第一点云集合为所述第一点云数据及与所述第一点云数据距离小于或等于预设值的若干点云数据的集合；
将所述第一点云集合中除去所述第一点云数据后剩下的点云数据作为第二点云数据，对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合；其中，所述第二点云集合为每个第二点云数据及与每个第二点云数据距离小于或等于所述预设值的若干点云数据的集合；
将所述第二点云集合中除去所述第二点云数据后剩下的点云数据作为更新的第二点云数据，继续执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合的步骤；
当更新的第二点云集合中的点云数据的个数不增加时，停止执行对于每个第二点云数据，采用K维树近邻搜索算法确定每个第二点云数据的第二点云集合的步骤，并将更新的第二点云集合和所述第一点云集合进行合并，得到更新后的第一点云集合；
在所述坐标转换点云除去更新后的第一点云集合后剩下的点云数据中随机选择一个第三点云数据，将所述第三点云数据作为更新的第一点云数据，重复执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤；
当集合向量中的点云数据和所述坐标转换点云中的点云数据相等时，则停止执行采用K维树近邻搜索算法确定所述第一点云数据的第一点云集合的步骤，得到若干第三点云集合；
将所述第一点云集合和若干第三点云集合组成集合向量；
当所述集合向量中的点云集合中点云数量小于预设的阈值时，将所述点云集合作为噪声点删除，得到中间电力线点云；
目标电力线点云获取模块，用于将所述中间电力线点云进行坐标还原变换，得到目标电力线点云。
7.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-5中任意一项所述的方法。
8.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-5中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110739242.2A CN113538264B (zh) | 2021-06-30 | 2021-06-30 | 一种点云数据的去噪方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110739242.2A CN113538264B (zh) | 2021-06-30 | 2021-06-30 | 一种点云数据的去噪方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538264A CN113538264A (zh) | 2021-10-22 |
| CN113538264B true CN113538264B (zh) | 2022-04-15 |
Family
ID=78097416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110739242.2A Active CN113538264B (zh) | 2021-06-30 | 2021-06-30 | 一种点云数据的去噪方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538264B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821327B (zh) * | 2022-04-29 | 2022-12-20 | 北京数字绿土科技股份有限公司 | 电力线和杆塔进行特征提取处理方法、系统及存储介质 |
| CN115587943B (zh) * | 2022-10-09 | 2023-06-27 | 中国科学院半导体研究所 | 点云数据的去噪方法、装置、电子设备及存储介质 |
| CN116310849B (zh) * | 2023-05-22 | 2023-09-19 | 深圳大学 | 基于三维形态特征的树木点云单体化提取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260668A (zh) * | 2020-01-20 | 2020-06-09 | 南方电网数字电网研究院有限公司 | 一种电力线提取方法、系统及终端 |
| CN112147633A (zh) * | 2020-09-27 | 2020-12-29 | 广东电网有限责任公司 | 一种电力线路安全距离检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011153624A2 (en) * | 2010-06-11 | 2011-12-15 | Ambercore Software Inc. | System and method for manipulating data having spatial coordinates |
| CN109767391A (zh) * | 2018-12-03 | 2019-05-17 | 深圳市华讯方舟太赫兹科技有限公司 | 点云去噪方法、图像处理设备及具有存储功能的装置 |
| CN112785455B (zh) * | 2021-01-28 | 2023-10-20 | 云南电网有限责任公司玉溪供电局 | 一种基于多激光雷达的带电导线监测预警系统和方法 |
-
2021
- 2021-06-30 CN CN202110739242.2A patent/CN113538264B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260668A (zh) * | 2020-01-20 | 2020-06-09 | 南方电网数字电网研究院有限公司 | 一种电力线提取方法、系统及终端 |
| CN112147633A (zh) * | 2020-09-27 | 2020-12-29 | 广东电网有限责任公司 | 一种电力线路安全距离检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Fully Automatic Point Cloud Analysis for Powerline Corridor Mapping;Carla Nardinocchi、Marco Balsi;《IEEE》;20201212;第8637-8648页 * |
| 基于激光点云的电力线悬挂点定位方法;史洪云，虢韬;《激光技术》;20200515;第364-370页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538264A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113538264B (zh) | 一种点云数据的去噪方法、装置及存储介质 | |
| CN110363861B (zh) | 基于激光雷达点云的田地作物三维重构方法 | |
| CN112396133B (zh) | 基于多尺度空间的城市区域空地一体融合点云分类方法 | |
| CN111932688A (zh) | 一种基于三维点云的室内平面要素提取方法、系统及设备 | |
| CN111340723B (zh) | 一种地形自适应的机载LiDAR点云正则化薄板样条插值滤波方法 | |
| CN115222625A (zh) | 一种基于多尺度噪声的激光雷达点云去噪方法 | |
| CN110544298B (zh) | 变电站建模方法、装置、计算机设备和存储介质 | |
| CN110544308B (zh) | 变电站建模方法、装置、计算机设备和存储介质 | |
| CN105844602A (zh) | 一种基于体元的机载lidar点云三维滤波方法 | |
| CN109214246B (zh) | 基于全局方向信息的指纹检索方法 | |
| CN113409332B (zh) | 一种基于三维点云的建筑物平面分割方法 | |
| CN116310849B (zh) | 基于三维形态特征的树木点云单体化提取方法 | |
| CN109272458B (zh) | 一种基于先验信息的点云滤波方法 | |
| Hu et al. | Leaf and wood separation of poplar seedlings combining locally convex connected patches and K-means++ clustering from terrestrial laser scanning data | |
| CN115049925A (zh) | 田块田坎提取方法、电子设备及存储介质 | |
| Zhu et al. | 3D reconstruction of plant leaves for high-throughput phenotyping | |
| CN116091771A (zh) | 一种复杂机匣腔体点云分割方法、装置及设备 | |
| CN114898118A (zh) | 基于多源点云的输电线路房屋拆迁量自动统计方法及系统 | |
| CN116186864B (zh) | 一种基于bim技术的深基坑模型快速建模方法及系统 | |
| CN114511572A (zh) | 一种林间测树的单木分割流程方法 | |
| CN117152172A (zh) | 一种基于点云数据的输电线路杆塔和电力线提取方法 | |
| CN115311418B (zh) | 一种多细节层次树木模型单体化重建方法及装置 | |
| CN116563471A (zh) | 一种煤矿井下三维空间重建方法和装置 | |
| CN115661398A (zh) | 一种用于实景三维模型的建筑物提取方法、装置及设备 | |
| CN112435344B (zh) | 一种点云数据处理方法、装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |