CN114581473A - 一种适用于多种场景的点云降采样方法及装置 - Google Patents

一种适用于多种场景的点云降采样方法及装置 Download PDF

Info

Publication number
CN114581473A
CN114581473A CN202210248390.9A CN202210248390A CN114581473A CN 114581473 A CN114581473 A CN 114581473A CN 202210248390 A CN202210248390 A CN 202210248390A CN 114581473 A CN114581473 A CN 114581473A
Authority
CN
China
Prior art keywords
point
point cloud
boundary
feature
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210248390.9A
Other languages
English (en)
Inventor
周浩源
彭斌
姚毅
全煜鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lingyun Shixun Technology Co ltd
Luster LightTech Co Ltd
Original Assignee
Shenzhen Lingyun Shixun Technology Co ltd
Luster LightTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lingyun Shixun Technology Co ltd, Luster LightTech Co Ltd filed Critical Shenzhen Lingyun Shixun Technology Co ltd
Priority to CN202210248390.9A priority Critical patent/CN114581473A/zh
Publication of CN114581473A publication Critical patent/CN114581473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种适用于多种场景的点云降采样方法及装置,方法包括获取3D原始点云;根据3D原始点云场景,采用相应算法提取边界区域、特征区域和非特征区域;对特征区域的特征点进行点云降采样处理,得到特征结果点云;对非特征区域的非特征点进行点云降采样处理,得到非特征结果点云;将边界区域和特征结果点云及非特征结果点云组合作为3D精简点云输出。本申请通过多种边界点检测算法提取边界区域,很大程度保留了精细特征,通过多种特征点提取算法提取特征区域和非特征区域,保留了大部分特征区域,避免了非特征点过于稀疏出现的空洞现象,对特征区域和非特征区域采用多种点云降采样方法进行点云精简,能满足不同场景下的采样精度和效率。

Description

一种适用于多种场景的点云降采样方法及装置
技术邻域
本申请涉及计算机视觉技术邻域,尤其涉及一种适用于多种场景的点云降采样方法及装置。
背景技术
目前,三维机器视觉检测技术已经被广泛应用于工业智能制造邻域。在实际检测项目中,三维机器视觉检测技术通常使用高分辨率相机获取3D点云数据。获取到的3D点云数据存在密度高、冗余信息多、整体数量庞大等缺点,若直接对获取到的全部3D点云数据进行存储和处理,需要占用巨大的计算机内存空间,以及耗费大量的时间,导致3D点云数据的处理效率较低。因此,需要通过点云降采样算法对海量、高密度的3D点云数据进行降采样处理,从而实现精简3D点云数据的目的。
为了提高3D点云数据的处理效率,现有技术提供了一种基于体素网格的方法对3D点云数据进行降采样处理,即3D点云数据的精简过程。该方法首先将3D点云数据直接包含在一个大体素格中;然后将大体素格划分为多个大小均匀的小体素格;最后通过在小体素格内部按照一定规则求取或选取特征点表征小体素格,完成3D点云数据的消冗、精简过程。
但是上述基于体素网格的点云降采样方法中,由于获取到的3D点云数据大小不同,人为设置体素格的方式主观性又较强,难以控制每次设置体素格的具体大小,体素格的大小也难以适应更高精度的3D点云数据精简要求。另外,通过一定规则求取或选取特征点表征体素格的方式无法完全保留3D点云数据的特征点,尤其是对于数据分布不均匀的3D点云数据,特征点的丢失情况更严重。
发明内容
本申请提供了一种适用于多种场景的点云降采样方法及装置,以解决现有技术中存在的直接采用基于体素网格的点云降采样方法无法适应更高精度的3D点云数据精简要求,也无法完全保留3D点云数据的特征点问题。
第一方面,本申请提供一种适用于多种场景的点云降采样方法,包括:
获取3D原始点云,所述3D原始点云包括至少一个边界点和至少一个非边界点;
根据所述3D原始点云的场景,采用相对应的算法提取所述3D原始点云的边界区域、特征区域和非特征区域,所述边界区域包括至少一个所述边界点,所述特征区域包含至少一个特征点,所述非特征区域包含至少一个非特征点;其中,所述边界区域通过对应的边界点检测算法提取,所述特征区域和非特征区域通过对应的特征点提取算法获取,且所述特征区域和非特征区域在非边界区域中进行提取,所述非边界区域包括至少一个所述非边界点;
对所述特征区域内的至少一个特征点进行点云降采样处理,得到特征结果点云;
对所述非特征区域内的至少一个非特征点进行点云降采样处理,得到非特征结果点云;
将所述边界区域与所述特征结果点云以及所述非特征结果点云组合后作为3D精简点云输出。
在本申请的较佳实施例中,所述边界点检测算法包括最大投影角度识别法、统计学法和向量累加法,其中,采用最大投影角度识别法提取边界区域的步骤包括:
获取所述3D原始点云中任意一个目标点的局部拟合平面,所述目标点包括边界点和非边界点;
将所述目标点投影至局部拟合平面,得到目标投影点;
计算并比较每个邻域投影点与目标投影点连线在所述局部拟合平面上的最大相邻向量夹角,所述邻域投影点为对应的邻域点在局部拟合平面上的投影,所述邻域点根据所述目标点的邻域得到;
比较所述最大相邻向量夹角和夹角阈值,判断所述目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
在本申请的较佳实施例中,采用统计学法提取边界区域的步骤包括:
获取所述3D原始点云中任意一个目标点的邻域点距平均值,所述目标点包括边界点和非边界点;
根据3D原始点云的整体邻域点距平均值和整体邻域点距标准差设置邻域点距阈值;
比较所述邻域点距平均值和邻域点距阈值,判断所述目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
在本申请的较佳实施例中,采用向量累加法提取边界区域的步骤包括:
获取所述3D原始点云中任意一个目标点的邻域点与目标点连线归一化之后的向量,所述目标点包括边界点和非边界点;
计算所述3D原始点云整体邻域点连线的向量累加和均值和向量累加和标准差;
比较所述向量累加和均值和均值阈值,以及比较所述向量累加和标准差和标准差阈值,判断所述目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
在本申请的较佳实施例中,通过特征点提取算法提取特征区域的步骤包括:
获取所述3D原始点云中每个非边界点的至少一个特征属性信息;
根据至少一个特征阈值判断所述非边界点是否属于特征点,所述特征阈值与所述特征属性信息相对应;
将所述3D原始点云中判定为特征点的所有非边界点组合输出为特征区域。
在本申请的较佳实施例中,对所述特征区域内的至少一个特征点进行点云降采样处理,得到特征结果点云,包括采用基于体素采样的点云降采样方法进行点云精简,步骤如下:
将所述特征区域划分为至少一个体素网格;
获取每个体素网格内至少一个特征点的中心最近点或重心点;
以所述中心最近点或重心点表征该体素网格内的所有特征点;
将所述特征区域内的所有中心最近点或重心点组合输出为特征结果点云。
在本申请的较佳实施例中,所述点云降采样处理还包括基于均匀采样的点云降采样方法、基于空间点距采样的点云降采样方法、基于聚类相关算子的点云降采样方法;
若3D原始点云分布均匀,则采用基于体素采样或均匀采样的点云降采样方法进行点云精简;
若3D原始点云分布不均匀,则采用基于空间点距采样的点云降采样方法或基于聚类相关算子的点云降采样方法进行点云精简。
第二方面,本申请提供一种适用于多种场景的点云降采样装置,包括相互连接的获取单元、提取单元、点云降采样单元和输出单元;
其中,所述获取单元被配置为:
获取3D原始点云,所述3D原始点云包括至少一个边界点和至少一个非边界点;
所述提取单元被配置为:
根据所述3D原始点云的场景,采用相对应的算法提取所述3D原始点云的边界区域、特征区域和非特征区域,所述边界区域包括至少一个所述边界点,所述特征区域包含至少一个特征点,所述非特征区域包含至少一个非特征点;其中,所述边界区域通过对应的边界点检测算法提取,所述特征区域和非特征区域通过对应的特征点提取算法获取,且所述特征区域和非特征区域在非边界区域中进行提取,所述非边界区域包括至少一个所述非边界点;
所述点云降采样单元被配置为:
对所述特征区域内的至少一个特征点进行点云降采样处理,得到特征结果点云;
对所述非特征区域内的至少一个非特征点进行点云降采样处理,得到非特征结果点云;
所述输出单元被配置为:
将所述边界区域与所述特征结果点云以及所述非特征结果点云组合后作为3D精简点云输出。
第三方面,本申请提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现一种适用于多种场景的点云降采样方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现一种适用于多种场景的点云降采样方法的步骤。
本申请提供的一种适用于多种场景的点云降采样方法及装置,相较于现有技术而言,具有以下有益效果:
本申请通过多种边界点检测算法快速获取3D原始点云的边界区域,可以很大程度保留3D原始点云的精细边界特征,采样精度较高;然后,通过多种特征点提取算法进一步提取非边界点中的特征区域和非特征区域,以便保留大部分特征区域,还可避免由于非特征区域内的非边界点过于稀疏出现的空洞等现象;最后,对特征区域和非特征区域进一步采用多种点云降采样方法进行点云精简处理,可以满足不同场景要求的采样精度和效率,提高了点云降采样的灵活性和通用性。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本邻域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例1的一种适用于多种场景的点云降采样方法流程图;
图2a是本申请应用例中第一3D原始点云示意图;
图2b是本申请应用例中第一3D精简点云示意图;
图2c是本申请应用例中第二3D精简点云示意图;
图3a是本申请应用例中第二3D原始点云示意图;
图3b是本申请应用例中第三3D精简点云示意图;
图3c是本申请应用例中第四3D精简点云示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本邻域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
基于本申请描述的示例性实施例,本邻域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
为便于对申请的技术方案进行,以下首先在对本申请所涉及到的一些概念进行说明。
在本申请中,诸如“第一”、“第二”、“第三”和“第四”等术语仅仅是用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或顺序。另外,术语“包括”、“还包括”或者任何其他变体意在涵盖非排他性的包含,从而使得其不仅包括明确列出的要素,还包括没有明确列出的其他要素。因此,不会造成本申请的方案不清楚。
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点的集合。
现有技术中也提供了一种基于聚类的点云降采样方法,该方法通过聚类算法将3D点云数据中的相似同名点聚集为同一类别,并根据一定规则进行融合,从而实现3D点云数据的消冗。但是此方法存在初始参数调整难、融合结果点分布不均匀等缺点。
现有技术中还提供了一种基于三角网格的点云降采样方法,该方法首先将获得的3D点云数据进行三角网格化,即建立三角网格拓扑关系,其次计算三角网格的法向量,然后根据法向量的加权算法,对生成的三角网格进行判断,并删除冗余网格,以达到3D点云数据精简的要求。但是此方法存在对3D点云数据进行三角网格化的过程耗费时间长、三角网格算法复杂度高、占用资源大等缺点。
实施例1
如图1所示,本实施例1提供了一种适用于多种场景的点云降采样方法,所述方法包括:
S101,获取3D原始点云,所述3D原始点云包括至少一个边界点和至少一个非边界点;
S102,根据所述3D原始点云的场景,采用相对应的算法提取所述3D原始点云的边界区域、特征区域和非特征区域,所述边界区域包括至少一个所述边界点,所述特征区域包含至少一个特征点,所述非特征区域包含至少一个非特征点;其中,所述边界区域通过对应的边界点检测算法提取,所述特征区域和非特征区域通过对应的特征点提取算法获取,且所述特征区域和非特征区域在非边界区域中进行提取,所述非边界区域包括至少一个所述非边界点;
S103,对所述特征区域内的至少一个特征点进行点云降采样处理,得到特征结果点云;
S104,对所述非特征区域内的至少一个非特征点进行点云降采样处理,得到非特征结果点云;
S105,将所述边界区域与所述特征结果点云以及所述非特征结果点云组合后作为3D精简点云输出。
需要特别说明的是,在本实施例1的步骤S102中,边界区域、特征区域和非特征区域是通过不同的算法进行获取的,先提取边界点,然后在非边界点中继续提取特征点和非特征点,其提取过程并不冲突。进一步地,步骤S103和步骤S104中对特征区域和非特征区域进行点云降采样的处理是同步进行的,将两者拆分为两个步骤是为了更清楚地说明本申请的技术方案,实际上步骤S103和步骤S104在程序运行上并无先后顺序,不应该认为是对本申请保护范围的限制,也不会造成本申请技术方案不清楚。
进一步地,在本实施例1的一种具体实施方式中,步骤S102中的边界点检测算法包括最大投影角度识别法、统计学法和向量累加法,所述最大投影角度识别法适用于所述3D原始点云分布不均匀或所述3D原始点云折叠边界较多的场景,以便准确识别所述3D原始点云的边界点;所述统计学法和向量累加法适用于所述3D原始点云分布均匀的场景,采用统计学法的边界点检测算法的检测效率较高,采用向量累加法的边界点检测算法的检测精度较高。本申请所列出的每种边界点检测算法所适用的场景情况均为根据本领域技术人员的经验得出的最佳适用场景,但是在实际应用中具体采用哪种边界点检测算法可通过输入的3D原始点云的场景由计算机程序自动判断更适合的边界点检测算法,从而达到更好的边界点检测效果,本申请对其不做具体限制。
更进一步地,在本实施例1中,采用最大投影角度识别法提取边界区域包括:
获取所述3D原始点云中任意一个目标点的局部拟合平面,所述目标点包括边界点和非边界点;
将所述目标点投影至局部拟合平面,得到目标投影点;
计算并比较每一个邻域投影点与目标投影点连线在所述局部拟合平面上的最大相邻向量夹角,每一个所述邻域投影点为对应的邻域点在局部拟合平面上的投影,每一个所述邻域点根据所述目标点的邻域得到;
比较所述最大相邻向量夹角和预先设置的夹角阈值,判断所述目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
具体地,在本实施例1中,采用最大投影角度识别法提取边界区域的具体步骤如下:
通过kd-Tree/oc-Tree/四叉树等常见搜索树构建3D原始点云的拓扑关系;
根据所述拓扑关系,设置邻域搜索半径;
根据所述邻域搜索半径搜索3D原始点云中每个目标点对应的球邻域;
对所述球邻域中的至少一个邻域点进行平面拟合,获取所述目标点的局部拟合平面;
将所述目标点和至少一个所述邻域点分别投影至所述局部拟合平面,得到目标投影点和邻域投影点;
计算并比较每个所述邻域投影点与目标投影点连线的夹角,得到最大相邻向量夹角;
比较所述最大相邻向量夹角和预先设置的夹角阈值,判断所述目标点是否为边界点;
遍历所述3D原始点云中的每个目标点,并重复上述步骤判断目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
更进一步地,在本实施例1的一种具体实施方式中,采用统计学法提取边界区域包括:
获取所述3D原始点云中任意一个目标点半径邻域内的邻域点距平均值,所述目标点包括边界点和非边界点;
根据3D原始点云的整体邻域点距平均值和整体邻域点距标准差设置邻域点距阈值;
比较所述邻域点距平均值和邻域点距阈值,判断所述目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
具体地,在本实施例1中,采用统计学法提取边界区域的具体步骤如下:
通过kd-Tree/oc-Tree/四叉树等常见搜索树构建3D原始点云的拓扑关系;
根据所述拓扑关系,设置邻域搜索半径或邻域搜索点数;
根据所述邻域搜索半径或邻域搜索点数搜索3D原始点云中每个目标点对应的邻域;
计算邻域点距平均值,所述邻域点距平均值根据所述目标点与所述邻域中各个邻域点之间的距离进行计算;
根据所述邻域点距平均值计算3D原始点云的整体邻域点距平均值和整体邻域点距标准差;
根据所述整体邻域点距平均值和整体邻域点距标准差,设置邻域点距阈值;
比较所述邻域点距平均值和邻域点距阈值,判断所述目标点是否为边界点;
遍历所述3D原始点云中的每个目标点,并重复上述步骤判断目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
更进一步地,在本实施例1的一种具体实施方式中,采用向量累加法提取边界区域包括:
获取所述3D原始点云中任意一个目标点的邻域点与目标点连线归一化之后的向量,所述目标点包括边界点和非边界点;
计算所述3D原始点云整体邻域点连线的向量累加和均值和向量累加和标准差;
比较所述向量累加和均值和预先设置的均值阈值,以及比较所述向量累加和标准差和标准差阈值,判断所述目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
具体地,在本实施例1中,采用向量累加法提取边界区域的具体步骤如下:
通过kd-Tree/oc-Tree/四叉树等常见搜索树构建3D原始点云的拓扑关系;
根据所述拓扑关系,设置邻域搜索半径或邻域搜索点数;
根据所述邻域搜索半径或邻域搜索点数搜索3D原始点云中每个目标点对应的邻域;
计算所述邻域中每个邻域点与目标点连线的向量累加和;
若所述向量累加和趋近于零向量,则所述目标点为边界点;
遍历所述3D原始点云中的每个目标点,并重复上述步骤判断目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
更进一步地,在本实施例1的一种具体实施方式中,步骤S102中的特征点提取算法提取特征区域的步骤包括:
获取所述3D原始点云中每个非边界点的至少一个特征属性信息;
根据至少一个特征阈值判断所述非边界点是否属于特征点,所述特征阈值与所述特征属性信息相对应;
将所述3D原始点云中判定为特征点的所有非边界点组合输出为特征区域。
具体地,在本实施例1中,步骤S102中的特征点提取算法提取特征区域和非特征区域的具体过程如下:
通过kd-Tree/oc-Tree/四叉树等常见搜索树构建3D原始点云的拓扑关系;
根据所述拓扑关系,设置邻域搜索半径或近邻数k;
根据所述邻域搜索半径或近邻数k搜索3D原始点云中每个非边界点对应的邻域;
根据领域信息计算所述3D原始点云中每个非边界点的至少一个特征属性信息;
根据至少一个特征属性信息和对应的特征阈值,即每一个特征属性信息均有一个与其相对应的特征阈值,判断所述非边界点是否为特征点;
将所述3D原始点云中判定为特征点的所有非边界点组合输出为特征区域;
将所述3D原始点云中除所述特征点之外的所有非边界点组合输出为非特征区域。
需要特别指出的是,在本实施例1中,所述特征属性信息包括曲率、邻域法线夹角均值、目标点到其邻域中心的距离、邻域平均点距、邻域特征熵等;所述特征阈值包括曲率阈值、邻域法线夹角阈值、目标点到其邻域中心的距离阈值、邻域平均点距阈值和邻域特征熵阈值等;本领域技术人员可以根据实际需要,选择提取一种特征信息或者多种特征信息,即只需满足一种特征阈值或者需要同时满足多种特征阈值的方法进行特征点的筛选。
另外,在本实施例1中,若3D原始点云较大,且曲率特征较多,优先采用曲率或邻域法线夹角均值或邻域特征熵的特征属性信息作为特征提取算法提取特征点;若3D原始点云分布不均匀,且特征区域内特征点的密度较高,优先采用目标点到其邻域中心的距离或邻域平均点距或邻域特征熵的特征属性信息作为特征提取算法提取特征点。本申请所列出的每种特征点提取算法所适用的场景情况均为根据本领域技术人员的经验得出的最佳适用场景,但是在实际应用中具体采用哪种特征点提取算法可通过输入3D原始点云的情况由计算机程序自动判断更适合的特征点提取算法,从而达到更好的特征点提取效果,本申请对其不做具体限制。
进一步地,在本实施例1的一种具体实施方式中,步骤S103和步骤S104中点云降采样处理包括基于体素采样或均匀采样的点云降采样方法、基于随机采样的点云降采样方法、基于索引间隔采样的点云降采样方法、基于空间点距采样的点云降采样方法、基于特征强度排序采样的点云降采样方法、基于K-Means聚类的点云降采样方法、基于K-Mediods聚类的点云降采样方法、基于DBSCAN聚类的点云降采样方法、基于邻域均值的点云降采样方法、基于均值漂移的点云降采样方法等,其中,基于体素采样或均匀采样的点云降采样方法适用于3D原始点云分布均匀的场景;基于空间点距采样的点云降采样方法或基于聚类相关算子的点云降采样方法适用于3D原始点云分布不均匀的场景,基于聚类相关算子的点云降采样方法包括上述基于K-Means聚类的点云降采样方法、基于K-Mediods聚类的点云降采样方法和基于DBSCAN聚类的点云降采样方法;基于邻域均值的点云降采样方法适用于特征区域和非特征区域中需要密集采样显著特征的场景;基于索引间隔采样的点云降采样方法适用于点云精简效率要求较高的情况;基于特征强度排序采样的点云降采样方法适用于只需要突出显著特征的情况。本申请所列出的每种点云降采样算法所适用的场景情况均为根据本领域技术人员的经验得出的最佳适用场景,但是在实际应用中具体采用哪种点云降采样算法可通过输入3D原始点云的情况由计算机程序自动判断更适合的点云降采样算法,从而达到更好的点云精简效果,本申请对其不做具体限制。
更进一步地,在本实施例1的一种具体实施方式中,所述基于体素采样或均匀采样的点云降采样方法处理过程包括:
将所述特征区域划分为至少一个体素网格;
获取每个体素网格内至少一个特征点的中心最近点或重心点;
以所述中心最近点或重心点表征该体素网格内的所有特征点;
将所述特征区域内的所有中心最近点或重心点组合输出为特征结果点云。
具体地,在本实施例1中,所述基于体素采样或均匀采样的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
获取特征区域的最大边界值和最小边界值;
根据预先设置的体素尺寸获取对应大小的体素网格,所述体素尺寸根据所述最大边界值和最小边界值进行设置;
根据体素网格信息将所述特征区域内的至少一个特征点划分至对应的所述体素网格中,得到体素网格索引;
根据所述体素网格索引,选取体素网格内的中心最近点或重心点表征体素网格内部的所有特征点;
将所述特征区域内的所有中心最近点或重心点组合输出为特征结果点云。
更进一步地,在本实施例1的一种具体实施方式中,所述基于随机采样的点云降采样方法为对特征区域和非特征区域分别进行随机性采样。
具体地,在本实施例1中,基于随机采样的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
根据随机数生成方法生成随机索引序列,所述随机数为预先设置的固定数值;
根据所述随机索引序列对所述特征区域进行采样,得到随机采样点云;
将所述随机采样点云作为特征结果点云输出。
更进一步地,在本实施例1的一种具体实施方式中,所述基于索引间隔采样的点云降采样方法为根据点云索引对特征区域和非特征区域分别进行间隔采样。
具体地,在本实施例1中,基于索引间隔采样的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
预先设置索引步长;
按照所述索引步长,对所述特征区域进行间隔采样,得到间隔采样点云,所述间隔采样从半步长对应索引下标开始;
将所述间隔采样点云作为特征结果点云输出。
更进一步地,在本实施例1的一种具体实施方式中,所述基于空间点距采样的点云降采样方法为根据预先设定的点云各个点间隔对特征区域和非特征区域分别进行采样。
具体地,在本实施例1中,基于空间点距采样的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
预先设置采样后的点云间隔;
以所述点云间隔为搜索半径,搜索所述特征区域内每个特征点对应的邻域;
剔除所述邻域内的半径邻域点;
将特征区域内除所述半径邻域点之外的特征点组合输出为特征结果点云。更进一步地,在本实施例1的一种具体实施方式中,所述基于特征强度排序采样的点云降采样方法为按照所述特征区域或非特征区域中每个非边界点特征属性值的大小进行排序,根据预先设置的采样比例对特征区域或非特征区域进行采样。
具体地,在本实施例1中,基于特征强度排序采样的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
获取所述特征区域内每个特征点对应的特征属性值;
将至少一个所述特征属性值由大到小进行排序;
根据预先设置的采样比例筛选所述特征属性值较大的特征点;
将所述特征属性值较大的特征点组合输出为特征结果点云。
更进一步地,在本实施例1的一种具体实施方式中,所述基于K-Means聚类的点云降采样方法为采用K-Means聚类算法合并特征区域或非特征区域中的相似同名非边界点,达到降采样效果。
具体地,在本实施例1中,基于K-Means聚类的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
通过kd-Tree/oc-Tree/四叉树等常见搜索树构建所述特征区域的拓扑关系;
根据所述拓扑关系,为K-Means聚类指定类别数k,并提供每个类别的初始聚类中心;
将所述特征区域内的每个特征点进行归类,求取各聚类的重心点,并更新每个类别的当前聚类中心;
迭代聚类至最大迭代次数或当前聚类中心收敛,停止迭代;
以各聚类中聚类中心最近点表征对应的类别;
将每个类别的所述聚类中心最近点组合输出为特征结果点云。
更进一步地,在本实施例1的一种具体实施方式中,所述基于K-Mediods聚类的点云降采样方法为采用K-Mediods聚类算法合并特征区域或非特征区域中的相似同名非边界点,达到降采样效果。
具体地,在本实施例1中,基于K-Mediods聚类的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
通过kd-Tree/oc-Tree/四叉树等常见搜索树构建所述特征区域的拓扑关系;
根据所述拓扑关系,为K-Mediods聚类指定类别数k,并提供每个类别的初始聚类中心;
将所述特征区域内的每个特征点进行归类,求取各聚类的中值点,并更新每个类别的当前聚类中心;
迭代聚类至最大迭代次数或当前聚类中心收敛,停止迭代;
以各聚类中聚类中心最近点表征对应的类别;
将每个类别的所述聚类中心最近点组合输出为特征结果点云。
更进一步地,在本实施例1的一种具体实施方式中,所述基于DBSCAN聚类的点云降采样方法为使用DBSCAN聚类算法合并特征区域或非特征区域中的相似同名非边界点,达到降采样效果。
具体地,在本实施例1中,基于DBSCAN聚类的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
通过kd-Tree/oc-Tree/四叉树等常见搜索树构建所述特征区域的拓扑关系;
根据所述拓扑关系,选取任一特征点标记为已访问点;
查询所述已访问点的邻域点数;
若所述邻域点数满足邻域点数阈值,则创建新簇C,并把所述已访问点归类至该簇,所述已访问点的邻域为集合N;
遍历所述邻域内的邻域点,按照上述步骤进行归类,直至所有特征点归类完毕;
获取各聚类集合的中心点,并以各聚类中聚类中心最近点表征对应的类别,所述聚类中心最近点为距离中心点最近的特征点;
将每个类别的所述聚类中心最近点组合输出为特征结果点云。
更进一步地,在本实施例1的一种具体实施方式中,所述基于邻域均值的点云降采样方法为对特征区域或非特征区域中每个非边界点搜索足够小的球邻域,若所述球邻域的重心点与非边界点重合,则以重心点代替球形邻域内的所有非边界点,达到降采样效果。
具体地,在本实施例1中,基于邻域均值的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
通过kd-Tree/oc-Tree/四叉树等常见搜索树构建所述特征区域的拓扑关系;
根据所述拓扑关系,以足够小的半径搜索每个特征点对应的球邻域;
计算所述球邻域的重心点;
若所述重心点与所述特征点重合,则停止迭代,并删除所述球邻域内除重心点之外的所有特征点;
若所述重心点与所述特征点不重合,则重新搜索所述重心点的球邻域,重复上述步骤;
直至所有同名特征点完成融合,将与特征点重合的所有重心点组合输出为特征结果点云。
更进一步地,在本实施例1的一种具体实施方式中,所述基于均值漂移的点云降采样方法为对特征区域或非特征区域中的各个非边界点通过重复搜索逐步逼近收敛至最佳位置的中心点,然后通过欧式聚类算法把足够近的非边界点聚合,并以每个聚类集合的质心点表征该聚类集合中所有点。
具体地,在本实施例1中,基于均值漂移的点云降采样方法对特征区域内的至少一个特征点进行点云精简的具体步骤如下:
通过kd-Tree/oc-Tree/四叉树等常见搜索树构建所述特征区域的拓扑关系;
根据所述拓扑关系,选取所述特征区域内任一特征点搜索其邻域;
通过对所述邻域内的所有邻域点进行高斯加权平均计算所述特征点的聚类中心点;
以所述聚类中心点作为新的目标点,重新搜索其邻域,并计算新聚类中心点;
直至聚类中心收敛,即聚类中心不再变化;
重复上述步骤,得到每个特征点对应的聚类中心点,并将所有聚类中心点集合输出为特征结果点云。
需要特别指出的是,上述均以对特征区域的点云精简过程为例进行说明,对非特征区域的点云精简步骤与特征区域的点云精简步骤类似,此处不再赘述。此外,在本实施例1中未给出预先设置参数的具体数值均可以根据实际应用情况,由本领域技术人员在实际使用时具体设置,本申请对其不做限制。本实施例1中的字符可能存在同一字符在不同算法表示不同含义,具体含义以对应算法中的解释为准,所有字符,例如k、N、C等均为大于等于1的正整数,未解释的字符以本领域常规设置为准,因此,本申请中的字符并不会造成本申请技术方案不清楚。
实施例2
与上述一种适用于多种场景的点云降采样方法的实施例1相对应,本申请还提供了一种适用于多种场景的点云降采样装置的实施例2。所述点云降采样装置包括相互连接的获取单元、提取单元、点云降采样单元和输出单元;
其中,所述获取单元被配置为:
获取3D原始点云,所述3D原始点云包括至少一个边界点和至少一个非边界点;
所述提取单元被配置为:
根据所述3D原始点云的场景,采用相对应的算法提取所述3D原始点云的边界区域、特征区域和非特征区域,所述边界区域包括至少一个所述边界点,所述特征区域包含至少一个特征点,所述非特征区域包含至少一个非特征点;其中,所述边界区域通过对应的边界点检测算法提取,所述特征区域和非特征区域通过对应的特征点提取算法获取,且所述特征区域和非特征区域在非边界区域中进行提取,所述非边界区域包括至少一个所述非边界点;
所述点云降采样单元被配置为:
对所述特征区域内的至少一个特征点进行点云降采样处理,得到特征结果点云;
对所述非特征区域内的至少一个非特征点进行点云降采样处理,得到非特征结果点云;
所述输出单元被配置为:
将所述边界区域与所述特征结果点云以及所述非特征结果点云组合后作为3D精简点云输出。
实施例3
本申请提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现实施例1中一种适用于多种场景的点云降采样方法的步骤。
实施例4
本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现实施例1中一种适用于多种场景的点云降采样方法的步骤。
应用例
如图2a所示,为获取到的第一3D原始点云示意图,采用现有技术中的点云降采样方法处理后,得到如图2b所示的第一3D精简点云示意图;采用本申请的点云降采样方法处理后,得到如图2c的第二3D精简点云示意图。
如图3a所示,为获取到的第二3D原始点云示意图,采用现有技术中的点云降采样方法处理后,得到如图3b所示的第三3D精简点云示意图;采用本申请的点云降采样方法处理后,得到如图3c的第四3D精简点云示意图。
比较图2b和图2c,以及图3b和图3c,可以很直观地看出,采用本申请的点云降采样方法,能够最大程度保留3D原始点云数据的边界点和特征点,将其突出显示,对3D原始点云数据的精简效果更好,得到的3D精简点云更清晰。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本邻域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种适用于多种场景的点云降采样方法,其特征在于,包括:
获取3D原始点云,所述3D原始点云包括至少一个边界点和至少一个非边界点;
根据所述3D原始点云的场景,采用相对应的算法提取所述3D原始点云的边界区域、特征区域和非特征区域,所述边界区域包括至少一个所述边界点,所述特征区域包含至少一个特征点,所述非特征区域包含至少一个非特征点;其中,所述边界区域通过对应的边界点检测算法提取,所述特征区域和非特征区域通过对应的特征点提取算法获取,且所述特征区域和非特征区域在非边界区域中进行提取,所述非边界区域包括至少一个所述非边界点;
对所述特征区域内的至少一个特征点进行点云降采样处理,得到特征结果点云;
对所述非特征区域内的至少一个非特征点进行点云降采样处理,得到非特征结果点云;
将所述边界区域与所述特征结果点云以及所述非特征结果点云组合后作为3D精简点云输出。
2.根据权利要求1所述的一种适用于多种场景的点云降采样方法,其特征在于,所述边界点检测算法包括最大投影角度识别法、统计学法和向量累加法,其中,采用最大投影角度识别法提取边界区域的步骤包括:
获取所述3D原始点云中任意一个目标点的局部拟合平面,所述目标点包括边界点和非边界点;
将所述目标点投影至局部拟合平面,得到目标投影点;
计算并比较每个邻域投影点与目标投影点连线在所述局部拟合平面上的最大相邻向量夹角,所述邻域投影点为对应的邻域点在局部拟合平面上的投影,所述邻域点根据所述目标点的邻域得到;
比较所述最大相邻向量夹角和夹角阈值,判断所述目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
3.根据权利要求2所述的一种适用于多种场景的点云降采样方法,其特征在于,采用统计学法提取边界区域的步骤包括:
获取所述3D原始点云中任意一个目标点的邻域点距平均值,所述目标点包括边界点和非边界点;
根据3D原始点云的整体邻域点距平均值和整体邻域点距标准差设置邻域点距阈值;
比较所述邻域点距平均值和邻域点距阈值,判断所述目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
4.根据权利要求2所述的一种适用于多种场景的点云降采样方法,其特征在于,采用向量累加法提取边界区域的步骤包括:
获取所述3D原始点云中任意一个目标点的邻域点与目标点连线归一化之后的向量,所述目标点包括边界点和非边界点;
计算所述3D原始点云整体邻域点连线的向量累加和均值和向量累加和标准差;
比较所述向量累加和均值和均值阈值,以及比较所述向量累加和标准差和标准差阈值,判断所述目标点是否为边界点;
将所述3D原始点云中判定为边界点的所有目标点组合输出为边界区域。
5.根据权利要求1-4任意一项所述的一种适用于多种场景的点云降采样方法,其特征在于,通过特征点提取算法提取特征区域的步骤包括:
获取所述3D原始点云中每个非边界点的至少一个特征属性信息;
根据至少一个特征阈值判断所述非边界点是否属于特征点,所述特征阈值与所述特征属性信息相对应;
将所述3D原始点云中判定为特征点的所有非边界点组合输出为特征区域。
6.根据权利要求1所述的一种适用于多种场景的点云降采样方法,其特征在于,对所述特征区域内的至少一个特征点进行点云降采样处理,得到特征结果点云,包括采用基于体素采样的点云降采样方法进行点云精简,步骤如下:
将所述特征区域划分为至少一个体素网格;
获取每个体素网格内至少一个特征点的中心最近点或重心点;
以所述中心最近点或重心点表征该体素网格内的所有特征点;
将所述特征区域内的所有中心最近点或重心点组合输出为特征结果点云。
7.根据权利要求1或6所述的一种适用于多种场景的点云降采样方法,其特征在于,所述点云降采样处理还包括基于均匀采样的点云降采样方法、基于空间点距采样的点云降采样方法、基于聚类相关算子的点云降采样方法;
若3D原始点云分布均匀,则采用基于体素采样或均匀采样的点云降采样方法进行点云精简;
若3D原始点云分布不均匀,则采用基于空间点距采样的点云降采样方法或基于聚类相关算子的点云降采样方法进行点云精简。
8.一种适用于多种场景的点云降采样装置,其特征在于,采用如权利要求1-7任意一项所述的一种适用于多种场景的点云降采样方法,包括相互连接的获取单元、提取单元、点云降采样单元和输出单元;
其中,所述获取单元被配置为:
获取3D原始点云,所述3D原始点云包括至少一个边界点和至少一个非边界点;
所述提取单元被配置为:
根据所述3D原始点云的场景,采用相对应的算法提取所述3D原始点云的边界区域、特征区域和非特征区域,所述边界区域包括至少一个所述边界点,所述特征区域包含至少一个特征点,所述非特征区域包含至少一个非特征点;其中,所述边界区域通过对应的边界点检测算法提取,所述特征区域和非特征区域通过对应的特征点提取算法获取,且所述特征区域和非特征区域在非边界区域中进行提取,所述非边界区域包括至少一个所述非边界点;
所述点云降采样单元被配置为:
对所述特征区域内的至少一个特征点进行点云降采样处理,得到特征结果点云;
对所述非特征区域内的至少一个非特征点进行点云降采样处理,得到非特征结果点云;
所述输出单元被配置为:
将所述边界区域与所述特征结果点云以及所述非特征结果点云组合后作为3D精简点云输出。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7任意一项所述一种适用于多种场景的点云降采样方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述一种适用于多种场景的点云降采样方法的步骤。
CN202210248390.9A 2022-03-14 2022-03-14 一种适用于多种场景的点云降采样方法及装置 Pending CN114581473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210248390.9A CN114581473A (zh) 2022-03-14 2022-03-14 一种适用于多种场景的点云降采样方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210248390.9A CN114581473A (zh) 2022-03-14 2022-03-14 一种适用于多种场景的点云降采样方法及装置

Publications (1)

Publication Number Publication Date
CN114581473A true CN114581473A (zh) 2022-06-03

Family

ID=81780357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210248390.9A Pending CN114581473A (zh) 2022-03-14 2022-03-14 一种适用于多种场景的点云降采样方法及装置

Country Status (1)

Country Link
CN (1) CN114581473A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131384A (zh) * 2022-06-30 2022-09-30 中国科学院空间应用工程与技术中心 基于边缘保持的仿生机器人3d打印方法、装置及介质
CN116664416A (zh) * 2023-04-17 2023-08-29 重庆大学 雷达点云数据处理方法、装置、电子设备及存储介质
CN117456131A (zh) * 2023-12-26 2024-01-26 深圳市信润富联数字科技有限公司 缺陷场景下点云的降采样方法及装置
CN117723563A (zh) * 2023-11-02 2024-03-19 四川大学 一种基于点云配准的芯片引脚缺陷检测方法
CN117746055A (zh) * 2023-12-25 2024-03-22 江苏星慎科技集团有限公司 基于3d点云数据提取立体特征的算法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131384A (zh) * 2022-06-30 2022-09-30 中国科学院空间应用工程与技术中心 基于边缘保持的仿生机器人3d打印方法、装置及介质
CN115131384B (zh) * 2022-06-30 2023-04-07 中国科学院空间应用工程与技术中心 基于边缘保持的仿生机器人3d打印方法、装置及介质
CN116664416A (zh) * 2023-04-17 2023-08-29 重庆大学 雷达点云数据处理方法、装置、电子设备及存储介质
CN117723563A (zh) * 2023-11-02 2024-03-19 四川大学 一种基于点云配准的芯片引脚缺陷检测方法
CN117746055A (zh) * 2023-12-25 2024-03-22 江苏星慎科技集团有限公司 基于3d点云数据提取立体特征的算法
CN117456131A (zh) * 2023-12-26 2024-01-26 深圳市信润富联数字科技有限公司 缺陷场景下点云的降采样方法及装置
CN117456131B (zh) * 2023-12-26 2024-05-24 深圳市信润富联数字科技有限公司 缺陷场景下点云的降采样方法及装置

Similar Documents

Publication Publication Date Title
CN114581473A (zh) 一种适用于多种场景的点云降采样方法及装置
CN110334779B (zh) 一种基于PSPNet细节提取的多聚焦图像融合方法
CN111369442B (zh) 基于模糊核分类与注意力机制的遥感图像超分辨重建方法
CN110728179A (zh) 一种采用多路卷积神经网络的猪脸识别方法
CN108763420A (zh) 数据对象的分类方法、装置、终端和计算机可读存储介质
CN113781510B (zh) 边缘检测方法、装置及电子设备
CN109214246B (zh) 基于全局方向信息的指纹检索方法
CN108280236A (zh) 一种基于LargeVis的随机森林可视化数据分析方法
Hu et al. A fast and simple method of building detection from LiDAR data based on scan line analysis
CN114065819A (zh) 基于多特征融合与改进谱聚类的用电行为分析方法及系统
CN116824379A (zh) 一种基于多维特征的激光点云建筑物轮廓渐进优化方法
CN106683105A (zh) 图像分割方法及图像分割装置
CN112102178A (zh) 一种点云保特征去噪方法、装置、电子设备及存储介质
CN113963010B (zh) 一种物体轮廓线提取方法及系统
CN117557557B (zh) 一种基于细胞核分割模型的甲状腺病理切片细胞检测方法
CN114581331A (zh) 一种适用于多种场景的点云降噪方法及装置
CN113793421A (zh) 一种变电站设备三维点云数据处理方法、系统及存储介质
CN116500703B (zh) 一种雷暴单体识别方法和装置
Yuan et al. Automatic cables segmentation from a substation device based on 3D point cloud
CN112218230B (zh) 用户常驻位置的获取方法、装置以及计算机可读存储介质
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN116704378A (zh) 一种基于自生长卷积神经网络的国土测绘数据分类方法
CN116664823A (zh) 基于元学习和度量学习的小样本sar目标检测识别方法
CN116452604A (zh) 一种复杂变电站场景分割方法、设备及存储介质
CN115410036A (zh) 一种高压架空输电线路关键要素激光点云自动分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination