CN117269940B - 点云数据生成方法、激光雷达的感知能力验证方法 - Google Patents

点云数据生成方法、激光雷达的感知能力验证方法 Download PDF

Info

Publication number
CN117269940B
CN117269940B CN202311534466.5A CN202311534466A CN117269940B CN 117269940 B CN117269940 B CN 117269940B CN 202311534466 A CN202311534466 A CN 202311534466A CN 117269940 B CN117269940 B CN 117269940B
Authority
CN
China
Prior art keywords
point cloud
vertexes
cloud data
laser radar
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311534466.5A
Other languages
English (en)
Other versions
CN117269940A (zh
Inventor
程领骑
托雷
求杰超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yikong Zhijia Technology Co Ltd
Original Assignee
Beijing Yikong Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yikong Zhijia Technology Co Ltd filed Critical Beijing Yikong Zhijia Technology Co Ltd
Priority to CN202311534466.5A priority Critical patent/CN117269940B/zh
Publication of CN117269940A publication Critical patent/CN117269940A/zh
Application granted granted Critical
Publication of CN117269940B publication Critical patent/CN117269940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Abstract

本申请提供了一种点云数据生成方法、激光雷达的感知能力验证方法,涉及无人驾驶、无人车领域。该点云数据生成方法包括:在仿真环境中的目标三维空间区域放置多个顶点;获取多个顶点的相关数据,并将多个顶点的相关数据传入图形处理器进行运算,图形处理器用于基于相关数据以及预设噪声函数,模拟实际扬尘环境中的噪声,得到各个顶点的噪声值;基于各个顶点的噪声值与预设阈值的比较,筛选出多个顶点中的可见顶点;基于可见顶点渲染相应的绘制点;模拟待测激光雷达对绘制点进行采样,得到仿真的点云数据。本申请能够模拟待测激光雷达遇到扬尘时返回的点云数据,便于开发人员及时地对待测激光雷达进行感知算法的验证和无人驾驶车辆的测试。

Description

点云数据生成方法、激光雷达的感知能力验证方法
技术领域
本申请涉及无人驾驶、无人车领域,具体涉及一种点云数据生成方法、激光雷达的感知能力验证方法。
背景技术
传统的扬尘仿真方法通常只是仿真扬尘的颜色,得到的可视化效果也仅仅是针对人眼和可见光相机。然而,对于无人驾驶领域的仿真模拟,往往需要对激光雷达数据进行仿真,而激光雷达获取的是目标对象的位置,此时,利用传统的扬尘仿真方法便无法满足无人驾驶领域的扬尘仿真需求。
发明内容
有鉴于此,本申请实施例提供了一种点云数据生成方法、激光雷达的感知能力验证方法。
第一方面,本申请一实施例提供了一种点云数据生成方法,包括:在仿真环境中设置目标三维空间区域,并在目标三维空间区域放置多个顶点,顶点表征扬尘粒子,多个顶点互不重叠;获取多个顶点的相关数据,并将多个顶点的相关数据传入图形处理器进行运算,相关数据包括各个顶点的三维坐标,图形处理器用于基于相关数据以及预设噪声函数,模拟实际扬尘环境中的噪声,得到多个顶点各自的噪声值;基于多个顶点各自的噪声值与预设阈值的比较,筛选出多个顶点中的可见顶点;基于可见顶点渲染相应的绘制点,绘制点的尺寸与待测激光雷达的分辨率相关;模拟待测激光雷达对绘制点进行采样,得到仿真的点云数据。
结合第一方面,在第一方面的某些实现方式中,基于多个指定噪声函数并通过以下方式获得所述预设噪声函数:对多个指定噪声函数进行叠加处理;或者,为不同区域的顶点对应设置不同的指定噪声函数。
结合第一方面,在第一方面的某些实现方式中,相关数据还包括时间信息。
结合第一方面,在第一方面的某些实现方式中,基于可见顶点渲染相应的绘制点,包括:基于可见顶点,在着色器中渲染相应的绘制点。
结合第一方面,在第一方面的某些实现方式中,模拟待测激光雷达对绘制点进行采样,得到仿真的点云数据,包括:将绘制点的三维坐标投影到二维空间;在二维空间获取与待测激光雷达的线束信息对应的绘制点坐标;基于对应的绘制点坐标生成仿真的点云数据。
结合第一方面,在第一方面的某些实现方式中,绘制点在二维空间的坐标存储在颜色缓存中,对应的绘制点坐标由中央处理器读取颜色缓存获取。
结合第一方面,在第一方面的某些实现方式中,线束信息包括线束的角度、坐标和/或扫描方式。
结合第一方面,在第一方面的某些实现方式中,在目标三维空间区域放置多个顶点,包括:在距待测激光雷达一定范围内,沿待测激光雷达的每个线束的方向按照一定间隔撒点。
结合第一方面,在第一方面的某些实现方式中,待测激光雷达的中心作为多个顶点所在三维空间区域的坐标原点。
第二方面,本申请一实施例提供了一种激光雷达的感知能力验证方法,包括:基于第一方面所提及的方法得到的仿真的点云数据,验证激光雷达的感知能力。
第三方面,本申请一实施例提供了一种点云数据生成装置,包括:撒点模块,用于在仿真环境中设置目标三维空间区域,并在目标三维空间区域放置多个顶点,顶点表征扬尘粒子,多个顶点互不重叠;模拟模块,用于获取多个顶点的相关数据,并将多个顶点的相关数据传入图形处理器进行运算,相关数据包括各个顶点的三维坐标,图形处理器用于基于相关数据以及预设噪声函数,模拟实际扬尘环境中的噪声,得到多个顶点各自的噪声值;筛选模块,用于基于多个顶点各自的噪声值与预设阈值的比较,筛选出多个顶点中的可见顶点;渲染模块,用于基于可见顶点渲染相应的绘制点,绘制点的尺寸与待测激光雷达的分辨率相关;采样模块,用于模拟待测激光雷达对绘制点进行采样,得到仿真的点云数据。
第四方面,本申请一实施例提供了一种激光雷达的感知能力验证装置,包括:验证模块,用于基于第一方面提及的方法得到的仿真的点云数据,验证目标激光雷达的感知能力。
第五方面,本申请一实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序用于执行第一方面和第二方面所提及的方法。
第六方面,本申请一实施例提供了一种电子设备,该电子设备包括:处理器;用于存储处理器可执行指令的存储器;该处理器用于执行第一方面和第二方面所提及的方法。
本申请实施例提供了一种点云数据生成方法,具体地,在指定的目标三维空间区域撒若干顶点,使其铺满整个三维空间区域,并利用图形处理器、根据顶点的三维坐标计算顶点的噪声值,进而从若干顶点中确定可见顶点,进一步地,基于可见顶点渲染绘制点,模拟激光雷达对绘制点进行采样,得到仿真的点云数据。由此可见,通过本申请实施例中的方法,能够基于可见顶点的位置数据,模拟激光雷达遇到扬尘时返回的点云数据,该点云数据更契合激光雷达的仿真场景下、对采集目标的位置数据的获取需求,此外,便于开发人员及时对激光雷达进行感知算法的验证和无人驾驶车辆的测试。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1所示为本申请一实施例提供的点云数据生成方法的实施环境示意图。
图2所示为本申请一实施例提供的点云数据生成方法的流程示意图。
图3所示为本申请一实施例提供的目标三维空间区域内多个顶点以及可见顶点分布的对比示意图。
图4所示为本申请一实施例提供的待测激光雷达采集的点云数据的示意图。
图5所示为本申请一实施例提供的待测激光雷达采集点云数据过程中显示界面的示意图。
图6所示为本申请一实施例提供的得到仿真的点云数据的流程示意图。
图7所示为本申请一实施例提供的点云数据生成装置的结构示意图。
图8所示为本申请一实施例提供的激光雷达的感知能力验证装置的结构示意图。
图9所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
恶劣天气是无人驾驶较难应付的环境因素,尤其是雨雪雾尘,这些天气环境会让点云数据产生非常多的噪点。例如,在雨天环境下,雨滴主要是晶体状,雨滴会让部分激光束产生一定的镜面折射,因此,激光束打上去会损失一定的能量。另外,随着雨量增大,降雨可能会由于地面温差而形成团状雾,这会让无人驾驶系统误以为前方是一个“障碍物”。其次,在雪天环境下,雪是固体状,并且容易形成体积更大的固体物,除了会堆积成团状的障碍物外,大雪天还容易让地面形成大面积的积雪,这些都不利于在目标检测环节中做地面点云数据的分割处理。再者,在大雾环境,一般来说,在雾天不严重的情况下,如轻雾(能见度1km-10km),并不会影响激光雷达采集的点云数据的处理效果,但是当雾天能见度越来越低后,点云数据的透过率会下降,车辆前方的点云图像会形成类似团状物体的假象,这会造成误检。最后,在扬尘环境下,相比于前面三者,它对点云数据的影响会更大。一方面,扬尘会形成团状物体,易导致激光雷达的误识别;另一方面,扬尘不同于雨雪雾,它附着于激光雷达表面后,不会变干后自然消失,需要用清洁装置立即进行清理。因此,模拟激光雷达在扬尘环境中生成的点云数据,进而对激光雷达的感知能力进行评估,是亟须解决的问题。
相关技术中,在扬尘环境中的仿真主要采用点精灵与纹理贴图的形式,其具体实现过程如下:采集目标场景中扬尘排放的实时数据,包括扬尘浓度等指标,然后,将这些数据转化为点精灵的形式,即每个数据点看作一个点精灵,其中,点精灵的大小和颜色可以根据扬尘浓度进行调整。进一步地,将点精灵与纹理贴图进行融合,使得扬尘的形态更加逼真。最后,将绘制的点精灵渲染到屏幕上,实现扬尘仿真。上述扬尘仿真方法在对实时性要求较高的游戏行业得到了广泛的应用,但是却无法满足无人驾驶领域的扬尘仿真需求。
此外,相关技术中,对于大范围的扬尘,还通常使用噪声和光线步进的方式进行体渲染。这种方式主要是对可见光仿真,对目标边界没有要求,所以可以用较少的步进次数加上平滑函数得到较好的可视化效果,但是计算量大,无法做到实时计算。
有鉴于此,本申请提供了一种点云数据生成方法,具体地,在指定的目标三维空间区域撒若干顶点,使其铺满整个三维空间区域,并利用图形处理器、根据顶点的三维坐标计算顶点的噪声值,进而从若干顶点中确定可见顶点,进一步地,基于可见顶点渲染绘制点,模拟激光雷达对绘制点进行采样,得到仿真的点云数据。由此可见,通过本实施例中的方法,能够基于可见顶点的位置数据,模拟激光雷达遇到扬尘时返回的点云数据,该点云数据更契合激光雷达的仿真场景下、对采集目标的位置数据的获取需求,此外,便于开发人员及时对激光雷达进行感知算法的验证和无人驾驶车辆的测试。
图1所示为本申请一实施例提供的点云数据生成方法的实施环境示意图。如图1所示,该点云数据生成方法可以由计算机设备来执行,该计算机设备可以是服务器,也可以是用户终端等设备。在一些实现方式中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器。在一些实现方式中,用户终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能家电、车载终端、智能语音交互设备、飞行器等,但并不局限于此。
示例性地,计算机设备中配置有仿真系统,通过计算机设备在仿真系统中定义激光雷达参数和扬尘环境参数。举例来说,激光雷达参数包括置激光雷达高度、激光雷达水平方向视场角、激光雷达垂直方向视场角、激光雷达最大探测距离、激光雷达最小探测距离、激光雷达分辨率、激光雷达距离分辨率等等。扬尘环境参数包括扬尘密度、扬尘粒子大小、扬尘粒子数量等等。进一步地,根据设置的激光雷达参数和扬尘环境参数,运行仿真系统,并执行图2所示实施例中的点云数据生成方法,得到仿真的点云数据。
基于激光雷达在扬尘环境中仿真得到的点云数据,可以模拟建筑工地不同施工阶段的扬尘情况,矿山开采场景下不同开采方式下的扬尘情况,以及道路施工场景下不同施工方式下的扬尘情况等等,进而优化施工计划,减少扬尘对周边环境的影响。由此可见,不同的应用场景,实际扬尘情况也不同,因此,针对具体应用场景的扬尘仿真,可根据该场景下的地形、风向等因素,对扬尘环境参数进行自适应地设置。
具体来说,在矿区场景下,由于采矿作业会产生大量的扬尘,这些扬尘会对激光雷达采集到的点云数据产生干扰,导致点云数据中夹杂着大量的噪点。这些噪点会对后续的点云处理环节产生影响,从而影响无人驾驶系统的性能。因此,为了更好地应对扬尘环境对激光雷达采集到的点云数据产生的影响,需要对激光雷达在扬尘环境中采集到的点云数据进行仿真,以便更好地评估无人驾驶系统在扬尘环境下的性能表现。示例性地,在对矿区场景中的扬尘进行仿真前,可先在矿区场景中安装激光雷达设备,对矿区进行扫描,获取矿区的三维点云数据。进一步地,根据矿区的地形和风向等因素,模拟扬尘的产生和扩散过程,生成扬尘的三维模型。
下面结合图2至图6,举例说明点云数据生成方法的具体实现。
图2所示为本申请一实施例提供的点云数据生成方法的流程图。如图2所示,本申请实施例提供的点云数据生成方法包括如下步骤。
步骤S210,在仿真环境中设置目标三维空间区域,并在目标三维空间区域放置多个顶点。
在本实施例中,仿真环境是指待测激光雷达的仿真环境,主要用于通过模拟待测激光雷达扫描周围环境并生成相应数据的环境。顶点表征扬尘粒子,多个顶点互不重叠,这些顶点的三维坐标和线束的反射强度可以用来生成点云数据。
图3所示为本申请一实施例提供的目标三维空间区域内多个顶点以及可见顶点分布的对比示意图。参见图3,在一种实现方式中,在距待测激光雷达一定范围内,沿待测激光雷达的每个线束的方向按照一定间隔撒点,得到多个顶点在目标三维空间区域的分布。具体来说,沿待测激光雷达的每个线束的方向按照一定间隔撒点时,这些点的密度和分布应该与实际激光雷达的测量数据相似,以便尽可能地使顶点覆盖整个目标三维空间区域,获取更全面的扬尘粒子的分布信息。同时,还需要考虑待测激光雷达的分辨率和探测距离等因素,以保证检测结果的准确性和可靠性。
示例性地,可以通过粒子系统生成目标三维空间区域的顶点,每个顶点和其相邻顶点在x、y、z三个方向上有一定间隔,并且,顶点的大小、颜色和运动方向可以根据需要进行配置。在仿真环境中,这些顶点可以准确地模拟扬尘的运动轨迹和分析情况,进而呈现出真实环境中的扬尘效果,提高仿真的真实性和可信度。
步骤S220,获取多个顶点的相关数据,并将多个顶点的相关数据传入图形处理器进行运算,图形处理器用于基于相关数据以及预设噪声函数,模拟实际扬尘环境中的噪声,得到多个顶点各自的噪声值。
相关数据包括各个顶点的三维坐标。在一种实现方式中,将待测激光雷达的中心作为多个顶点所在的三维空间区域的坐标原点,得到顶点的三维坐标。具体而言,待测激光雷达的中心是一个固定的点,可以作为一个稳定的参考点,而且待测激光雷达的测量范围是有限的,如果将其他点作为坐标原点,可能会导致计算误差增大。因此,将待测激光雷达的中心点作为顶点在仿真环境中的坐标原点可以简化计算,使得计算光线行进距离时的坐标变换更加方便,同时,这种方法还可以减小误差,提高计算精度。
在本实施例中,图形处理器可以用来加速计算,提高仿真效率。通过图形处理器并行计算的能力,能够大幅缩短仿真时间,提高仿真效率。同时,图形处理器还可以用来进行可视化处理,将仿真结果以图像或视频的形式呈现出来,方便用户观察和分析。噪声函数是一种用于生成随机数的函数,可以生成一系列看似随机的数值,但是这些数值之间具有一定的连续性和相关性。
在实际扬尘环境中,由于风力、地形等因素的影响,扬尘粒子的运动轨迹会受到很大的扰动。因此,在本实施例中,利用图形处理器,基于预设噪声函数,对顶点的三维坐标进行噪声模拟,可以更加真实地反映实际扬尘环境中的情况。进一步地,计算出的顶点的噪声值能够表征该顶点在仿真环境中所处环境的复杂程度,例如,顶点对应的噪声值可以表征该顶点的反射强度与周围环境的差异,进而通过顶点的噪声值判断该点是否存在扬尘以及扬尘的程度,还可以用来评估环境污染程度和空气质量等信息。
在一些实现方式中,相关数据还包括时间信息,即可以将顶点的三维坐标和时间信息输入预设噪声函数,得到顶点的噪声值。具体地,根据顶点的三维坐标和时间信息,计算顶点对应的噪声值,可以通过计算三维数据频率来确定噪声数据并进行剔除,从而提高检测结果的准确性。
在另一些实现方式中,基于多个指定噪声函数并通过以下方式获得预设噪声函数:对多个指定噪声函数进行叠加处理;或者,为不同区域的顶点对应设置不同的指定噪声函数。
示例性地,针对每个指定噪声函数,都将顶点的三维坐标和时间信息,输入指定噪声函数进行处理,得到顶点对应的噪声值,将顶点在多个指定噪声函数中的噪声值进行叠加,得到顶点对应的噪声值。可选地,指定噪声函数包括第一噪声函数和/或第二噪声函数,第一噪声函数用于模拟扬尘粒子在目标三维空间区域中的整体分布,第二噪声函数用于模拟扬尘粒子在目标三维空间区域中的局部区域的细节分布。
通过将多个指定噪声函数组合使用,可以更加真实地模拟扬尘粒子的运动轨迹和分布情况,提高扬尘仿真的准确性和可靠性。同样地,不同位置的扬尘粒子受到的空气流动和湍流强度不同,因此其运动轨迹也会有所不同,通过为不同的顶点设置不同的指定噪声函数,可以更加真实地模拟扬尘粒子在空气中的运动情况,从而提高扬尘仿真的准确性和可靠性。
步骤S230,基于多个顶点各自的噪声值与预设阈值的比较,筛选出多个顶点中的可见顶点。
可见顶点是指在待测激光雷达的测量范围内,能够被探测到的顶点。示例性地,可见顶点在目标三维空间区域的分布情况参见图3所示。在本实施例中,可见顶点表示该顶点对应的点云密度高,可以被渲染出来;否则,认为该顶点对应的点云密度较低,不需要对其进行渲染。如此,便可以有效地控制点云的渲染数量,提高渲染效率。
由于顶点的噪声值还能够表征在测量过程中由于各种因素引起的误差值,因此,根据顶点的噪声值,确定可见顶点,可以提高在扬尘环境中待测激光雷达采集的点云数据的准确性和可靠性。
步骤S240,基于可见顶点渲染相应的绘制点。
在本实施例中,绘制点的尺寸与待测激光雷达的分辨率相关。具体而言,待测激光雷达在扫描周围环境时,会发出一束光束,然后通过接收反射回来的光来确定周围物体的位置和距离。待测激光雷达的分辨率是指它能够分辨出两个物体之间的最小距离差异,因此,绘制点的大小需要根据待测激光雷达的分辨率来设置,以便更准确地模拟待测激光雷达扫描周围环境时的效果。
在一种实现方式中,基于可见顶点在着色器中渲染相应的绘制点。
在本实施例中,顶点三维坐标只是一个点的位置信息,无法直观地展示出来。为了更好地展示出点的位置信息,可以在着色器中渲染相应的绘制点。示例性地,绘制点为点精灵。点精灵是一种特殊的粒子效果,它可以在屏幕上以点的形式呈现,同时可以根据点的位置信息进行大小、颜色等属性的调整,从而更好地展示出点的位置信息。此外,点精灵还可以通过纹理贴图的方式,将点的形状变成其他形状,从而实现更加丰富的展示效果。
步骤S250,模拟待测激光雷达对绘制点进行采样,得到仿真的点云数据。
在一种实现方式中,模拟待测激光雷达对绘制点进行采样,得到返回点的坐标,将返回点的坐标保存下来,即得到仿真的点云数据。
在另一种实现方式中,基于待测激光雷达的参数,设置目标相机的参数,目标相机布置在仿真环境中;基于目标相机的参数,采集目标三维区域的点云数据;优选地,若待测激光雷达的水平角超过120°,则相机的数量为多个,其中,多个相机包括的可视范围完全覆盖待测激光雷达的可见区域。进一步地,结合待测激光雷达得到的仿真的点云数据以及相机得到的仿真的点云数据,得到最终的仿真的点云数据。
具体来说,点云数据是指海量三维点的几何,点云数据中的每个点至少具有三维位置信息,根据应用场景的不同,还可能具有色彩(颜色)、材质或其他信息例如反射率等附加属性。通常,点云数据中的每个点都具有相同数量的附加属性。例如,根据待测激光雷达的激光测量原理得到的点云数据,包括三维坐标和激光反射强度;根据相机的摄影测量原理得到的点云,包括三维坐标和颜色信息;结合激光测量和摄影测量原理得到点云,包括三维坐标、激光反射强度和颜色信息。
图4所示为本申请一实施例提供的待测激光雷达采集的点云数据的示意图。如图4所示,点云采集车行驶在矿区模拟环境中,进一步模拟点云采集车上装载的待测激光雷达,对矿区模拟环境中的点云数据进行采集。具体地,由于待测激光雷达具有一定的俯仰角,因此,该待测激光雷达可以对前方的地面和地面上方的物体进行扫描,得到地面及地面上方对应的点云数据。继续参照图4,a、b、c、d等处为待测激光雷达采集到的扬尘粒子对应的点云数据。
图5所示为本申请一实施例提供的待测激光雷达采集点云数据过程中显示界面的示意图。如图5所示,点云采集车在矿区模拟环境中正常行驶的过程中,激光雷达不仅能感测到扬尘粒子,还能通过该界面中的“流体仿真参数设置”,对扬尘粒子的参数进行设置。此外,需要说明的是,本申请实施例中的扬尘粒子是可以运动的,因此,在计算顶点对应的噪声值时,将顶点对应的三维坐标和时间信息同时输入预设噪声函数,能够更准确地得到该顶点在不同时间、不同三维坐标下,对点云数据渲染结果的影响。
本申请提供了一种点云数据生成方法,具体地,在指定的目标三维空间区域撒若干顶点,使其铺满整个三维空间区域,并利用图形处理器、根据顶点的三维坐标计算顶点的噪声值,进而从若干顶点中确定可见顶点,进一步地,基于可见顶点渲染绘制点,模拟激光雷达对绘制点进行采样,得到仿真的点云数据。由此可见,通过本实施例中的方法,能够基于可见顶点的位置数据,模拟激光雷达遇到扬尘时返回的点云数据,该点云数据更契合激光雷达的仿真场景下、对采集目标的位置数据的获取需求,此外,便于开发人员及时对激光雷达进行感知算法的验证和无人驾驶车辆的测试。
图6所示为本申请一实施例提供的得到仿真的点云数据的流程示意图。如图6所示,在本申请实施例中,模拟待测激光雷达对绘制点进行采样,得到仿真的点云数据,包括如下步骤。
步骤S610,将绘制点的三维坐标投影到二维空间。
示例性地,可以使用投影算法,将绘制点的三维坐标投影到二维空间,并且,将二维空间中的二维坐标映射到仿真环境中。例如,可以利用正交投影和透视投影等投影算法,可以使用仿射变换或透视变换等映射方法。需要注意的是,映射过程中需要考虑待测激光雷达的误差和噪声等因素,以保证映射结果的准确性和可靠性。
在一些实现方式中,绘制点在二维空间中的坐标存储在颜色缓存中。颜色缓存是一个用于存储像素颜色信息的内存区域。在Open GL中,颜色缓存是一个帧缓存的一部分,它存储了每个像素的颜色信息。在点云仿真中,将绘制点的三维坐标投影到二维空间,即颜色缓存中,便于在后续的渲染过程中,能够根据颜色缓存中的信息来确定每个像素的颜色,使得点云在渲染时更加真实,同时也方便了后续的处理和分析。
步骤S620,在二维空间获取与待测激光雷达的线束信息对应的绘制点坐标。
在一种实现方式中,对应的绘制点坐标由中央处理器读取颜色缓存获取。中央处理器是计算机系统中的核心部件,负责控制和处理数据,因此可以通过中央处理器来读取绘制点坐标,以便进行后续的计算和仿真。
在一种实现方式中,线束信息包括线束的角度、坐标或扫描方式。下面对线束的角度、线束的坐标和线束的扫描方式进行详细解释。
线束的角度:待测激光雷达通过控制线束的发射角度来扫描目标三维区域,从而获取目标三维区域中的顶点的三维坐标。线束的角度是指线束与水平面的夹角,通常以弧度或角度表示。线束的坐标:指线束的发射位置,通常以笛卡尔坐标系表示。扫描方式:包括水平扫描和垂直扫描两种。水平扫描是指线束在水平方向上扫描,垂直扫描是指线束在垂直方向上扫描。同时,待测激光雷达还可以通过改变扫描方式来获取更多的环境信息,例如全景扫描、多层扫描等。
示例性地,待测激光雷达在扫描时会按照一定的角度间隔扫描,每次扫描会记录下该角度下的距离和反射强度等信息,而在仿真时,可以根据这些信息计算出每道光束的角度,并根据角度计算出其在颜色缓存中的对应位置。此外,可以根据待测激光雷达的反射强度信息判断该线束是否打到扬尘上以及反射点的位置。
步骤S630,基于对应的绘制点坐标生成仿真的点云数据。
示例性地,可以使用待测激光雷达的外参矩阵,将对应的绘制点坐标从相机坐标系转换到待测激光雷达坐标下,然后,将这些绘制点组合成点云数据。在组合点云数据时,可以使用一些开源的点云库。
在实际应用中,需要对扬尘粒子的分布情况进行观察和分析,而三维数据的可视化比较困难,将可见顶点从三维空间映射到二维空间,那么,可见顶点的三维坐标转换为二维坐标,同样的,待测激光雷达的数据也从三维变成二维,这可以模拟真实的扬尘场景,同时,这种处理方法也便于进行数据处理和算法设计。
在本申请一些实施例中,可以基于前述任一实施例生成的点云数据,验证激光雷达的感知能力。具体地,激光雷达的感知能力验证方法包括:获取目标激光雷达对应的目标点云数据,目标点云数据是基于上述任一实施例所提及的点云数据生成方法得到的;基于目标点云数据,验证目标激光雷达的感知能力。
激光雷达的感知能力是指它能够通过发射线束并接收反射回来的线束来获取周围环境的三维信息,包括距离、角度和高度等,从而实现对周围环境的感知和障碍物检测。示例性地,验证激光雷达的感知能力的具体方法可以包括下述各项。
数据预处理:对点云数据进行去噪、滤波、配准等预处理操作,以提高点云数据的数据质量。
特征提取:从预处理后的点云数据中提取出特征,如平面、曲面、边缘等,以便后续的分析和处理。
目标检测:利用特征信息,对点云数据进行目标检测,如车辆、行人、建筑物等,以验证激光雷达的感知能力。举例来说,可以利用点云数据进行障碍物检测和跟踪,验证激光雷达的感知能力;也可以点云数据进行地面分割和车道线检测,验证激光雷达的感知能力;还可以利用点云数据进行目标识别和分类,验证激光雷达的感知能力。此外,需要说明的是,在进行目标检测后,点云数据中会有很大一部分点云属于地面点数据,并呈现出一定的纹理状,这会对后续目标物的点云处理流程产生影响。一方面,若不将这些地面点云数据进行分割及去除,这些无效的点云数据就会对位于地面上的物体点云数据造成干扰,会降低目标障碍物分割算法的准确性和鲁棒性;另一方面,由于点云数据量过大,这就会增加模型对计算量的需求。所以,在进行后续工作前,感知算法人员可以先对地面点云进行过滤处理。
评估分析:对结果进行评估分析,如误检率、漏检率、定位精度等,以评估激光雷达的感知能力。
在实际应用中,扬尘粒子会散射光线并返回到激光雷达的接收器,激光雷达的感知性能会受到影响,进而影响激光雷达的探测效果和探测精度,从而造成障碍物误识别,无人驾驶车辆也无法准确识别判断障碍物。因此,在本实施例中,通过前述实施例生成的点云数据,可以更好地了解激光雷达在扬尘环境中的感知能力的性能表现,便于优化激光雷达的参数设置,提高激光雷达的性能和精度,以及无人驾驶领域汽车的安全性和可靠性。
上文结合图2至图6,详细描述了本申请的方法实施例,下面结合图7和图8,详细描述本申请的装置实施例。应理解,方法实施例的描述与装置实施例的描述相互对应,因此,未详细描述的部分可以参见前面方法实施例。
图7所示为本申请一示例性实施例提供的点云数据生成装置的结构示意图。如图7所示,本申请实施例提供的点云数据生成装置70包括:
撒点模块710,用于在仿真环境中设置目标三维空间区域,并在目标三维空间区域放置多个顶点,顶点表征扬尘粒子,多个顶点互不重叠;
模拟模块720,用于获取多个顶点的相关数据,并将多个顶点的相关数据传入图形处理器进行运算,相关数据包括各个顶点的三维坐标,图形处理器用于基于相关数据以及预设噪声函数,模拟实际扬尘环境中的噪声,得到多个顶点各自的噪声值;
筛选模块730,用于基于多个顶点各自的噪声值与预设阈值的比较,筛选出多个顶点中的可见顶点;
渲染模块740,用于基于可见顶点渲染相应的绘制点,绘制点的尺寸与待测激光雷达的分辨率相关;
采样模块750,用于模拟待测激光雷达对绘制点进行采样,得到仿真的点云数据。
在一些实施例中,基于多个指定噪声函数并通过以下方式获得所述预设噪声函数:对多个指定噪声函数进行叠加处理;或者,为不同区域的顶点对应设置不同的指定噪声函数。
在一些实施例中,相关数据还包括时间信息。
在一些实施例中,渲染模块740还用于,基于可见顶点,在着色器中渲染相应的绘制点。
在一些实施例中,采样模块750还用于,将绘制点的三维坐标投影到二维空间;在二维空间获取与待测激光雷达的线束信息对应的绘制点坐标;基于对应的绘制点坐标生成仿真的点云数据。
在一些实施例中,绘制点在二维空间的坐标存储在颜色缓存中,对应的绘制点坐标由中央处理器读取颜色缓存获取。
在一些实施例中,线束信息包括线束的角度、坐标或扫描方式。
在一些实施例中,撒点模块710还用于,在距待测激光雷达一定范围内,沿待测激光雷达的每个线束的方向按照一定间隔撒点。
在一些实施例中,待测激光雷达的中心作为多个顶点所在三维空间区域的坐标原点。
图8所示为本申请一实施例提供的激光雷达的感知能力验证装置的结构示意图。如图8所示,本申请实施例提供的激光雷达的感知能力验证装置80包括:
验证模块810,用于基于上述实施例获得的仿真的点云数据,验证激光雷达的感知能力。
下面,参考图9来描述根据本申请实施例的电子设备。图9所示为本申请一示例性实施例提供的电子设备的结构示意图。
如图9所示,电子设备90包括一个或多个处理器901和存储器902。
处理器901可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备90中的其他组件以执行期望的功能。
存储器902可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器901可以运行所述程序指令,以实现上文所述的本申请的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如包括顶点的相关数据、顶点的噪声值、绘制点、点云数据等各种内容。
在一个示例中,电子设备90还可以包括:输入装置903和输出装置904,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置903可以包括例如键盘、鼠标等等。
该输出装置904可以向外部输出各种信息,包括顶点的相关数据、顶点的噪声值、绘制点、点云数据等。该输出装置904可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图9中仅示出了该电子设备90中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备90还可以包括任何其他适当的组件。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种点云数据生成方法,其特征在于,包括:
在仿真环境中设置目标三维空间区域,并在所述目标三维空间区域放置多个顶点,所述顶点表征扬尘粒子,所述多个顶点互不重叠;
获取所述多个顶点的相关数据,并将所述多个顶点的相关数据传入图形处理器进行运算,所述相关数据包括各个顶点的三维坐标,所述图形处理器用于基于所述相关数据以及预设噪声函数,模拟实际扬尘环境中的噪声,得到所述多个顶点各自的噪声值;
基于所述多个顶点各自的噪声值与预设阈值的比较,筛选出所述多个顶点中的可见顶点;
基于所述可见顶点渲染相应的绘制点,所述绘制点的尺寸与待测激光雷达的分辨率相关;
模拟所述待测激光雷达对所述绘制点进行采样,得到仿真的点云数据。
2.根据权利要求1所述的点云数据生成方法,其特征在于,基于多个指定噪声函数并通过以下方式获得所述预设噪声函数:
对多个指定噪声函数进行叠加处理;或者,
为不同区域的顶点对应设置不同的指定噪声函数。
3.根据权利要求1所述的点云数据生成方法,其特征在于,所述相关数据还包括时间信息。
4.根据权利要求1所述的点云数据生成方法,其特征在于,所述基于所述可见顶点渲染相应的绘制点,包括:
基于所述可见顶点,在着色器中渲染相应的绘制点。
5.根据权利要求1所述的点云数据生成方法,其特征在于,所述模拟所述待测激光雷达对所述绘制点进行采样,得到仿真的点云数据,包括:
将所述绘制点的三维坐标投影到二维空间;
在所述二维空间获取与所述待测激光雷达的线束信息对应的绘制点坐标;
基于所述对应的绘制点坐标生成所述仿真的点云数据。
6.根据权利要求5所述的点云数据生成方法,其特征在于,所述绘制点在所述二维空间的坐标存储在颜色缓存中,所述对应的绘制点坐标由中央处理器读取所述颜色缓存获取。
7.根据权利要求5所述的点云数据生成方法,其特征在于,所述线束信息包括线束的角度、坐标和/或扫描方式。
8.根据权利要求1至7中任一项所述的点云数据生成方法,其特征在于,所述在所述目标三维空间区域放置多个顶点,包括:
在距所述待测激光雷达一定范围内,沿所述待测激光雷达的每个线束的方向按照一定间隔撒点。
9.根据权利要求1至7中任一项所述的点云数据生成方法,其特征在于,所述待测激光雷达的中心作为所述多个顶点所在三维空间区域的坐标原点。
10.一种激光雷达的感知能力验证方法,其特征在于,包括:
基于权利要求1至9中任一项所述的方法获得的仿真的点云数据,验证所述激光雷达的感知能力。
11.一种点云数据生成装置,其特征在于,包括:
撒点模块,用于在仿真环境中设置目标三维空间区域,并在所述目标三维空间区域放置多个顶点,所述顶点表征扬尘粒子,所述多个顶点互不重叠;
模拟模块,用于获取所述多个顶点的相关数据,并将所述多个顶点的相关数据传入图形处理器进行运算,所述相关数据包括各个顶点的三维坐标,所述图形处理器用于基于所述相关数据以及预设噪声函数,模拟实际扬尘环境中的噪声,得到所述多个顶点各自的噪声值;
筛选模块,用于基于所述多个顶点各自的噪声值与预设阈值的比较,筛选出所述多个顶点中的可见顶点;
渲染模块,用于基于所述可见顶点渲染相应的绘制点,所述绘制点的尺寸与待测激光雷达的分辨率相关;
采样模块,用于模拟所述待测激光雷达对所述绘制点进行采样,得到仿真的点云数据。
12.一种激光雷达的感知能力验证装置,其特征在于,包括:
验证模块,以及权利要求11所述的点云数据生成装置,所述验证模块用于基于获得的仿真的点云数据,验证所述激光雷达的感知能力。
13.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至9中任一项或者权利要求10所述的方法。
14.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于执行上述权利要求1至9中任一项或者权利要求10所述的方法。
CN202311534466.5A 2023-11-17 2023-11-17 点云数据生成方法、激光雷达的感知能力验证方法 Active CN117269940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311534466.5A CN117269940B (zh) 2023-11-17 2023-11-17 点云数据生成方法、激光雷达的感知能力验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311534466.5A CN117269940B (zh) 2023-11-17 2023-11-17 点云数据生成方法、激光雷达的感知能力验证方法

Publications (2)

Publication Number Publication Date
CN117269940A CN117269940A (zh) 2023-12-22
CN117269940B true CN117269940B (zh) 2024-03-15

Family

ID=89208381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311534466.5A Active CN117269940B (zh) 2023-11-17 2023-11-17 点云数据生成方法、激光雷达的感知能力验证方法

Country Status (1)

Country Link
CN (1) CN117269940B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635889B (zh) * 2024-01-26 2024-04-23 南京柠瑛智能科技有限公司 激光点云数据实时渲染方法及系统、装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392491A (zh) * 2014-12-15 2015-03-04 中南大学 基于旋转面的采空区激光扫描点云三角剖分方法
CN107016725A (zh) * 2017-02-27 2017-08-04 电子科技大学 一种顾及LiDAR点云数据分布差异的植被三维实景建模方法
CN108596860A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于三维激光雷达的地面点云分割方法
CN109459734A (zh) * 2018-10-30 2019-03-12 百度在线网络技术(北京)有限公司 一种激光雷达定位效果评估方法、装置、设备及存储介质
CN109683175A (zh) * 2018-12-24 2019-04-26 广州文远知行科技有限公司 激光雷达配置方法、装置、设备和存储介质
WO2022116659A1 (zh) * 2020-12-02 2022-06-09 成都完美时空网络技术有限公司 一种体积云渲染方法、装置、程序和可读介质
CN115393496A (zh) * 2022-10-25 2022-11-25 之江实验室 一种多激光雷达仿真点云的快速绘制方法和装置
CN115421127A (zh) * 2022-09-26 2022-12-02 中汽创智科技有限公司 一种激光雷达仿真模型的生成方法、装置及电子设备
WO2023087526A1 (zh) * 2021-11-18 2023-05-25 上海仙途智能科技有限公司 用于点云去噪的方法、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392491A (zh) * 2014-12-15 2015-03-04 中南大学 基于旋转面的采空区激光扫描点云三角剖分方法
CN107016725A (zh) * 2017-02-27 2017-08-04 电子科技大学 一种顾及LiDAR点云数据分布差异的植被三维实景建模方法
CN108596860A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于三维激光雷达的地面点云分割方法
CN109459734A (zh) * 2018-10-30 2019-03-12 百度在线网络技术(北京)有限公司 一种激光雷达定位效果评估方法、装置、设备及存储介质
CN109683175A (zh) * 2018-12-24 2019-04-26 广州文远知行科技有限公司 激光雷达配置方法、装置、设备和存储介质
WO2022116659A1 (zh) * 2020-12-02 2022-06-09 成都完美时空网络技术有限公司 一种体积云渲染方法、装置、程序和可读介质
WO2023087526A1 (zh) * 2021-11-18 2023-05-25 上海仙途智能科技有限公司 用于点云去噪的方法、电子设备及存储介质
CN115421127A (zh) * 2022-09-26 2022-12-02 中汽创智科技有限公司 一种激光雷达仿真模型的生成方法、装置及电子设备
CN115393496A (zh) * 2022-10-25 2022-11-25 之江实验室 一种多激光雷达仿真点云的快速绘制方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种点面混合的复杂三维模型加速绘制方法;郝爱民等;《计算机研究与发展》(第9期);正文全文 *

Also Published As

Publication number Publication date
CN117269940A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
US11487288B2 (en) Data synthesis for autonomous control systems
US11455565B2 (en) Augmenting real sensor recordings with simulated sensor data
US11487988B2 (en) Augmenting real sensor recordings with simulated sensor data
US11461964B2 (en) Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
CN109459734B (zh) 一种激光雷达定位效果评估方法、装置、设备及存储介质
Schlager et al. State-of-the-art sensor models for virtual testing of advanced driver assistance systems/autonomous driving functions
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
CN112513679B (zh) 一种目标识别的方法和装置
Hasirlioglu et al. A general approach for simulating rain effects on sensor data in real and virtual environments
CN117269940B (zh) 点云数据生成方法、激光雷达的感知能力验证方法
CN108109139B (zh) 基于灰度体元模型的机载lidar三维建筑物检测方法
Wang et al. Shader-based sensor simulation for autonomous car testing
Hasirlioglu et al. A model-based approach to simulate rain effects on automotive surround sensor data
KR20210026412A (ko) Cnn을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법
CN115731350A (zh) 车辆的虚拟激光雷达的仿真方法及其装置
CN114494075A (zh) 基于三维点云的障碍物识别方法、电子设备和存储介质
Browning et al. 3D Mapping for high-fidelity unmanned ground vehicle lidar simulation
López et al. A GPU-accelerated framework for simulating LiDAR scanning
CN112560258B (zh) 一种测试方法、装置、设备及存储介质
CN116434181A (zh) 地面点检测方法、装置、电子设备和介质
CN115081303B (zh) 激光雷达虚拟建模和仿真方法、电子设备和存储介质
Zhang et al. SMART-Degradation: A Dataset for LiDAR Degradation Evaluation in Rain
CN116449807B (zh) 一种物联网汽车操控系统仿真测试方法及系统
Yang et al. High-fidelity LiDAR Simulation System Based on Real Pointcloud Features
Ma et al. Virtual‐real‐fusion simulation framework for evaluating and optimizing small‐spatial‐scale placement of cooperative roadside sensing units

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant