CN111681318B - 一种基于点云数据建模的方法、装置和电子设备 - Google Patents

一种基于点云数据建模的方法、装置和电子设备 Download PDF

Info

Publication number
CN111681318B
CN111681318B CN202010521119.9A CN202010521119A CN111681318B CN 111681318 B CN111681318 B CN 111681318B CN 202010521119 A CN202010521119 A CN 202010521119A CN 111681318 B CN111681318 B CN 111681318B
Authority
CN
China
Prior art keywords
grained
coarse
fine
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010521119.9A
Other languages
English (en)
Other versions
CN111681318A (zh
Inventor
吴焘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI CITY GIS DEVELOPING CO Ltd
Original Assignee
SHANGHAI CITY GIS DEVELOPING CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI CITY GIS DEVELOPING CO Ltd filed Critical SHANGHAI CITY GIS DEVELOPING CO Ltd
Priority to CN202010521119.9A priority Critical patent/CN111681318B/zh
Publication of CN111681318A publication Critical patent/CN111681318A/zh
Application granted granted Critical
Publication of CN111681318B publication Critical patent/CN111681318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本说明书实施例提供一种基于点云数据建模的方法,通过利用点云数据中的粗粒度数据和相对应的细粒度数据分别构建粗粒度模型和细粒度模型,由于粗粒度模型数据量小,构建、解析速度较快,因而先在生成粗粒度模型后向终端发送粗粒度模型信息,使所述终端展示粗粒度图像,缩短了最初展示的时间,在生成细粒度模型后,再向终端发送细粒度模型信息,使终端在展示所述粗粒度图像后展示细粒度图像,因而,用户既可以迅速获得粗粒度图像,满足时间需求,又可以在这之后获得细粒度图像,满足精度需求,因而提升了用户体验。

Description

一种基于点云数据建模的方法、装置和电子设备
技术领域
本申请涉及互联网领域,尤其涉及一种基于点云数据建模的方法、装置和电子设备。
背景技术
通过扫描设备(比如激光雷达)测量物体表面的大量的点的信息,利用这些信息重现物体表面情况,在实际生活中已有诸多应用(比如遥感成像)。
所测量的物体表面点的信息被称作点云数据,在重现物体表面情况时,需要对点云数据进行处理,现有的处理的方式是利用点云数据库构建模型,在用户需要浏览时服务器便利用构建的模型向展示图像。
这种方式虽然能满足对重现物体表面情况的需求,然而申请人发现在某些特殊的场景种这种简单的基于点云数据建模的方式往往存在用户体验较差的问题。
因此,有必要提出一种新的基于点云数据建模的方法,以提升用户体验。
发明内容
本说明书实施例提供一种基于点云数据建模方法、装置和电子设备,用以兼顾模型展示速度和精度需求,提升用户体验。
本说明书实施例提供一种基于点云数据建模的方法,包括:
获取采样得到的点云数据,所述点云数据中具有粗粒度数据和相对应的细粒度数据;
利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型;
向终端发送不同粒度的模型信息,包括:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
可选地,所述利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型,包括:
创建并行的第一任务和第二任务,通过所述第一任务利用所述粗粒度数据构建粗粒度模型,通过所述第二任务利用利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型。
可选地,所述基于所述细粒度模型向终端发送细粒度模型信息,包括:
基于所述细粒度模型向终端发送细粒度模型的模型增量信息,所述模型增量信息为细粒度模型相比于所述粗粒度模型的增量信息;
所述方法,还包括:
所述终端结合所述模型增量信息和所述粗粒度模型信息生成并展示细粒度图像。
可选地,所述获取点云数据,包括:
实时获取对被测目标进行连续扫描采样得到的粗粒度数据和相对应的细粒度数据。
可选地,所述在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,包括:
实时响应于粗粒度模型的生成,向基于所述粗粒度模型向终端发送粗粒度模型信息。
可选地,所述在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,包括:
实时响应于细粒度模型的生成或者响应于接收到用户发起的细粒度请求,基于所述细粒度模型向终端发送细粒度模型信息。
可选地,还包括:
通过终端为用户提供具有粒度选择图标的页面,并获取用户的粒度选择行为的行为数据;
所述向终端发送不同粒度的模型信息,包括:
根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息。
可选地,所述根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息,包括:
若用户选择粗粒度,则:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
本说明书实施例还提供一种基于点云数据建模的装置,包括:
采样数据获取模块,获取采样得到的点云数据,所述点云数据中具有粗粒度数据和相对应的细粒度数据;
建模模块,利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型;
交互模块,向终端发送不同粒度的模型信息,包括:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
可选地,所述利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型,包括:
创建并行的第一任务和第二任务,通过所述第一任务利用所述粗粒度数据构建粗粒度模型,通过所述第二任务利用利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型。
可选地,所述细粒度模型信息中具有模型增量信息,所述模型增量信息为细粒度模型相比于所述粗粒度模型的增量信息;
所述终端,还用于结合所述模型增量信息和所述粗粒度模型信息生成并展示细粒度图像。
可选地,所述获取点云数据,包括:
实时获取对被测目标进行连续扫描采样得到的粗粒度数据和相对应的细粒度数据。
可选地,所述在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,包括:
实时响应于粗粒度模型的生成,向基于所述粗粒度模型向终端发送粗粒度模型信息。
可选地,所述在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,包括:
实时响应于细粒度模型的生成或者响应于接收到用户发起的细粒度请求,基于所述细粒度模型向终端发送细粒度模型信息。
可选地,所述交互模块,还用于:
通过终端为用户提供具有粒度选择图标的页面,并获取用户的粒度选择行为的行为数据;
所述向终端发送不同粒度的模型信息,包括:
根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息。
可选地,所述根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息,包括:
若用户选择粗粒度,则:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
本说明书实施例还提供一种电子设备,其中,该电子设备包括:
处理器;以及,
存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行上述任一项方法。
本说明书实施例还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现上述任一项方法。
本说明书实施例提供的各种技术方案通过利用点云数据中的粗粒度数据和相对应的细粒度数据分别构建粗粒度模型和细粒度模型,由于粗粒度模型数据量小,构建、解析速度较快,因而先在生成粗粒度模型后向终端发送粗粒度模型信息,使所述终端展示粗粒度图像,缩短了最初展示的时间,在生成细粒度模型后,再向终端发送细粒度模型信息,使终端在展示所述粗粒度图像后展示细粒度图像,因而,用户既可以迅速获得粗粒度图像,满足时间需求,又可以在这之后获得细粒度图像,满足精度需求,因而提升了用户体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书实施例提供的一种基于点云数据建模的方法的原理示意图;
图2为本说明书实施例提供的一种基于点云数据建模的装置的结构示意图;
图3为本说明书实施例提供的一种电子设备的结构示意图;
图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
具体实施方式
对现有技术进行分析发现,随着所采集的数据的粒度(精度)的逐渐提高,对建模速度,向终端传输模型信息的速度、终端利用模型信息展示图像的速度都产生了影响,高粒度的点云数据的处理使得展示模型的过程延迟。
对此,本说明书实施例提供一种基于点云数据建模的方法,包括:
获取采样得到的点云数据,所述点云数据中具有粗粒度数据和相对应的细粒度数据;
利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型;
向终端发送不同粒度的模型信息,包括:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
通过利用点云数据中的粗粒度数据和相对应的细粒度数据分别构建粗粒度模型和细粒度模型,由于粗粒度模型数据量小,构建、解析速度较快,因而先在生成粗粒度模型后向终端发送粗粒度模型信息,使所述终端展示粗粒度图像,缩短了最初展示的时间,在生成细粒度模型后,再向终端发送细粒度模型信息,使终端在展示所述粗粒度图像后展示细粒度图像,因而,用户既可以迅速获得粗粒度图像,满足时间需求,又可以在这之后获得细粒度图像,满足精度需求,因而提升了用户体验。
现在将参考附图更全面地描述本发明的示例性实施例。然而,示例性实施例能够以多种形式实施,且不应被理解为本发明仅限于在此阐述的实施例。相反,提供这些示例性实施例能够使得本发明更加全面和完整,更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分,因而将省略对它们的重复描述。
在符合本发明的技术构思的前提下,在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
在对于具体实施例的描述中,本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是,并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
术语“和/或”或者“及/或”包括相关联的列出项目中的任一个或多者的所有组合。
本说明书实施例提供的一种基于点云数据建模的系统,该系统可以包括:
采样模块,服务器,终端。
其中,采样模块,可以采集被测目标的点云数据,并向服务器发送所述点云数据;
服务器获取采样得到的点云数据,进行处理构建模型,并通过与终端之间的数据传输将模型信息发送至终端,使终端进行展示。
在其中一种处理方式中,服务器利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型,在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息。
继而,终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
服务器在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息;
终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
其中,所述点云数据中具有粗粒度数据和相对应的细粒度数据。
其中,采样模块可以具有激光雷达,用于对被测目标进行连续扫描采样从而得到点云数据。
激光雷达,是通过发射激光束,将接收到的从目标反射回来的信号与发射信号进行比较,作适当处理,来探测被测目标的位置、距离、形状、速度等特征量的系统。
服务器在得到点云数据后,可以从中提取粗粒度数据和细粒度数据,继而分别进行建模。
该系统通过在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像,克服现有技术中激光雷达存在保真度低、雷达扫描获取的数据处理耗时、耗资源的缺陷,降低对设备资源的压力,缩短模型展示延迟时间。
其中,不同粒度的数据可以是所采集的点个数不同。
具体的采样方式,可以有是下采样或固定随机采样。
下采样可以是:通过构造一个三维体素栅格,然后在每个体素内用体素内的所有点的重心近似显示体素中的其他点,这样体素内所有点就用一个重心点来表示,进行下采样的来达到滤波的效果,这样就大大的减少了数据量,特别是在配准,曲面重建等工作之前作为预处理,可以很好的提高程序的运行速度。
这种采样方式能够获得分布均匀的点云数据,轮廓明显。
固定随机采样的方式可以采集分布离散的点云数据,采样速率快,课题去固定数量的点云。
图1为本说明书实施例提供的一种基于点云数据建模的方法的原理示意图,该方法可以包括:
S101:获取采样得到的点云数据,所述点云数据中具有粗粒度数据和相对应的细粒度数据。
粗粒度数据,由于点云数量较少、建立模型、解析模型时间快,可实现用户预览的快速实时成像,细粒度数据,由于点云数量较大可实现精细化建模。
其中,粗粒度数据和相对应的细粒度数据可以是采集模块采集时即分离,也可以是服务器进行处理后分离。
对于实时采集成像场景,这种场景对时效性要求较高,如果时效性低,往往会造成延迟,影响用户体验。
因此,所述获取点云数据,可以包括:
实时获取对被测目标进行连续扫描采样得到的粗粒度数据和相对应的细粒度数据。
被测目标可以是预设的区域。
具体实施时,可以是:将雷达模块搭载在一无人机上,匀速通过被测目标整体区域,连续扫描被测目标全部区域,获取各区域的点云数据。
当然,被测目标也可以区域中的实物,在此不做详细阐述。
S102:利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型。
可选地,所述利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型,包括:
创建并行的第一任务和第二任务,通过所述第一任务利用所述粗粒度数据构建粗粒度模型,通过所述第二任务利用利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型。
通过并行的不同任务分别对粗粒度数据、细粒度数据进行建模,相比串行建模,能够缩短建模所需的时间。
在本说明书实施例中,粗粒度数据可以为等值曲面点云数据,细粒度数据可以为特定空间范围内的全部点云数据。
通过并行创建粗粒度模型、细粒度模型,使终端先后加载粗粒度模型、细粒度模型。
关于建模算法,可以是:通过利用点云数据进行曲面重建,构建被测目标的三维模型。
具体实施时,可以先通过K维树计算所述点云数据的估计法向量集,基于点云数据与估计法向量集,利用泊松方程作为隐式函数,提取点云数据最适合的等值曲面对其进行插值优化来逼近原始曲面,再利用MC(marching cube)算法完成曲面重建。
其中,计算估计法向量集,可以包括:对数据点进行K近邻搜索,对邻域点构建协方差矩阵,求解协方差矩阵的特征值及特征向量,将最小特征值对应特征向量作为法向量。
确定表面一点法线的问题近似于估计表面的一个相切面法线的问题,因此转换过来以后就变成一个最小二乘法平面拟合估计问题。估计表面法线的解决方案就变成了分析一个协方差矩阵的特征矢量和特征值(或者主成分分析),这个协方差矩阵从查询点的近邻元素中创建。
泊松表面重建是一种隐函数的重构方法。通过定义模型内部的值大于零,模型外部它的值小于零,然后提取值为零的等值面,直接地重构逼近表面。
泊松表面重建的算法融合了全局和局部方法的优点,采取隐性拟合的方式,通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程,通过对该方程进行等值面提取,从而得到具有几何实体信息的表面模型。优点在于,重建出的模型具有水密性的封闭特征,具有良好的几何表面特性和细节特性。
MC算法完成曲面重建实质上是一个分而治之的方法,因为其将等值面的抽取分布于每一个体素(voxel)中进行。对于每个被处理的体素,以三角面片来逼近其内部的等值面。每个体素是一个小立方体(cube),在构造三角面片的处理过程中对每个体素都“扫描”一遍,就好像是一个处理器在这些体素上移动一样。其基本思想是逐个处理数据场中的立方体,找出与等值面相交的立方体,采用线性插值计算出等值面与立方体边的交点。根据立方体每一顶点与等值面的相对位置,将等值面与立方体边上的交点按一定方式连接生成等值面,作为等值面在该立方体内的一个逼近表示。
建模时,可以结合无序点集转三角形算法:
首先将所有的三维点投影到某一平面,即将复杂的三维关系转化成二维数据进行处理,得到这些点在二维平面上的拓扑关系,从而恢复它们在三维平面上的拓扑关系。大大简化了计算的时间与复杂度。
然后从任一点开始,获得一个满足条件的初始三角形作为起点进行剖分起点,以次三角形的外环三条边作为初始边,寻找当前初始边的有效匹配点构成新的三角形。不断重复此动作,知道所有的点完全剖分完毕。根据三角形的“最小内角最大”原则,每一条边进行拓展时,考虑匹配点是否可行并且大于一定的阈值,可行则按照原则进行匹配。最后保证几乎所有点都满足此条件。这样就对投影得到的点做平面内的三角化,从而得到各点的二维拓扑关系。
为了减小上述操作的时间复杂度,针对每一个数据点都使用K维树建立一个邻域集。每条边拓展时,不需考虑原点集的所有点,而是只用考虑两个端点的邻域即可。这样,根据二维数据的拓扑关系和每个点的索引,可以将二维拓扑转化成三维拓扑关系。
在建模之后,会得到一些数据,利用建模得到的数据可以生成并展示被测目标的图像。
在涉及到服务器与终端交互的场景中,我们可以向终端发送用于展示被测目标图像的信息,由于这种信息需要利用建模得到的数据,因此,我们可以将这种信息称作模型信息。
S103:向终端发送不同粒度的模型信息,包括:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
通过利用点云数据中的粗粒度数据和相对应的细粒度数据分别构建粗粒度模型和细粒度模型,由于粗粒度模型数据量小,构建、解析速度较快,因而先在生成粗粒度模型后向终端发送粗粒度模型信息,使所述终端展示粗粒度图像,缩短了最初展示的时间,在生成细粒度模型后,再向终端发送细粒度模型信息,使终端在展示所述粗粒度图像后展示细粒度图像,因而,用户既可以迅速获得粗粒度图像,满足时间需求,又可以在这之后获得细粒度图像,满足精度需求,因而提升了用户体验。
在一种应用场景中,雷达进行采样,服务器一边构建粗粒度模型,一边构建细粒度模型,粗粒度模型构建完成后,便立即向终端发送模型信息,终端加载模型,解析渲染,展示粗粒度模型的图像,此时,用户便可以浏览粗粒度的图像了解大概,在细粒度模型构建完成后,服务器便向发送细粒度的模型信息,终端进行加载、解析渲染后显示精细的图像,从而使用户得到被测目标的细节。
其中,模型信息可以是3D模型文件,也可以是根据3D模型文件生成的图像信息,应当理解为,只要是它利用建模结果生成的,且终端能够利用它来展示图像的信息或数据,都应当看作是模型信息的一种形式,都应当在本说明书实施例的保护范围之内。
考虑到相对应的细粒度模型与粗粒度模型中可能有重复的数据,因此,如果我们根据粗粒度模型和细粒度模型确定二者的差异部分,也就是细粒度模型相对于粗粒度模型的增量部分,在发送粗粒度模型信息后,再向终端发送增量部分,那么就可以减少数据量,从而提升展示速度,降低设备的数据传输压力。
因此,在本说明书实施例中,所述基于所述细粒度模型向终端发送细粒度模型信息,可以包括:
基于所述细粒度模型向终端发送细粒度模型的模型增量信息,所述模型增量信息为细粒度模型相比于所述粗粒度模型的增量信息;
这样,所述方法,还可以包括:
所述终端结合所述模型增量信息和所述粗粒度模型信息生成并展示细粒度图像。
这样,对于细粒度模型中与粗粒度模型重复的部分,不需要重复加载,进一步提高了数据传输速度和加载速度,从而缩短了展示过程中的延迟。
对于实时采集成像场景,所述在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,可以包括:
实时响应于粗粒度模型的生成,向基于所述粗粒度模型向终端发送粗粒度模型信息。
而,所述在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,可以包括:
实时响应于细粒度模型的生成或者响应于接收到用户发起的细粒度请求,基于所述细粒度模型向终端发送细粒度模型信息。
在改进前,服务器获取到采集的细粒度数据后,构建模型,继而向终端发送模型信息,终端便利用模型信息解析渲染展示精细的图像。
在利用上述实施例中的方法后,一种应用场景是:服务器获取到细粒度数据后,从细粒度数据种提取粗粒度数据,创建并行的任务,分别利用粗粒度数据和细粒度数据构建不同粒度的模型,粗粒度数据的数据量小,因而可以率先完成构建,终端率先展示粗粒度图像,不需要等待细粒度模型构建完成,用户即可获知被测目标的大致情况,而由于任务并行,因而细粒度模型的构建也可以按照正常速度进行,在细粒度模型构建完成后,向终端发送模型增量信息,终端根据模型增量数据补齐粗粒度图像中的细节。
当然,用于构建粗粒度模型的任务在利用采样模块在当前区域采集的粗粒度数据完成模型的构建后,还可以继续利用采样模块在下一区域采集的粗粒度数据继续构建粗粒度模型。
这种实时采集成像的方案,由于数据的采集是实时的,因而模型信息是变化的,因而与简单的预下载固定图像的方式有很大的不同。
以上步骤,实际上是自动的为用户提供两种精度的图像,考虑到不同用户的需求不同,比如,有些人希望快速获得被测目标图像,而有些人则希望首次展示的图像即是细粒度图像不希望图像再变化,为了兼顾不同用户的需求,我们可以为用户提供选择的机会。
因此在本说明书实施例中,该方法还可以包括:
通过终端为用户提供具有粒度选择图标的页面,并获取用户的粒度选择行为的行为数据;
这样,所述向终端发送不同粒度的模型信息,可以包括:
根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息。
具体的,所述根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息,可以包括:
若用户选择粗粒度,则:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
而如果用户选择细粒度,则可以在在生成细粒度模型后,再向终端发送细粒度模型信息。
在本说明书实施例中,所述根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息,还可以包括:
若用户选择细粒度,则:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使终端保存所述粗粒度模型信息;
在生成细粒度模型后,基于所述细粒度模型向终端发送模型增量信息,使所述终端结合所述粗粒度模型信息和所述模型增量信息生成并展示细粒度图像。
由于在完成生成细粒度模型之前,终端已经开始接收粗粒度模型信息,因而,在生成细粒度模型后,向终端发送模型增量信息降低了生成细粒度模型后向终端发送的模型信息的数据量,因而也可以提高展示速度,缩小延迟。
图2为本说明书实施例提供的一种基于点云数据建模的装置的结构示意图,该装置可以包括:
采样数据获取模块201,获取采样得到的点云数据,所述点云数据中具有粗粒度数据和相对应的细粒度数据;
模型模块202,利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型;
交互模块向终端发送不同粒度的模型信息,包括:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
可选地,所述利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型,包括:
创建并行的第一任务和第二任务,通过所述第一任务利用所述粗粒度数据构建粗粒度模型,通过所述第二任务利用利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型。
可选地,所述基于所述细粒度模型向终端发送细粒度模型信息,可以包括:
基于所述细粒度模型向终端发送细粒度模型的模型增量信息,所述模型增量信息为细粒度模型相比于所述粗粒度模型的增量信息;
所述方法,还包括:
所述终端,还用于结合所述模型增量信息和所述粗粒度模型信息生成并展示细粒度图像。
可选地,所述获取点云数据,包括:
实时获取对被测目标进行连续扫描采样得到的粗粒度数据和相对应的细粒度数据。
可选地,所述在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,包括:
实时响应于粗粒度模型的生成,向基于所述粗粒度模型向终端发送粗粒度模型信息。
可选地,所述在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,包括:
实时响应于细粒度模型的生成或者响应于接收到用户发起的细粒度请求,基于所述细粒度模型向终端发送细粒度模型信息。
可选地,还包括:
通过终端为用户提供具有粒度选择图标的页面,并获取用户的粒度选择行为的行为数据;
所述向终端发送不同粒度的模型信息,包括:
根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息。
可选地,所述根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息,包括:
若用户选择粗粒度,则:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
该装置通过利用点云数据中的粗粒度数据和相对应的细粒度数据分别构建粗粒度模型和细粒度模型,由于粗粒度模型数据量小,构建、解析速度较快,因而先在生成粗粒度模型后向终端发送粗粒度模型信息,使所述终端展示粗粒度图像,缩短了最初展示的时间,在生成细粒度模型后,再向终端发送细粒度模型信息,使终端在展示所述粗粒度图像后展示细粒度图像,因而,用户既可以迅速获得粗粒度图像,满足时间需求,又可以在这之后获得细粒度图像,满足精度需求,因而提升了用户体验。
基于同一发明构思,本说明书实施例还提供一种电子设备。
下面描述本发明的电子设备实施例,该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节,应视为对于上述方法或装置实施例的补充;对于在本发明电子设备实施例中未披露的细节,可以参照上述方法或装置实施例来实现。
图3为本说明书实施例提供的一种电子设备的结构示意图。下面参照图3来描述根据本发明该实施例的电子设备300。图3显示的电子设备300仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300以通用计算设备的形式表现。电子设备300的组件可以包括但不限于:至少一个处理单元310、至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330、显示单元340等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元310执行,使得所述处理单元310执行本说明书上述处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元310可以执行如图1所示的步骤。
所述存储单元320可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202,还可以进一步包括只读存储单元(ROM)3203。
所述存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204,这样的程序模块3205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备300也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备300交互的设备通信,和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。并且,电子设备300还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器360可以通过总线330与电子设备300的其它模块通信。应当明白,尽管图3中未示出,可以结合电子设备300使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,本发明描述的示例性实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时,使得该计算机可读介质能够实现本发明的上述方法,即:如图1所示的方法。
图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
实现图1所示方法的计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述,本发明可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,本发明不与任何特定计算机、虚拟装置或者电子设备固有相关,各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种基于点云数据建模的方法,其特征在于,包括:
获取采样得到的点云数据,包括:实时获取对被测目标进行连续扫描采样得到的粗粒度数据和相对应的细粒度数据,所述点云数据中具有粗粒度数据和相对应的细粒度数据,粗粒度数据和相对应的细粒度数据是采集模块采集时即分离;
利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型,包括:创建并行的第一任务和第二任务,通过所述第一任务利用所述粗粒度数据构建粗粒度模型,通过所述第二任务利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型;
向终端发送不同粒度的模型信息,包括:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像,模型信息是3D模型文件;
其中,所述在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,包括:
实时响应于粗粒度模型的生成,基于所述粗粒度模型向终端发送粗粒度模型信息。
2.根据权利要求1所述的方法,其特征在于,所述基于所述细粒度模型向终端发送细粒度模型信息,包括:
基于所述细粒度模型向终端发送细粒度模型的模型增量信息,所述模型增量信息为细粒度模型相比于所述粗粒度模型的增量信息;
所述方法,还包括:
所述终端结合所述模型增量信息和所述粗粒度模型信息生成并展示细粒度图像。
3.根据权利要求1所述的方法,其特征在于,所述在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,包括:
实时响应于细粒度模型的生成或者响应于接收到用户发起的细粒度请求,基于所述细粒度模型向终端发送细粒度模型信息。
4.根据权利要求1所述的方法,其特征在于,还包括:
通过终端为用户提供具有粒度选择图标的页面,并获取用户的粒度选择行为的行为数据;
所述向终端发送不同粒度的模型信息,包括:
根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息。
5.根据权利要求4所述的方法,其特征在于,所述根据所述粒度选择行为的行为数据向终端发送不同粒度的模型信息,包括:
若用户选择粗粒度,则:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像。
6.一种基于点云数据建模的装置,其特征在于,包括:
采样数据获取模块,获取采样得到的点云数据,包括:实时获取对被测目标进行连续扫描采样得到的粗粒度数据和相对应的细粒度数据,所述点云数据中具有粗粒度数据和相对应的细粒度数据,粗粒度数据和相对应的细粒度数据是采集模块采集时即分离;
建模模块,利用所述粗粒度数据构建粗粒度模型,利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型,包括:创建并行的第一任务和第二任务,通过所述第一任务利用所述粗粒度数据构建粗粒度模型,通过所述第二任务利用所述细粒度数据构建与所述粗粒度模型相对应的细粒度模型;
交互模块,向终端发送不同粒度的模型信息,包括:
在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,使所述终端基于所述粗粒度模型信息生成并展示粗粒度图像;
在生成细粒度模型后,基于所述细粒度模型向终端发送细粒度模型信息,使所述终端在展示所述粗粒度图像后基于所述细粒度模型信息生成并展示细粒度图像,模型信息是3D模型文件;
其中,所述在生成粗粒度模型后,基于所述粗粒度模型向终端发送粗粒度模型信息,包括:
实时响应于粗粒度模型的生成,基于所述粗粒度模型向终端发送粗粒度模型信息。
7.一种电子设备,其中,该电子设备包括:
处理器;以及,
存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行根据权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现权利要求1-5中任一项所述的方法。
CN202010521119.9A 2020-06-10 2020-06-10 一种基于点云数据建模的方法、装置和电子设备 Active CN111681318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521119.9A CN111681318B (zh) 2020-06-10 2020-06-10 一种基于点云数据建模的方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521119.9A CN111681318B (zh) 2020-06-10 2020-06-10 一种基于点云数据建模的方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111681318A CN111681318A (zh) 2020-09-18
CN111681318B true CN111681318B (zh) 2021-06-15

Family

ID=72454424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521119.9A Active CN111681318B (zh) 2020-06-10 2020-06-10 一种基于点云数据建模的方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111681318B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809187A (zh) * 2015-04-20 2015-07-29 南京邮电大学 一种基于rgb-d数据的室内场景语义标注方法
CN108230337A (zh) * 2017-12-31 2018-06-29 厦门大学 一种基于移动端的语义slam系统实现的方法
CN109389671A (zh) * 2018-09-25 2019-02-26 南京大学 一种基于多阶段神经网络的单图像三维重建方法
US20190122425A1 (en) * 2017-10-24 2019-04-25 Lowe's Companies, Inc. Robot motion planning for photogrammetry
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103640223B (zh) * 2013-12-27 2016-01-20 杨安康 真彩三维个性人偶快速成型系统
CN106803267B (zh) * 2017-01-10 2020-04-14 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN109993187A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种用于识别物体类别的建模方法、机器人及存储装置
CN108401462A (zh) * 2018-01-30 2018-08-14 深圳前海达闼云端智能科技有限公司 信息处理方法和系统、云处理设备及计算机程序产品
CN109118581B (zh) * 2018-08-22 2023-04-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109325998B (zh) * 2018-10-08 2023-06-30 香港理工大学 一种基于点云数据的室内3d建模方法、系统及相关装置
CN110009732B (zh) * 2019-04-11 2023-10-03 司岚光电科技(苏州)有限公司 基于gms特征匹配的面向复杂大尺度场景三维重建方法
CN110047139B (zh) * 2019-04-28 2022-07-08 南昌航空大学 一种指定目标三维重建方法及系统
CN110135599B (zh) * 2019-05-15 2020-09-01 南京林业大学 无人机电力巡检点云智能化处理与分析服务平台
CN110389348B (zh) * 2019-07-30 2020-06-23 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110458233B (zh) * 2019-08-13 2024-02-13 腾讯云计算(北京)有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质
CN111191583B (zh) * 2019-12-30 2023-08-25 郑州科技学院 基于卷积神经网络的空间目标识别系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809187A (zh) * 2015-04-20 2015-07-29 南京邮电大学 一种基于rgb-d数据的室内场景语义标注方法
US20190122425A1 (en) * 2017-10-24 2019-04-25 Lowe's Companies, Inc. Robot motion planning for photogrammetry
CN108230337A (zh) * 2017-12-31 2018-06-29 厦门大学 一种基于移动端的语义slam系统实现的方法
CN109389671A (zh) * 2018-09-25 2019-02-26 南京大学 一种基于多阶段神经网络的单图像三维重建方法
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
车联网中多虚拟车协同服务方法研究;杨树;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20190815(第8期);C035-11 *
面向城市精细化规划管理的三维地理信息系统构建及应用;汪彬;《中国优秀硕士学位论文全文数据库 基础科学辑》;20191215(第12期);A008-45 *

Also Published As

Publication number Publication date
CN111681318A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
KR20190082066A (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
US20190164445A1 (en) Method and system for simulating a radar image
Moenning et al. Intrinsic point cloud simplification
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
US9430872B2 (en) Performance prediction for generation of point clouds from passive imagery
CN110632608B (zh) 一种基于激光点云的目标检测方法和装置
EP4177836A1 (en) Target detection method and apparatus, and computer-readable medium and electronic device
CN110263209B (zh) 用于生成信息的方法和装置
CN111090712A (zh) 一种数据处理方法、装置、设备及计算机存储介质
US20160005221A1 (en) Photometric optimization with t-splines
WO2022133770A1 (zh) 点云法向量的生成方法、装置、计算机设备和存储介质
CN113012063A (zh) 一种动态点云修复方法、装置及计算机设备
CN115346018A (zh) 三维模型重建方法及装置、电子设备
US20240046567A1 (en) Utilizing machine learning models for patch retrieval and deformation in completing three-dimensional digital shapes
CN114663598A (zh) 三维建模方法、装置和存储介质
CN113505834A (zh) 训练检测模型、确定图像更新信息和更新高精地图的方法
CN111681318B (zh) 一种基于点云数据建模的方法、装置和电子设备
Martínez et al. Skeletal representations of orthogonal shapes
Ruchay et al. Accuracy analysis of surface reconstruction from point clouds
US20190197775A1 (en) Determining a set of facets that represents a skin of a real object
CN113514053B (zh) 生成样本图像对的方法、装置和更新高精地图的方法
Asgharian et al. Feature-preserving mesh simplification through anisotropic Nyquist-based adaptive sampling of points inside the segmented regions
CN115375847A (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
CN113066188A (zh) 一种用于室外施工作业的三维仿真方法及设备
CN112116804A (zh) 一种车辆状态量信息确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant