CN113781667A - 三维结构简化重建方法、装置、计算机设备和存储介质 - Google Patents
三维结构简化重建方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113781667A CN113781667A CN202111323833.8A CN202111323833A CN113781667A CN 113781667 A CN113781667 A CN 113781667A CN 202111323833 A CN202111323833 A CN 202111323833A CN 113781667 A CN113781667 A CN 113781667A
- Authority
- CN
- China
- Prior art keywords
- plane
- target object
- dimensional
- characteristic
- polyhedrons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种三维结构简化重建方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取目标物体的初始三维数据;根据多源区域增长策略对所述初始三维数据进行平面检测,得到所述目标物体的特征平面;根据所述特征平面将所述目标物体对应的三维空间分割成多个多面体;提取所述每个多面体的内外特征,得到目标物体的表面模型。本方法通过多源区域增长策略进行区域划分,可以更加合理地划分区域的边界,得到更准确的平面结构,进而根据平面特征实现三维空间分割,可以快速得到更加准确的空间分割结果,根据分割结果提取到的内外特征,可以得到更准确的三维重建结果。
Description
技术领域
本申请涉及三维重建技术领域,特别是涉及一种三维结构简化重建方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
“数字孪生”(Digital twin)是指通过计算机技术在数字空间中建立各类真实世界物体的虚拟镜像,用于真实世界场景的仿真、模拟、优化等任务,被广泛应用于智慧城市、智慧交通等领域,具有极高的社会经济价值。其中,快速且准确建立真实世界物体的三维模型是数字孪生技术能否被广泛应用的重要技术环节。
目前的三维模型获取方法无法快速且准确地获取真实世界物体的三维模型。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高真实世界物体三维重建效率以及准确率的三维结构简化重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种三维结构简化重建方法。该方法包括:
获取目标物体的初始三维数据;
根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面;
根据特征平面将目标物体对应的三维空间分割成多个多面体;
提取每个多面体的内外特征,得到目标物体的表面模型。
在其中一个实施例中,根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面包括:根据单源区域增长检测算法,获得目标物体的多个平面区域;确定每个平面区域的最近平面,得到种子元素;根据区域扩张规则对种子元素的相邻元素进行平面区域划分,得到目标物体的特征平面。
在其中一个实施例中,根据特征平面将目标物体对应的三维空间分割成多个多面体包括:获取特征平面对应的二维特征;根据二维特征将目标物体对应的三维空间切分成多个凸多面体。
在其中一个实施例中,获取特征平面对应的二维特征包括:将特征平面投影至特征平面对应的支撑平面,得到特征平面对应的二维特征。
在其中一个实施例中,根据二维特征将目标物体对应的三维空间切分成多个凸多面体包括:根据BSP算法以及特征平面对应的二维特征,将目标物体对应的三维空间进行空间分割,得到多个凸多面体。
在其中一个实施例中,提取每个多面体的内外特征,得到目标物体的表面模型包括:根据预设马尔科夫场模型,确定凸多面体在目标物体中的内外特征;根据内外特征的内-外区域分界面,获得目标物体的表面模型。
第二方面,本申请还提供了一种三维结构简化重建装置。该装置包括:
获取模块,用于获取目标物体的初始三维数据;
平面检测模块,用于根据多源区域增长策略对所述初始三维数据进行平面检测,得到所述目标物体的特征平面;
分割模块,用于根据所述特征平面将所述目标物体对应的三维空间分割成多个多面体;
提取模块,用于提取所述每个多面体的内外特征,得到目标物体的表面模型。
第三方面,本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器,该存储器存储有计算机程序,该处理器执行该计算机程序时实现以下步骤:
获取目标物体的初始三维数据;
根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面;
根据特征平面将目标物体对应的三维空间分割成多个多面体;
提取每个多面体的内外特征,得到目标物体的表面模型。
第四方面,本申请还提供了一种计算机可读存储介质。该计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取目标物体的初始三维数据;
根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面;
根据特征平面将目标物体对应的三维空间分割成多个多面体;
提取每个多面体的内外特征,得到目标物体的表面模型。
第五方面,本申请还提供了一种计算机程序产品。该计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取目标物体的初始三维数据;
根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面;
根据特征平面将目标物体对应的三维空间分割成多个多面体;
提取每个多面体的内外特征,得到目标物体的表面模型。
上述三维结构简化重建方法、装置、计算机设备、存储介质和计算机程序产品,获取目标物体的初始三维数据;根据多源区域增长策略对所述初始三维数据进行平面检测,得到所述目标物体的特征平面;根据所述特征平面将所述目标物体对应的三维空间分割成多个多面体;提取所述每个多面体的内外特征,得到目标物体的表面模型。本方法通过多源区域增长策略进行区域划分,可以更加合理地划分区域的边界,得到更准确的平面结构,进而根据平面特征实现三维空间分割,可以快速得到更加准确的空间分割结果,根据分割结果提取到的内外特征,可以得到更准确的三维重建结果。
附图说明
图1为一个实施例中三维结构简化重建方法的流程示意图;
图2为一个实施例中平面检测流程图;
图3为一个实施例中基于BSP的三维空间分割的示意图;
图4为一个实施例中表面提取流程的示意图;
图5为一个实施例中点覆盖率示意图;
图6为一个实施例中基于光线射击的投票策略示意图;
图7为一个实施例中三维结构简化重建方法的完整示意图;
图8为一个实施例中重建结果的比较示意图;
图9为一个实施例中三维结构简化重建方法的性能比较图;
图10为一个实施例中单源区域增长与多源区域增长的比较图;
图11为一个实施例中简化算法的对比实验结果示意图;
图12为一个实施例中不同数据集对应的输入数据和结构化重建结果的比较示意图;
图13为一个实施例中三维结构简化重建装置的结构框图;
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
“数字孪生”(Digital twin)是指通过计算机技术在数字空间中建立各类真实世界物体的虚拟镜像,用于真实世界场景的仿真、模拟、优化等任务,被广泛应用于智慧城市、智慧交通等领域,具有极高的社会经济价值。其中,如何快速、准确地建立真实世界物体的三维模型是数字孪生技术能否被广泛应用的重要技术环节。
通常情况下,数字孪生技术要求得到的三维模型具有高精度、矢量化、低复杂度、非自相交、水密等特点。现有的三维模型获取方法均无法同时满足数字孪生技术的应用要求。因此,结构化重建方法,即从离散点云或者原始三角网格数据中提取几何平面并将其拼接成紧凑的参数化三维模型为获得数字孪生所需的三维模型提供了重要解决思路。本申请提出了一种快速、鲁棒的结构化重建算法,可以自动将离散点云或者三角网格转化为紧凑简洁的多边形网格模型,在计算效率以及结果的准确性上均取得了较大的进步,并在复杂性和保真度之间提供了一种较好的折衷方案。
建筑、家具、CAD设计模型等人造物体的形状包含大量结构特征,他们通常由平面、圆柱、球面等规则形状组成,各个几何形状之间存在彼此垂直、平行、共面、对称等关系。从模型中检测结构形状和互相之间的关系是结构化重建的前提。Kaiser A等学者总结了从原始稠密数据中提取简单几何形状的算法。常见的形状检测方法有RANSAC,区域增长和霍夫变换等,这些方法的主要缺点在于繁琐的参数调节。检测出形状后,优化形状之间的垂直、平行、对称等关系,以增加对噪声的鲁棒性,但算法复杂度较高,因此,通过层次化地建立和优化形状之间的关系以提升效率。然而,这类形状检测方法只考虑了局部最优解,使得落在两个相邻形状交界处的点或者三角面片无法被正确地聚类到所属的几何形状中。
平面形状拼接旨在将检测到的平面形状拼接成一个多边形网格,主要包括两类方法:1)连接法;2)空间分割法。
连接法通过建立各个几何形状之间的连接图,分析平面形状之间的相邻关系,确定每个平面的多边形,作为输出多边形网格的顶点、边和面。但是连接图可能丢失应有的或包含错误的连接关系,生成不完整的或错误的模型。一种可能的解决方案是交互式地修复模型,或者自动化地生成密集三角形网格填补缺失的部分。然而,第一种方法难以处理大量数据,第二种方法输出的多边形网格缺乏结构信息,且不满足轻量化的需求。
空间分割法对于具有挑战性的数据更加鲁棒。该方法用检测到的平面形状的将三维空间分割成一些凸多面体,然后从分割结果中提取模型表面对应的多边形网格。这类方法主要的难点在于降低空间分割的复杂度。如果直接使用所有平面形状的支撑平面切割包围盒,这种全相交分割法会导致许多冗余分割,占用大量的计算时间和内存。更重要的是,从分割结果中提取多边形网格这一步骤的搜索空间大大增加,重建结果更难以保持简洁紧凑的平面特征。为此,Chauve A L等人先简单的将包围盒垂直或水平分割成多个子空间,再根据平面形状切割子空间,形成一个二级层次结构。Fang H等人结合连接关系来降低空间分割的复杂度。通过“扩张-碰撞-停止”的思想将平面形状对空间的分割效果限制在局部范围内,从而减少冗余分割。
目前的三维重建方法,首先通过区域增长检测平面,然后通过“扩张-碰撞-停止”的思想将平面形状对空间的分割效果限制在局部范围内,减少冗余分割,最后从分区中提取模型表面。但平面形状之间的碰撞和分割逻辑非常复杂,这导致高效的碰撞分割算法难以实现。他们提供的算法实现需要判断任意两个平面形状是否可能碰撞,并且需要保证所有潜在碰撞事件的前后顺序,也就是说其计算受到全局空间中所有平面形状的影响。然而,本申请不仅保证的分割结果的局部性,计算过程也只考虑局部范围的平面形状,因而本申请在保证分割质量的前提下,大幅降低时间复杂度。
目前的大部分基于多视角立体视觉的三维重建方法得到的三维模型依然停留在较低的层次。一方面由于测量条件的限制,测量数据经常存在严重的噪声。另一方法,现实场景的复杂性也决定了测量过程中不可避免的遮挡问题,因此测量得到的数据通常也是不完整的,存在部分数据缺失的情况,且处理过程过多地依赖于人工交互,增加了模型后续处理的难度和工作量。不仅如此,这类三维模型通常由大量的三角面片组成,缺少高阶几何信息,无法直接用于数字孪生技术的下游领域,例如实时渲染,参数化编辑等。
目前的结构化重建方法通常面临着两个挑战。首先,传统的形状检测方法,例如区域增长算法通常依赖于迭代地选取种子点并判断周围的点或三角网格是否属于种子点所对应的几何形状。这种贪心策略只考虑到物体的局部特征,无法保证整体结果的准确性。其次,现有的形状拼接算法利用提取出的几何平面将三维空间切分成一系列的多面体,并判断每个多面体属于物体的内部或者外部以获得属于物体表面的多边形网格。这种方法通常受限于计算复杂度从而只能处理由一百多个几何平面组成的物体,极大地限制了算法的应用场景。
本申请采用多源区域增长策略检测平面,更加合理地划分区域的边界有助得到更准确的平面结构,进而得到更好的重建结果。其次,本申请基于二叉空间分割树的结构将三维空间切分为多面体,与传统的全相交空间分割算法相比,通过这个简单并且鲁棒的机制得到的多面体数目和运行时间都降低了至少两个数量级。最后,本申请基于光线射击的马尔可夫能量方程以提取物体的表面多边形,得到水密、无自相交、面片数较少且包含结构信息的多边形网格,在复杂性和保真度之间提供了一种较好的折衷方案。
在一个实施例中,如图1所示,提供了一种三维结构简化重建方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤102,获取目标物体的初始三维数据。
其中,初始三维数据为点云数据或者三角网格数据。可以从CAD模型中采样获得的点云,如Castle、Hilbert Cube等。CAD模型均取自Thingi10K数据库。该数据完整、干净,正确的平面检测结果即可确保较为准确的重建模型。由MVS(Multi-View Stereo,多视图立体匹配)得到的稠密的建筑物三角网格。
具体地,终端从存储器中获取目标物体的点云数据或者三角网格数据。
步骤104,根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面。
其中,平面检测是指基于初始三维数据检测目标物体的结构形状和互相之间的关系。
具体地,终端使用多源区域增长算法,综合考虑全局特征,从初始三维数据中检测特征平面,得到目标物体的特征平面。
步骤106,根据特征平面将目标物体对应的三维空间分割成多个多面体。
具体地,终端采用多边形对齐的二叉空间分割算法(polygon-aligned binaryspace partitioning),根据目标物体的二维特征平面递归地将目标物体对应的三维空间进行切分,得到分割后的多面体。
步骤108,提取每个多面体的内外特征,得到目标物体的表面模型。
其中,多面体的内外特征指的是多面体在目标物体中的内外特征,即多面体属于目标物体内部还是外部。
具体地,终端提取每个多面体在目标物体中的内外特征,根据内外特征之间的分界面得到目标物体的表面模型。
上述三维结构简化重建方法中,获取目标物体的初始三维数据;根据多源区域增长策略对所述初始三维数据进行平面检测,得到所述目标物体的特征平面;根据所述特征平面将所述目标物体对应的三维空间分割成多个多面体;提取所述每个多面体的内外特征,得到目标物体的表面模型。本方法通过多源区域增长策略进行区域划分,可以更加合理地划分区域的边界,得到更准确的平面结构,进而根据平面特征实现三维空间分割,可以快速得到更加准确的空间分割结果,根据分割结果提取到的内外特征,可以得到更准确的三维重建结果。
在一个可选的实施例中,根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面包括:根据单源区域增长检测算法,获得目标物体的多个平面区域;确定每个平面区域的最近平面,得到种子元素;根据区域扩张规则对种子元素的相邻元素进行平面区域划分,得到目标物体的特征平面。
具体地,终端根据多源区域增长算法(Multi-source Region Growing, MRG)划分目标物体的区域边界,多源区域增长算法代码如下所示。多源区域增长算法是一种全局贪心算法,同等对待所有区域,区域的增长没有明确的先后顺序。
如图2所示,终端首先通过单源区域增长检测目标物体的多个平面区域。进一步地,使用单源区域增长算法RegionGrowing进行平面区域检测。对于单源区域增长检测到的每一个平面区域,MRG从初始三维数据中挑选与平面区域的支撑平面最近的元素作为这个区域的种子元素。接着将所有种子元素作为起始位置,同时进行所有区域扩张。其中,支撑平面就是拟合这个区域的所有元素的一个3D平面,可以使用最小二乘法得到。
进一步地,对于每一个起始元素,MRG将相邻元素加入一个全局的优先队列中,元素与支撑平面越近,它的优先级越高。由于一个元素可能与多个区域相邻,因此优先队列中一个元素可能出现多次。每次从队列中选取优先级最高的元素和相应区域,若该元素已经被划分到其他区域,则跳过它,从优先队列中取下一个元素;否则,将其加入区域中,并将相邻的尚未划分区域的元素加入队列中。此外,处理队列中元素的时候,如果它不满足夹角约束或距离约束,则直接跳过这个元素。当优先队列为空时,多源区域增长结束。
对于点云输入,本申请将K个最近点作为相邻元素;对于三角网格模型输入,将相邻的三个面片作为相邻元素。
本实施例中,通过多源区域增长算法全局地从初始三维数据中提取特征几何平面。该算法保证了处于两个平面相交处附近的点或者三角网格可以被正确地聚类到所属的平面区域,更加合理地划分了区域的边界,有助得到更准确的平面结构,进而得到更好的重建结果。
在一个可选的实施例中,根据特征平面将目标物体对应的三维空间分割成多个多面体包括:获取特征平面对应的二维特征;根据二维特征将目标物体对应的三维空间切分成多个凸多面体。
具体地,终端计算特征平面对应的二维凸包(凸多边形)。利用凸包多边形递归地将对应的三维空间切分成两个凸多面体,建立BSP层次树结构,最终BSP树的每个叶子节点对应一个凸多面体。
进一步地,根据CGAL的开源实现计算特征平面对应的二维凸包,还可以根据Graham算法、Andrew算法来实现二维凸包计算,本实施例它包括但不限于以上三种算法只要可以实现二维凸包计算即可。
采用多边形对齐的二叉空间分割算法(polygon-aligned binary spacepartitioning)对三维空间进行切分。如图3所示,这是一种递归地将三维空间分割为凸多面体集合的方法,图3左边为层次化分割空间,建立BSP树,每个叶子节点对应一个凸多面体,图3右边为提取模型表面。
在一个可选的实施例中,获取特征平面对应的二维特征包括:将特征平面投影至特征平面对应的支撑平面,得到特征平面对应的二维特征。
具体地,将每个特征平面中的元素(点云或三角面片)投影到它的支撑平面上,并提取它的凸多边形作为空间分割中使用的几何结构。
在一个可选的实施例中,根据二维特征将目标物体对应的三维空间切分成多个凸多面体包括:根据BSP算法以及特征平面对应的二维特征,将目标物体对应的三维空间进行空间分割,得到多个凸多面体。
具体地,将每个特征平面中的元素(点云或三角面片)投影到它的支撑平面上,并提取它的凸多边形作为空间分割中使用的几何结构,BSP空间提取代码如下所示。从初始的包围盒空间开始,每次挑选面积最大的凸多边形,用支撑平面将子空间一分为二,也将其他的多边形划分到相应的新子空间中。如果支撑平面与某个多边形相交,则将这个多边形一分为二,以确保子空间内的多边形不会超过子空间的范围。不断递归地分割子空间,直到不存在可分割的子空间为止。由此建立了BSP层次结构,BSP树的每个节点对应一个凸多面体,所有叶子节点组合成完整的包围盒,即表面模型。
本实施例中,为了避免计算几何平面在三维空间中所有的相交信息带来的计算负担,采用了一种基于二叉空间分割树的结构将三维空间切分为多面体。与传统的全相交空间分割算法相比,通过这个简单且鲁棒的机制得到的多面体数目和运行时间都降低了至少两个数量级。
在一个可选的实施例中,提取每个多面体的内外特征,得到目标物体的表面模型包括:根据预设马尔科夫场模型,确定凸多面体在目标物体中的内外特征;根据内外特征的内-外区域分界面,获得目标物体的表面模型。
具体地,将表面提取问题定义为多面体的内外分类问题,通过提取所有内部多面体和外部多面体之间的分界面构成模型表面。对此,如图4所示,本申请提出一种基于光线射击的马尔可夫能量方程,并使用最小割算法进行求解。
图5展示了的物理含义,即该多边形内部点构成的alpha-shape的面积与该多边形面积之比,其中整个多边形内部表示公共多边形,灰色点状部分表示多边形内部所有点构成的alpha-shape,两者面积之比度量了该多边形被原始数据的覆盖程度。覆盖率越大,则的值越大,对应的惩罚则越小,该多边形组成物体表面多边形的概率越大。
数据项衡量了输出表面模型的保真度。我们使用一种基于光线射击的投票方案,确定每个多面体的内-外标签。由于多面体的大小不同,较大的多面体往往具有更大的表面积,会受到的更高惩罚。为了消除这种偏差,我们将体积权重加入数据项中,具体形式如下:
其中,是多面体的体积大小,表示多面体属于物体内部和外部的概
率,表示从多面体的中心向外均匀发射的所有射线的集合。对于每个多面体发射的每一
条射线,找到alpha shape中与该射线第一次相交的三角面片,计算射线和该三角面
片的法向量的内积。如果,则该射线与三角面片的方向一致,它倾向于将该多
面体标记为物体内部(假设所有三角面片的法向量方向均指向物体外部),反之则倾向于将
其标记为外部。此外,如果该射线不与任何三角面片相交,则同样倾向于将该多面体标记为
外部。如图6所示,左边深色线段表示输入点构成的alpha shape,多面体左边深灰色区
域)发射的射线倾向于将其标记为内部,而多面体(右边浅灰色区域)发射的射线倾向于
将其标记为外部。
本申请实施例中,提出了一种基于光线射击的马尔可夫能量方程以提取物体的表面多边形,得到水密、无自相交的多边形网格,在复杂性和保真度之间提供了一种较好的折衷方案。
为了易于理解本申请实施例提供的技术方案,如图7所示,以完整的三维结构简化重建过程对本申请实施例提供的三维结构简化重建方法进行简要说明:
(1)获取目标物体的初始三维数据。
(2)根据单源区域增长检测算法,获得目标物体的多个平面区域;确定每个平面区域的最近平面,得到种子元素;根据区域扩张规则对种子元素的相邻元素进行平面区域划分,得到目标物体的特征平面。
(3)根据BSP算法以及特征平面对应的二维特征,将目标物体对应的三维空间进行空间分割,得到多个凸多面体。
(4)根据预设马尔科夫场模型,确定凸多面体在目标物体中的内外特征;根据内外特征的内-外区域分界面,获得目标物体的表面模型。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
为验证本申请所提供的三维结构简化重建方法的性能以及结果,将本申请提供的三维结构简化重建方法与Kinetic shape reconstruction方法进行比较。如图8所示,图8中的(a)为Kinetic shape reconstruction方法的重建结果,图8中的(b)为本申请所提供的三维结构简化重建方法的重建结果,其中T、|F|、E分别表示分割时间、输出的表面模型面片数量和以包围盒对角线的百分比形式表示的RMS误差。和Kinetic shapereconstruction方法相比,在相同平面下,本申请耗费的时间更少、生成模型面片数更少、RMS误差更小,同时保留了更多的细节特征,提供了更好的保真度和复杂度之间的折衷。Kinetic shape reconstruction方法的结果容易丢失细长的结构。此外,本申请速度更快、冗余程度更低,相应地,可以使用更多的平面进行空间分割。Kinetic shapereconstruction方法的全局碰撞检测限制了它的运行效率,随着特征平面数量的增加,本申请运行时间较之Kinetic shape reconstruction方法降低了至少两个数量级。
如图9所示,使用同样数量的特征平面进行空间分割,本申请在运行时间和冗余程度上都低于Kinetic shape reconstruction方法,性能上有了大幅提升。
如图10所示,左侧为基于单源区域增长的平面检测,可以明显看到区域大小依赖于区域增长的先后顺序,右侧为基于多源区域增长的平面检测,区域分布更合理,重建结果误差更低,视觉效果更好。在相同输入数据的情况下,较之现有的单源区域增长算法,多源区域增长检测到的平面形状更均匀,且RMS误差更小,特别是对于自由形式或包含曲面元素的对象,多源区域增长通过更加合理地划分区域的边界有助得到更准确的平面结构,进而得到更好的重建结果。
如图11所示,和Surface simplification using quadric error metrics方法、Variational shape approximation方法相比,(a)由于输入模型复杂且包含缺陷,(b)Variational shape approximation方法和(c)Surface simplification using quadricerror metrics方法的结果都存在面片折叠的问题,矩形框内的面片表示其法向量朝向错误,(d)本申请生成的结构化模型轻量且很大程度保留了物体的平面和边界特征。本申请生成的多边形模型可以更有效地逼近几何对象。特别是对于结构化特征明显的真实世界中的人造物体(例如建筑的墙壁、屋顶等),本申请可以有效保有其重要的几何结构,并生成轻量级的拓扑正确且具有现实意义的参数化模型。
本申请使用C++语言编写,主要基于计算几何算法库CGAL进行实现。CGAL提供了本申请所需的基本几何运算,以及最近邻搜索、主成分分析、二维三角剖分等稳健高效的算法。本申请在CGAL内核之上进行开发,考虑到浮点数运算的舍入误差,在空间分割阶段中本申请选择使用CGAL的有理数表示进行精确计算。此外,本申请使用3D组合图来表示分割结果,便于快速访问邻居,且易于修改(比如,增加cells或删除cells等),并有效降低了时间复杂度。
本申请被应用在各类由点云和三角网格表示的真实世界物体上,相关的数据集包括:
(1)从CAD模型中采样获得的点云,如Castle、Hilbert Cube等。CAD模型均取自Thingi10K数据库。该数据完整、干净,正确的平面检测结果即可确保较为准确的重建模型。
(2)从拥有自由表面的物体中采样获得的点云,如Stanford Bunny,Hand和Fertility等,这类物体的最终重建结果由紧凑的多边形网格近似表示。
(3)由MVS得到的稠密的建筑物三角网格。这类数据往往具有较大的噪声,无法通过小平面形状来正确地捕获细节,对平面检测及拼接算法提出了更高的挑战。
(4)通过激光雷达扫描产生的点云数据。这类数据在几何上更准确,但由于现实场景中普遍存在的遮挡现象,导致输入数据往往存在缺失部分数据和大量异构点等缺陷。
图12中展示了一些原始数据和相应的重建结果,对于每组图像,左侧模型表示输入,右侧模型表示输出。可以看出,本申请具有较高的鲁棒性,可以处理多源且各式各样的真实世界物体,验证了该方法的适用性。
表1展示了本申请在各类数据上的性能表现。BSP分割较为耗时,大约70%的计算工作都集中在分割事件的处理上。在可扩展性方面,本申请可以在没有并行化方案的标准计算机上处理由上万个几何平面组成的物体。
表1不同数据上的性能表现
注:前六个模型为点云输入,后六个模型为mesh输入,依次对应于图12的12个模型。时间单位:秒。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的三维结构简化重建方法的三维结构简化重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个三维结构简化重建装置实施例中的具体限定可以参见上文中对于三维结构简化重建方法的限定,在此不再赘述。
在一个实施例中,如图13所示,提供了一种三维结构简化重建装置,包括:获取模块1302、平面检测模块1304、分割模块1306和提取模块1308,其中:
获取模块1302,用于获取目标物体的初始三维数据。
平面检测模块1304,用于根据多源区域增长策略对所述初始三维数据进行平面检测,得到所述目标物体的特征平面。
分割模块1306,用于根据所述特征平面将所述目标物体对应的三维空间分割成多个多面体。
提取模块1308,用于提取所述每个多面体的内外特征,得到目标物体的表面模型。
在一个实施例中,平面检测模块1304还用于根据单源区域增长检测算法,获得目标物体的多个平面区域;确定每个平面区域的最近平面,得到种子元素;根据区域扩张规则对种子元素的相邻元素进行平面区域划分,得到目标物体的特征平面。
在一个实施例中,分割模块1306还用于获取特征平面对应的二维特征;根据二维特征将目标物体对应的三维空间切分成多个凸多面体。
在一个实施例中,分割模块1306还用于将特征平面投影至特征平面对应的支撑平面,得到特征平面对应的二维特征。
在一个实施例中,分割模块1306还用于根据BSP算法以及特征平面对应的二维特征,将目标物体对应的三维空间进行空间分割,得到多个凸多面体。
在一个实施例中,提提取模块1308还用于根据预设马尔科夫场模型,确定凸多面体在目标物体中的内外特征;根据内外特征的内-外区域分界面,获得目标物体的表面模型。
上述三维结构简化重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种三维结构简化重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取目标物体的初始三维数据;
根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面;
根据特征平面将目标物体对应的三维空间分割成多个多面体;
提取每个多面体的内外特征,得到目标物体的表面模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面包括:根据单源区域增长检测算法,获得目标物体的多个平面区域;确定每个平面区域的最近平面,得到种子元素;根据区域扩张规则对种子元素的相邻元素进行平面区域划分,得到目标物体的特征平面。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据特征平面将目标物体对应的三维空间分割成多个多面体包括:获取特征平面对应的二维特征;根据二维特征将目标物体对应的三维空间切分成多个凸多面体。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取特征平面对应的二维特征包括:将特征平面投影至特征平面对应的支撑平面,得到特征平面对应的二维特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据二维特征将目标物体对应的三维空间切分成多个凸多面体包括:根据BSP算法以及特征平面对应的二维特征,将目标物体对应的三维空间进行空间分割,得到多个凸多面体。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:提取每个多面体的内外特征,得到目标物体的表面模型包括:根据预设马尔科夫场模型,确定凸多面体在目标物体中的内外特征;根据内外特征的内-外区域分界面,获得目标物体的表面模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取目标物体的初始三维数据;
根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面;
根据特征平面将目标物体对应的三维空间分割成多个多面体;
提取每个多面体的内外特征,得到目标物体的表面模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据多源区域增长策略对初始三维数据进行平面检测,得到目标物体的特征平面包括:根据单源区域增长检测算法,获得目标物体的多个平面区域;确定每个平面区域的最近平面,得到种子元素;根据区域扩张规则对种子元素的相邻元素进行平面区域划分,得到目标物体的特征平面。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据特征平面将目标物体对应的三维空间分割成多个多面体包括:获取特征平面对应的二维特征;根据二维特征将目标物体对应的三维空间切分成多个凸多面体。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取特征平面对应的二维特征包括:将特征平面投影至特征平面对应的支撑平面,得到特征平面对应的二维特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据二维特征将目标物体对应的三维空间切分成多个凸多面体包括:根据BSP算法以及特征平面对应的二维特征,将目标物体对应的三维空间进行空间分割,得到多个凸多面体。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:提取每个多面体的内外特征,得到目标物体的表面模型包括:根据预设马尔科夫场模型,确定凸多面体在目标物体中的内外特征;根据内外特征的内-外区域分界面,获得目标物体的表面模型。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种三维结构简化重建方法,其特征在于,所述方法包括:
获取目标物体的初始三维数据;
根据多源区域增长策略对所述初始三维数据进行平面检测,得到所述目标物体的特征平面;
根据所述特征平面将所述目标物体对应的三维空间分割成多个多面体;
提取所述每个多面体的内外特征,得到目标物体的表面模型。
2.根据权利要求1所述的方法,其特征在于,所述根据多源区域增长策略对所述初始三维数据进行平面检测,得到所述目标物体的特征平面包括:
根据单源区域增长检测算法,获得所述目标物体的多个平面区域;
确定所述每个平面区域的最近平面,得到种子元素;
根据区域扩张规则对所述种子元素的相邻元素进行平面区域划分,得到所述目标物体的特征平面。
3.根据权利要求1所述的方法,其特征在于,所述根据所述特征平面将所述目标物体对应的三维空间分割成多个多面体包括:
获取所述特征平面对应的二维特征;
根据所述二维特征将目标物体对应的三维空间切分成多个凸多面体。
4.根据权利要求3所述的方法,其特征在于,所述获取所述特征平面对应的二维特征包括:
将所述特征平面投影至所述特征平面对应的支撑平面,得到所述特征平面对应的二维特征。
5.根据权利要求4所述的方法,其特征在于,所述根据所述二维特征将目标物体对应的三维空间切分成多个凸多面体包括:
根据BSP算法以及所述特征平面对应的二维特征,将所述目标物体对应的三维空间进行空间分割,得到多个凸多面体。
6.根据权利要求1所述的方法,其特征在于,所述提取所述每个多面体的内外特征,得到目标物体的表面模型包括:
根据预设马尔科夫场模型,确定凸多面体在所述目标物体中的内外特征;
根据所述内外特征的内-外区域分界面,获得所述目标物体的表面模型。
7.一种三维结构简化重建装置,其特征在于,所述装置包括:
获取模块,用于获取目标物体的初始三维数据;
平面检测模块,用于根据多源区域增长策略对所述初始三维数据进行平面检测,得到所述目标物体的特征平面;
分割模块,用于根据所述特征平面将所述目标物体对应的三维空间分割成多个多面体;
提取模块,用于提取所述每个多面体的内外特征,得到目标物体的表面模型。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111323833.8A CN113781667B (zh) | 2021-11-10 | 2021-11-10 | 三维结构简化重建方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111323833.8A CN113781667B (zh) | 2021-11-10 | 2021-11-10 | 三维结构简化重建方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113781667A true CN113781667A (zh) | 2021-12-10 |
CN113781667B CN113781667B (zh) | 2022-03-11 |
Family
ID=78873647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111323833.8A Active CN113781667B (zh) | 2021-11-10 | 2021-11-10 | 三维结构简化重建方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113781667B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114407015A (zh) * | 2022-01-28 | 2022-04-29 | 青岛理工大学 | 一种基于数字孪生的遥操作机器人在线示教系统及方法 |
CN115187589A (zh) * | 2022-09-07 | 2022-10-14 | 腾讯科技(深圳)有限公司 | 多边形修正及生成方法、装置、设备及可读存储介质 |
CN115222806A (zh) * | 2022-09-20 | 2022-10-21 | 腾讯科技(深圳)有限公司 | 多边形处理方法、装置、设备及计算机可读存储介质 |
CN115797567A (zh) * | 2022-12-27 | 2023-03-14 | 北京元起点信息科技有限公司 | 一种衣物三维驱动模型的建立方法、装置、设备及介质 |
CN116258840A (zh) * | 2023-05-16 | 2023-06-13 | 深圳大学 | 层级细节表示树的生成方法、装置、设备及存储介质 |
CN116502468A (zh) * | 2023-06-21 | 2023-07-28 | 查维斯机械制造(北京)有限公司 | 一种基于机器视觉的牛胴体分割机器人控制方法及系统 |
CN116935231A (zh) * | 2023-09-14 | 2023-10-24 | 湖北工业大学 | 一种隧道围岩结构面信息提取及关键块体识别方法 |
CN116977592A (zh) * | 2023-09-25 | 2023-10-31 | 深圳大学 | 基于卷绕数的三维结构化重建方法、装置和计算机介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009083864A2 (en) * | 2007-12-20 | 2009-07-09 | Philips Intellectual Property & Standards Gmbh | Iterative reconstruction of polyhedral objects from few projections |
US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
CN111462300A (zh) * | 2020-03-05 | 2020-07-28 | 清华大学 | 衣物物理模型驱动的实时人体动态三维重建方法及系统 |
CN112991547A (zh) * | 2021-01-18 | 2021-06-18 | 北京房江湖科技有限公司 | 模型简化处理方法、装置以及电子设备、介质 |
-
2021
- 2021-11-10 CN CN202111323833.8A patent/CN113781667B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009083864A2 (en) * | 2007-12-20 | 2009-07-09 | Philips Intellectual Property & Standards Gmbh | Iterative reconstruction of polyhedral objects from few projections |
US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
CN111462300A (zh) * | 2020-03-05 | 2020-07-28 | 清华大学 | 衣物物理模型驱动的实时人体动态三维重建方法及系统 |
CN112991547A (zh) * | 2021-01-18 | 2021-06-18 | 北京房江湖科技有限公司 | 模型简化处理方法、装置以及电子设备、介质 |
Non-Patent Citations (2)
Title |
---|
梁楚萍 等: "三维网格分割中聚类分析技术综述", 《计算机辅助设计与图形学学报》 * |
董洪伟: "三角网格分割综述", 《中国图象图形学报》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114407015A (zh) * | 2022-01-28 | 2022-04-29 | 青岛理工大学 | 一种基于数字孪生的遥操作机器人在线示教系统及方法 |
CN115187589A (zh) * | 2022-09-07 | 2022-10-14 | 腾讯科技(深圳)有限公司 | 多边形修正及生成方法、装置、设备及可读存储介质 |
CN115222806A (zh) * | 2022-09-20 | 2022-10-21 | 腾讯科技(深圳)有限公司 | 多边形处理方法、装置、设备及计算机可读存储介质 |
CN115222806B (zh) * | 2022-09-20 | 2022-12-09 | 腾讯科技(深圳)有限公司 | 多边形处理方法、装置、设备及计算机可读存储介质 |
CN115797567B (zh) * | 2022-12-27 | 2023-11-10 | 北京元起点信息科技有限公司 | 一种衣物三维驱动模型的建立方法、装置、设备及介质 |
CN115797567A (zh) * | 2022-12-27 | 2023-03-14 | 北京元起点信息科技有限公司 | 一种衣物三维驱动模型的建立方法、装置、设备及介质 |
CN116258840A (zh) * | 2023-05-16 | 2023-06-13 | 深圳大学 | 层级细节表示树的生成方法、装置、设备及存储介质 |
CN116258840B (zh) * | 2023-05-16 | 2023-08-11 | 深圳大学 | 层级细节表示树的生成方法、装置、设备及存储介质 |
CN116502468A (zh) * | 2023-06-21 | 2023-07-28 | 查维斯机械制造(北京)有限公司 | 一种基于机器视觉的牛胴体分割机器人控制方法及系统 |
CN116502468B (zh) * | 2023-06-21 | 2023-11-28 | 查维斯机械制造(北京)有限公司 | 一种基于机器视觉的牛胴体分割机器人控制方法及系统 |
CN116935231A (zh) * | 2023-09-14 | 2023-10-24 | 湖北工业大学 | 一种隧道围岩结构面信息提取及关键块体识别方法 |
CN116935231B (zh) * | 2023-09-14 | 2023-11-28 | 湖北工业大学 | 一种隧道围岩结构面信息提取及关键块体识别方法 |
CN116977592A (zh) * | 2023-09-25 | 2023-10-31 | 深圳大学 | 基于卷绕数的三维结构化重建方法、装置和计算机介质 |
CN116977592B (zh) * | 2023-09-25 | 2024-02-09 | 深圳大学 | 基于卷绕数的三维结构化重建方法、装置和计算机介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113781667B (zh) | 2022-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113781667B (zh) | 三维结构简化重建方法、装置、计算机设备和存储介质 | |
CN110120097B (zh) | 大场景机载点云语义建模方法 | |
US11544900B2 (en) | Primitive-based 3D building modeling, sensor simulation, and estimation | |
CN105993034B (zh) | 用于增强表面重构的轮廓求全 | |
US8665267B2 (en) | System and method for generating 3D surface patches from unconstrained 3D curves | |
Ji et al. | A novel simplification method for 3D geometric point cloud based on the importance of point | |
WO2022016310A1 (zh) | 基于点云数据的三维重建方法、装置和计算机设备 | |
Dong et al. | PSDF fusion: Probabilistic signed distance function for on-the-fly 3D data fusion and scene reconstruction | |
Lee et al. | Perceptual organization of 3D surface points | |
Wang et al. | Robust 3D reconstruction of building surfaces from point clouds based on structural and closed constraints | |
Chen et al. | Reconstructing compact building models from point clouds using deep implicit fields | |
CN113012063B (zh) | 一种动态点云修复方法、装置及计算机设备 | |
WO2023124676A1 (zh) | 3d模型构建方法、装置和电子设备 | |
Wang et al. | A new point cloud simplification method with feature and integrity preservation by partition strategy | |
CN114494641B (zh) | 一种三维模型轻量化方法及装置 | |
CN114202632A (zh) | 网格线性结构恢复方法、装置、电子设备及存储介质 | |
Li et al. | R3MR: Region growing based 3D mesh reconstruction for big data platform | |
CN116258840B (zh) | 层级细节表示树的生成方法、装置、设备及存储介质 | |
Zhang et al. | SurRF: Unsupervised multi-view stereopsis by learning surface radiance field | |
Sahebdivani et al. | Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings | |
CN114187404A (zh) | 一种用于近海域高分辨率的三维重建方法和系统 | |
Yan et al. | GEOP-Net: Shape reconstruction of buildings from LiDAR point clouds | |
CN116310226B (zh) | 三维对象层级模型生成方法、装置、设备和存储介质 | |
Li | Real-world large-scale terrain model reconstruction and real-time rendering | |
CN116402967B (zh) | 场景建筑快速单体化方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |