CN114529707A - 三维模型分割方法、装置、计算设备及可读存储介质 - Google Patents
三维模型分割方法、装置、计算设备及可读存储介质 Download PDFInfo
- Publication number
- CN114529707A CN114529707A CN202210428745.2A CN202210428745A CN114529707A CN 114529707 A CN114529707 A CN 114529707A CN 202210428745 A CN202210428745 A CN 202210428745A CN 114529707 A CN114529707 A CN 114529707A
- Authority
- CN
- China
- Prior art keywords
- geometric
- unit
- dimensional model
- grids
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例涉及计算机视觉技术领域,公开了一种三维模型分割方法、装置、计算设备及计算机可读存储介质,该方法包括:获取三维模型的网格信息;根据网格信息将三维模型划分为K个几何单元,每一几何单元由彼此相邻的N个满足预设几何条件的网格聚类而成;提取每一几何单元的主视觉特征;将具有相同主视觉特征的相邻几何单元融合成集合单元。通过上述方式,本发明实施例通过几何单元划分以及将具有相同主视觉特征的相邻几何单元融合为集合单元,以降低处理器的计算复杂度,以及减小处理器的运算量,同时不影响三维模型的贴图效果,保持与真实物体基本一致的效果。
Description
技术领域
本发明实施例涉及计算机视觉技术领域,具体涉及一种三维模型分割方法、装置、计算设备及可读存储介质。
背景技术
数字孪生(Digital twin)是指通过计算机技术建立真实世界的虚拟镜像,以实现人机物三元融合及交互,它是连接真实物理世界与虚拟数字世界的重要桥梁和基础架构。数字孪生技术通过对物理空间的实体进行数字化建模,实现对真实世界的仿真、分析及模拟。如今,随着5G、物联网、大数据和云计算等新兴技术的兴起和不断发展,建立数字孪生体系已成为时代发展的重要科学推动力,可以被广泛应用到智慧城市、安防、智慧交通、测绘、智能家居、城市规划等领域,具有极其重要的经济价值和社会价值。
建立真实世界的三维模型是构建数字孪生体系的基本要素。随着三维重建技术的发展,人们可以从多张图片中生成真实物体对应的三维模型,并将图片上的纹理信息贴到三维模型的每个三角网格上,实现纹理映射。然而,这样的三维模型的基本几何单元是三角网格,没有语义信息以及高阶的几何信息,且三维模型分割的复杂度较高,运算量较大,这样加大了用户对于三维模型的后续编辑的难度。
因此,有必要提供一种三维模型分割方法、装置及可读存储介质,以克服上述问题。
发明内容
鉴于上述问题,本发明实施例提供了一种三维模型分割方法、装置、计算设备及可读存储介质,用于解决现有技术中存在的三维模型分割的复杂度较高的问题。
根据本发明实施例的第一方面,提供了一种三维模型分割方法,所述方法包括:
获取三维模型的网格信息;
根据所述网格信息将所述三维模型划分为K个几何单元,每一所述几何单元由彼此相邻的N个满足预设几何条件的网格聚类而成,K、N均为大于0的自然数;
提取每一所述几何单元的主视觉特征;
将具有相同所述主视觉特征的相邻所述几何单元融合成集合单元。
在一些实施例中,所述根据所述网格信息将所述三维模型划分为K个几何单元,每一所述几何单元由彼此相邻的N个满足预设几何条件的网格聚类而成,K、N均为大于0的自然数,进一步包括:
从候选的所述网格中选取其中之一所述网格作为种子网格;
将满足所述预设几何条件的彼此相邻的所述网格聚类到同一所述几何单元,所述预设几何条件包括第一预设条件,所述第一预设条件为所述网格到所述种子网格的距离小于或等于预设距离,所述几何单元的至少一所述网格与所述种子网格相邻;
将没有被聚类到所述几何单元且没有作为所述种子网格的所述网格作为候选的所述网格,转至所述从候选的所述网格中选取其中之一所述网格作为种子网格的步骤,直至所有所述网格全部被聚类到所述几何单元。
在一些实施例中,所述将满足所述预设几何条件的彼此相邻的所述网格聚类到同一所述几何单元,所述预设几何条件还包括第二预设条件,所述第二预设条件为所述网格的法向量与所述种子网格的法向量夹角小于或等于预设角度。
在一些实施例中,所述提取每一所述几何单元的主视觉特征,进一步包括:
将每个所述几何单元中所有所述网格的平均视觉特征向量作为所述几何单元的视觉特征向量;
根据所述视觉特征向量计算所述几何单元的主视觉特征。
在一些实施例中,所述视觉特征向量为颜色向量,所述根据所述视觉特征向量计算所述几何单元的主视觉特征,进一步包括:
将K个所述几何单元的所述颜色向量作为mean shift算法的样本点xi,计算每个所述样本点的偏移均值si,,其中, ,为xi和xj的距离,xj为xi的邻居点,aj为每个所述样本点对应的所述几何单元的面积;
对偏移之后的所述样本点进行聚类得到K个所述几何单元的主颜色ck。
在一些实施例中,所述将具有相同主视觉特征的相邻所述几何单元融合成集合单元,进一步包括:
计算每一所述几何单元的主视觉特征概率;
根据所述主视觉特征概率赋予每一所述几何单元对应的主视觉特征标签;
将具有相同所述主视觉特征标签的相邻所述几何单元融合成集合单元。
在一些实施例中,所述主视觉特征为主颜色,所述将具有相同主视觉特征的相邻所述几何单元融合成集合单元,进一步包括:
对所述几何单元进行优化计算得到马尔科夫场模型
利用图分割算法对所述马尔科夫场模型进行求解,赋予每个所述几何单元对应的主颜色标签;
将具有相同所述主颜色标签的相邻所述几何单元融合成集合单元。
根据本发明实施例的第二方面,提供了一种三维模型分割装置,所述装置包括:
获取模块,用于获取三维模型的网格信息;
分割模块,用于根据所述网格信息将所述三维模型划分为K个几何单元,每一所述几何单元由彼此相邻的N个满足预设几何条件的所述网格聚类而成,K、N均为大于0的自然数;
提取模块,用于提取每一所述几何单元的主视觉特征;
融合模块,用于将具有相同所述主视觉特征的相邻所述几何单元融合成集合单元。
根据本发明实施例的第三方面,提供了一种计算设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述任一项所述的三维模型分割方法的操作。
根据本发明实施例的第四方面,提供了一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令在运行时执行上述任一项所述的三维模型分割方法的操作。
本发明实施例通过将三维模型划分成为K个几何单元,从而将三维模型划分为不同几何单元所代表的不同部分,而这些部分所代表的几何特征参数具有可解释的物理意义,含有语义信息,此时该K个几何单元为初步分割结果。每一几何单元由彼此相邻的N个满足预设几何条件的所述网格聚类而成,使得同一几何单元至少由两个及以上的相邻网格组成,也即N≥2,使得网格数量M大于几何单元数量K。因此,相比网格数量,几何单元的数量减小了,降低计算复杂度,以及减小运算量。
此外,通过将具有相同主视觉特征的相邻所述几何单元融合成集合单元,此时三维模型进一步被分割为更少部分,以进一步降低处理器的计算复杂度,以及减小处理器的运算量,同时不影响三维模型的贴图效果,保持与真实物体基本一致的效果。此外,当需要进行视觉特征的编辑替换,无需重新对初始化的网格进行操作,只需在融合后的多个集合单元进行操作即可,减少处理器的重复操作,方便用户操作,以及提高编辑效率,同时该种三维模型方法还可运用到其他类别的物体中,具有通用性。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的三维模型分割方法的流程示意图;
图2示出了本发明一些实施例提供的三维模型分割方法的步骤120的流程示意图;
图3示出了本发明一些实施例提供的三维模型分割方法的步骤130的流程示意图;
图4示出了本发明一些实施例提供的三维模型分割方法的步骤140的流程示意图;
图5示出了本发明实施例提供的三维模型分割装置的结构示意图;
图6示出了本发明一些实施例提供的分割模块的结构示意图;
图7示出了本发明一些实施例提供的提取模块的结构示意图;
图8示出了本发明一些实施例提供的融合模块的结构示意图;
图9示出了本发明一些实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
针对现有的三维模型分割方法复杂度较高,运算量较大的问题,发明人发现,现有通常是直接在原始三维模型初始分割的每一个三角网格上进行纹理贴图,处理器需要对每一个三角网格进行贴图计算,其计算复杂度较高,导致处理器运算量较大。其中以球鞋为例,如果要对球鞋进行材质替换,首先要将球鞋对应的三维模型分割成初始的三角网格,然后针对每一个三角网格进行对应的材质替换,处理器则需要对每一个三角网格进行相应的材质参数、边界计算等,需要庞大的计算量,并且计算复杂,且该种分割方式并未含有各个部分的语义信息,如分割为鞋帮、鞋底、鞋面等各个具有物理意义的部分,导致模型编辑操作的难度极大,人工成本极高。
发明人还发现,现有的三维模型的分割方法主要分为基于学习和非学习的两类框架。(1)基于学习的方法通过人工或者神经网络提取每个三角网格的特征向量,再训练分类器用来预测每个三角网格的语义标签。然而,这类方法依赖于大量的训练数据,需要对每个类别的物体都要人工标注多个三维模型进行训练,标注成本极高。此外,该类方法泛化能力不强,不具有通用性,当运用到新类别的物体时,无法对新类别的物体进行正确的语义分割,造成重复劳动。(2)基于非学习的无监督方法则通过提取每个三角网格的几何特征,利用聚类方法将属于同一部分的三角网格聚成一类。这类方法虽然无需进行数据标注,但是需要人为设定聚类个数K。由于每种类别的物体分割的部分个数不同,因此该方法同样不具有通用性,不利于对所有物体进行分割。
因此,如何将三维模型分割成具有物理意义的各个部分对于后续的模型编辑具有重要的作用。
发明人提供了一种三维模型分割方法,通过将初始数量较多的多个网格根据几何条件聚类划分为数量相对更少的多个几何单元,而后根据原始三维模型的颜色特征或纹理特征等视觉特征进行几何单元融合并形成集合单元,此时集合单元的边界更大,且数量进一步相对几何单元的数量更少,当进行后续颜色特征或纹理特征贴图时,处理器可直接针对集合单元进行贴图计算,由于该集合单元的数量较小,可较大程度降低计算复杂度,以及减小处理器的运算量,同时该种三维模型方法还可运用到其他类别的物体中,具有通用性。
图1示出了本发明实施例提供的三维模型分割方法的流程图,该方法由计算设备执行,该计算设备可以是包括一个或多个处理器的计算设备,该处理器可能是中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路,在此不做限定。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC,在此不做限定。
如图1所示,该方法包括以下步骤:
步骤110:获取三维模型的网格信息。
步骤120:划分K个几何单元,每一几何单元由彼此相邻的N个满足预设几何条件的网格聚类而成,K、N均为大于0的自然数。
步骤130:提取每一几何单元的主视觉特征。
步骤140:将具有相同主视觉特征的相邻几何单元融合成集合单元。
其中,步骤110中,三维模型可以是根据多张图片、三维数据信息或者其他方式直接在计算设备中生成的与真实物体对应的三维模型,此时网格信息对应在计算设备中生成。或者也可以是将其他设备生成的三维模型数据以及已有三维模型数据输入到计算设备中。
计算设备获取的网格信息可以是由计算设备中生成的,网格信息也可以是三维模型数据输入到计算设备后由计算设备生成的,或者网格信息也可以是包含在输入的三维模型数据中,计算设备直接从三维模型数据中获取即可。
其中,根据三维模型生成的网格为多边形网格,每个网格由顶点、边根据拓扑关系构成,网格可以为三角网格、四边形网格、或者其他多边形网格,网格数量M值通常为一万以上,视三维模型的尺寸及形状等而定。网格信息包括点、线、面、曲率、法向量、角度、平面度、距离、视觉特征等参数。本实施例中,以球鞋为例,该球鞋的三维模型的网格数量为十万个左右,则M值对应为为该网格数量的值,其网格为三角网格。在其他实施例中,若三维模型的网格数量为百万、千万或者其他数值,则M值对应为百万、千万或者其他数值,网格也可以为四边形网格、或者其他多边形网格,在此不做限定。
步骤120中,通常三维模型的不同部位的几何特征的参数是不同的,通过根据M个网格的几何特征信息将三维模型划分成为K个几何单元,以将三维模型划分为不同几何单元所代表的不同部分,而这些部分所代表的几何特征参数具有可解释的物理意义,含有语义信息,此时该K个几何单元为初步分割结果。
每一几何单元由彼此相邻的N个满足预设几何条件的网格聚类而成,使得同一几何单元内的网格满足预设几何条件,不同几何单元的网格相互之间不满足预设几何条件,如其中之一的几何单元内的网格与其他任意的几何单元内的网格不符合预设几何条件,或者即使其中之一的几何单元内的网格与其他任意的几何单元内的网格符合预设几何条件,但该不同几何单元各自网格不相邻,从而无法进行聚类形成同一几何单元。其中,同一几何单元至少由两个及以上的相邻网格组成,也即N≥2,使得M大于K。因此,相比网格数量,几何单元的数量减小了,降低处理器的计算复杂度,以及减小处理器的运算量。其中,当N平均大于等于10时,K的数量相应小于M的一个数量级,当N平均大于等于100时,相应的K的数量小于M的两个数量级,以此类推,在此不做赘述。不同的几何条件判断则会产生不同的几何单元划分效果,相应的同一几何单元的网格数量也是不同的。若仅有一个网格满足预设几何条件,且没有相邻网格满足预设几何条件,即当N=1的情况,由于网格所在面的面积是很小的,可以忽略而不影响整体分割结果,同时可以减小运算量。
其中,预设几何条件是根据几何特征设定的参数,几何特征包括曲率、法向量、角度、平面度、距离等,相应的,几何条件则是根据曲率、法向量、角度、平面度、距离等方面对网格进行聚类的参数。几何条件可以是根据如曲率、法向量、角度、平面度、距离中的其中一个设定的,也可以是根据如曲率、法向量、角度、平面度、距离的其中两个或者更多个设定的,当判断条件越多,则相应的几何单元的数量相应更少,预设几何条件可以根据需要设置,在此不做限定。在几何单元分割形成过程中,K个几何单元均由预设几何条件自动确定,无需人为定义,实现初步自动分割。
步骤130中,由于真实物体通常具有颜色、纹理或明暗等视觉特征,而在后续编辑中,需要对三维模型进行相应的贴图操作以实现真实物体的视觉特征的映射,其中经初步分割的几何单元可能会有多种视觉特征,如不同的颜色、不同的纹理。为进一步融合几何单元,则需要统一视觉特征,需要提取每一几何单元的主视觉特征。主视觉特征以几何单元中各个网格的大部分主视觉特征为基准,以为后续相邻几何单元的融合提供融合基础,使得融合的几何单元在后续视觉特征编辑过程中能实现与真实物体视觉特征一致的效果,以具有鲁棒性。
例如,在一个几何单元中,大部分网格的主视觉特征为颜色,则提取该几何单元的主颜色特征,若该主颜色特征为红色,则提取的主颜色特征为红色;若大部分网格的主视觉特征为纹理特征,则提取该几何单元的主纹理特征,其中纹理可以是不同颜色以一定规律组合而成,或者是图片等形式的纹理,则几何单元的主纹理特征则显示为不同颜色组合的纹理特征或图片形式等特征,以此类推。
步骤140中,在提取几何单元的主视觉特征后,赋予几何单元对应的主视觉特征标签,以将具有相同主视觉特征的相邻几何单元融合成集合单元,换句话来说,即可以是直接将具有相同主视觉特征的相邻几何单元融合成集合单元,也可以是将主视觉特征近似的但通过算法优化处理后变为相同的主视觉特征的相邻几何单元融合成集合单元,其最终结果是将相同的主视觉特征的相邻几何单元融合成集合单元。此时三维模型进一步被分割为更少部分,以进一步降低处理器的计算复杂度,以及减小处理器的运算量,同时不影响三维模型的贴图效果,保持与真实物体基本一致的效果。此外,当需要进行视觉特征的编辑替换,无需重新对初始化的网格进行操作,只需在融合后的多个集合单元进行操作即可,减少处理器的重复操作,方便用户操作,以及提高编辑效率。
通过将三维模型划分成为K个几何单元,从而将三维模型划分为不同几何单元所代表的不同部分,而这些部分所代表的几何特征参数具有可解释的物理意义,含有语义信息,此时该K个几何单元为初步分割结果。每一几何单元由彼此相邻的N个满足预设几何条件的网格聚类而成,使得同一几何单元至少由两个及以上的相邻网格组成,也即N≥2,使得M大于K。因此,相比网格数量,几何单元的数量减小了,降低计算复杂度,以及减小运算量。
此外,通过将具有相同主视觉特征的相邻几何单元融合成集合单元,此时三维模型进一步被分割为更少部分,以进一步降低处理器的计算复杂度,以及减小处理器的运算量,同时不影响三维模型的贴图效果,保持与真实物体基本一致的效果。此外,当需要进行视觉特征的编辑替换,无需重新对初始化的网格进行操作,只需在融合后的多个集合单元进行操作即可,减少处理器的重复操作,方便用户操作,以及提高编辑效率,同时该种三维模型方法还可运用到其他类别的物体中,具有通用性。
在一些实施例中,如图2所示,步骤120进一步包括:
步骤a01:从候选的网格中选取其中之一网格作为种子网格。
步骤a02:将满足预设几何条件的彼此相邻的网格聚类到同一几何单元,预设几何条件包括第一预设条件,第一预设条件为网格到种子网格的距离小于或等于预设距离,几何单元的至少一网格与种子网格相邻。
步骤a03:将没有被聚类到几何单元且没有作为种子网格的网格作为候选的网格,转至从候选的网格中选取其中之一网格作为种子网格的步骤,直至所有网格全部被聚类到几何单元。
其中,该步骤a01至步骤a03中采用区域增长算法实现,如首先将初始的所有网格作为首次的候选的网格,从该所有候选的网格中选择其中之一网格作为第一个种子网格,依次遍历该种子网格之外的其他网格,判断其是否满足预设几何条件,从而将种子网格周围的满足该预设几何条件且彼此相邻的网格聚类到种子网格周围,直到没有满足该预设几何条件的网格被包括进来为止,此时形成第一个几何单元。而后,继续将没有被聚类到第一个几何单元且没有作为第一个种子网格的网格作为候选的网格,从该候选的网格中选取其中之一网格作为第二个种子网格,重复之前的遍历操作以及判断是否满足预设几何条件的操作,形成第二个几何单元,如此进行迭代计算,直到第K个几何单元形成,其中,每一个几何单元各自由其内的网格形成。
其中,满足上述第一预设条件的各网格的面积都很小,可以认为三维模型的各个网格的面为平面,因此,通过判断每个网格到种子网格的距离是否小于或等于预设距离,将到种子网格的距离小于或等于预设距离的网格与种子网格聚类为一个几何单元,使得同一个几何单元之间的各网格所在平面不偏离预设距离以在预设距离的限制范围内具有一致性,使得各个几何单元的划分较准确,以及较有物理意义。
优选的,预设距离的取值范围为5-10mm,预设角度的取值范围为10-20°,以使得同一几何单元的各个网格的特性具有良好一致性,本实施例中,球鞋的三维模型的网格数量M约为十万,预设距离为5mm,预设角度为15°,此时使得几何单元的数量较少,且同一几何单元的各网格一致性较好。最终根据本实施例的预设几何条件判断得出球鞋的几何单元数量K有数百个,该几何单元数量K相对网格数量M降低了三个数量级,较大的降低了处理器的计算复杂度,以及减小处理器的运算量。
在一些实施例中,预设几何条件还包括第二预设条件,第二预设条件为网格的法向量与种子网格的法向量夹角小于或等于预设角度。
通过判断每个网格的法向量与种子网格对应面的法向量夹角小于或等于预设角度,将法向量与种子网格对应面的法向量夹角小于或等于预设角度的网格与种子网格聚类为一个几何单元,使得同一个几何单元之间的各网格所在平面的法向量在预设角度的限制范围内具有一致性,使得各个几何单元的划分进一步准确,以及进一步具有物理意义,并且通过第一预设条件和第二预设条件的限制,使得几何单元的数量相对只有第一预设条件限制的数量更少,从而进一步降低了处理器的计算复杂度,以及减小处理器的运算量。
在一些实施例中,如图3所示,步骤130进一步包括:
步骤b01:将每个几何单元中所有网格的平均视觉特征向量作为几何单元的视觉特征向量。
步骤b02:根据视觉特征向量计算几何单元的主视觉特征。
其中,由于物体的各个部分可能具有相似的视觉特征,因此根据初始三维模型的视觉特征对各个几何单元进行聚类。而每个几何单元的所有网格均具有视觉特征,为计算几何单元的主视觉特征,则需要计算几何单元的视觉特征向量,则需要根据几何单元的所有网格的平均视觉特征向量进行计算,通过向量计算,可以将主视觉特征进行量化计算,以实现几何单元进行主视觉特征提取处理。
在一些实施例中,视觉特征为颜色特征,步骤b02进一步包括:
步骤b022:对偏移之后的样本点进行聚类得到K个几何单元的主颜色ck。
通常物体视觉特征表现为颜色,根据每个几何单元中所有网格进行计算得到对应的平均颜色向量作为该几何单元的颜色向量,以通过颜色向量方便mean shift算法计算。其中,颜色向量采用RGB向量计算,表现为[r g b],如红色:[1 0 0],绿色:[0 1 0],蓝色:[0 0 1]。此时,具有相似颜色向量的样本点在偏移之后距离变小,具有不同颜色向量的样本点在偏移之后的距离变大。重复上述过程直到每个样本点偏移的距离足够小为止。最后,在偏移之后的样本点集进行聚类得到K个主颜色ck,距离每个几何单元最近的主颜色向量作为其对应的主颜色ck。
在步骤b021中,xj为xi的邻居点,指的是其中一个几何单元作为xi,与该几何单元边界连接的另一个几何单元为xj;wj是每个邻域点的权重。σ为kernelband ,本实施例中,σ为0.1,其他实施例中,σ也可为0.2或0.3,或者其他数值,根据需要设置,在此不做限定。
由于物体根据预设几何条件最终聚类的几何单元的个数无法判断,无法事前确定聚类的个数K,因此,采用mean shift算法提取三维模型中出现的主视觉特征,以保持主视觉特征提取过程中的自动化,无需人工干预。
在一些实施例中,如图4所示,步骤140进一步包括:
步骤c01:计算每一几何单元的主视觉特征概率。
步骤c02:根据主视觉特征概率赋予每一几何单元对应的主视觉特征标签。
步骤c03:将具有相同主视觉特征标签的相邻几何单元融合成集合单元。
其中,通过步骤c01计算每个几何单元的主视觉特征概率,以对几何单元的主视觉特征进行优化计算,以便后续将符合要求的不同的几何单元的主视觉特征优化为同一主视觉特征,以为融合做准备。
步骤c02用于根据c01中的主视觉特征概率进行判断,以得出优化后的几何单元的主视觉特征,并相应赋予几何单元对应的主视觉特征标签,以便后续根据主视觉特征标签进行融合操作。
步骤c03通过将相邻的具有相同的主视觉特征标签的几何单元融合成一个集合单元,作为模型分割的结果。例如,未经过步骤c01优化而融合得出的集合单元的数量为X1,经过步骤c01至步骤c03操作后优化而融合得出的集合单元的数量为X2,X2小于X1,进一步减少集合单元的数量,从而进一步降低处理器的计算复杂度,以及进一步减小处理器的运算量,处理器的处理速度则进一步提高。
在一些实施例中,主视觉特征为主颜色,步骤140进一步包括:
步骤c04:对几何单元进行优化计算得到马尔科夫场模型
步骤c05:利用图分割算法对马尔科夫场模型进行求解,赋予每个几何单元对应的主颜色标签。
步骤c06:将具有相同主颜色标签的相邻几何单元融合成集合单元。
步骤c04中,通过马尔科夫场模型对各个几何单元的主颜色进行优化计算,以将不同几何单元的主颜色进行优化,如通过概率进行计算的,即不同几何单元的主颜色以及不同几何单元的平面法向量经过该马尔科夫场模型进行计算,以便后续将符合要求的不同的几何单元的主颜色优化为同一主颜色。其中,
而后步骤c05利用图分割算法对该马尔科夫场模型进行求解,得到每个几何单元优化后对应的主颜色,并求解得出li和lj,以相应赋予每个几何单元对应的主颜色标签,最后步骤c06将相邻的具有相同的主颜色标签的几何单元融合成一个集合单元,作为模型分割的结果。此时,经过融合后的集合单元的数量相对K个几何单元更少,进一步减少几何单元的数量,从而进一步降低处理器的计算复杂度,以及进一步减小处理器的运算量,处理器的处理速度则进一步提高。本实施例中的球鞋模型,经过步骤c04至c06后,所得的集合单元数量大致为数十个,相比初始的网格数量减少了四个数量级,相应的,处理器的计算复杂度以及运算量大大减少,以及处理器的处理速度大大提高。
图5示出了本发明实施例提供的三维模型分割装置的结构示意图,该装置200包括:
获取模块210,用于获取三维模型的网格信息。
分割模块220,用于根据网格信息将三维模型划分为K个几何单元,每一几何单元由彼此相邻的N个满足预设几何条件的网格聚类而成,K、N均为大于0的自然数。
提取模块230,用于提取每一几何单元的主视觉特征。
融合模块240,用于将具有相同主视觉特征的相邻几何单元融合成集合单元。
在一些实施例中,如图6所示,分割模块220包括:
第一选取模块221,用于从候选的网格中选取其中之一网格作为种子网格;
第一聚类模块222,用于将满足预设条件的彼此相邻的网格聚类到同一几何单元,预设条件包括第一预设条件,第一预设条件为网格到种子网格的距离小于或等于预设距离,几何单元的至少一网格与种子网格相邻。
第二选取模块223,用于将没有被聚类到几何单元且没有作为种子网格的网格作为候选的网格,转至从候选的网格中选取其中之一网格作为种子网格的步骤,直至所有网格全部被聚类到几何单元。
在一些实施例中,如图7所示,提取模块230包括:
第一计算模块231,用于将每个几何单元中所有网格的平均视觉特征向量作为该几何单元的视觉特征向量。
第二计算模块232,用于根据视觉特征向量计算几何单元的主视觉特征。
在一些实施例中,第二计算模块232进一步包括:
偏移模块2321,用于将K个几何单元的颜色向量作为mean shift算法的样本点xi,计算每个样本点的偏移均值si,,其中,,为xi和xj的距离,xj为xi的邻居点,aj为每个样本点对应的几何单元的面积。
第三聚类模块2322,用于对偏移之后的样本点进行聚类得到K个几何单元的主颜色ck。
在一些是实施例中,如图8所示,融合模块240进一步包括:
第一优化模块241,用于计算每一几何单元的主视觉特征概率。
第一赋予模块242,用于根据主视觉特征概率赋予每一几何单元对应的主视觉特征标签。
第四聚类模块243,用于将具有相同主视觉特征标签的相邻几何单元融合成集合单元。
在一些实施例中,融合模块240进一步包括:
第二优化模块244,用于对几何单元进行优化计算得到马尔科夫场模型
第二赋予模块245,用于利用图分割算法对马尔科夫场模型进行求解,赋予每个几何单元对应的主颜色标签。
第五聚类模块246,用于将具有相同主颜色标签的相邻几何单元融合成集合单元。
图9示出了本发明实施例提供的计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图9所示,该计算设备可以包括:处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。
其中:处理器302、通信接口304、以及存储器306通过通信总线408完成相互间的通信。通信接口304,用于与其它设备比如客户端或其它服务器等的网元通信。处理器302,用于执行程序310,具体可以执行上述用于三维模型分割方法实施例中的相关步骤。
具体地,程序310可以包括程序代码,该程序代码包括计算机可执行指令。
处理器302可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器306,用于存放程序310。存储器306可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
本发明实施例还提供一种种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令在运行时执行上述任一项所述的三维模型分割方法的操作。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
Claims (10)
1.一种三维模型分割方法,其特征在于,所述方法包括:
获取三维模型的网格信息;
根据所述网格信息将所述三维模型划分为K个几何单元,每一所述几何单元由彼此相邻的N个满足预设几何条件的网格聚类而成,K、N均为大于0的自然数;
提取每一所述几何单元的主视觉特征;
将具有相同所述主视觉特征的相邻所述几何单元融合成集合单元。
2.根据权利要求1所述的三维模型分割方法,其特征在于,所述根据所述网格信息将所述三维模型划分为K个几何单元,每一所述几何单元由彼此相邻的N个满足预设几何条件的网格聚类而成,K、N均为大于0的自然数,进一步包括:
从候选的所述网格中选取其中之一所述网格作为种子网格;
将满足所述预设几何条件的彼此相邻的所述网格聚类到同一所述几何单元,所述预设几何条件包括第一预设条件,所述第一预设条件为所述网格到所述种子网格的距离小于或等于预设距离,所述几何单元的至少一所述网格与所述种子网格相邻;
将没有被聚类到所述几何单元且没有作为所述种子网格的所述网格作为候选的所述网格,转至所述从候选的所述网格中选取其中之一所述网格作为种子网格的步骤,直至所有所述网格全部被聚类到所述几何单元。
3.根据权利要求2所述的三维模型分割方法,其特征在于,所述将满足所述预设几何条件的彼此相邻的所述网格聚类到同一所述几何单元,所述预设几何条件还包括第二预设条件,所述第二预设条件为所述网格的法向量与所述种子网格的法向量夹角小于或等于预设角度。
4.根据权利要求1所述的三维模型分割方法,其特征在于,所述提取每一所述几何单元的主视觉特征,进一步包括:
将每个所述几何单元中所有所述网格的平均视觉特征向量作为所述几何单元的视觉特征向量;
根据所述视觉特征向量计算所述几何单元的主视觉特征。
6.根据权利要求1所述的三维模型分割方法,其特征在于,所述将具有相同主视觉特征的相邻所述几何单元融合成集合单元,进一步包括:
计算每一所述几何单元的主视觉特征概率;
根据所述主视觉特征概率赋予每一所述几何单元对应的主视觉特征标签;
将具有相同所述主视觉特征标签的相邻所述几何单元融合成集合单元。
8.一种三维模型分割装置,其特征在于,所述装置包括:
获取模块,用于获取三维模型的网格信息;
分割模块,用于根据所述网格信息将所述三维模型划分为K个几何单元,每一所述几何单元由彼此相邻的N个满足预设几何条件的所述网格聚类而成,K、N均为大于0的自然数;
提取模块,用于提取每一所述几何单元的主视觉特征;
融合模块,用于将具有相同所述主视觉特征的相邻所述几何单元融合成集合单元。
9.一种计算设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的三维模型分割方法的操作。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令在运行时执行如权利要求1-7中任一项所述的三维模型分割方法的操作。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210663456.0A CN115063568A (zh) | 2022-04-22 | 2022-04-22 | 三维模型分割方法、装置、计算设备及计算机可读存储介质 |
CN202210428745.2A CN114529707B (zh) | 2022-04-22 | 2022-04-22 | 三维模型分割方法、装置、计算设备及可读存储介质 |
PCT/CN2023/086485 WO2023202381A1 (zh) | 2022-04-22 | 2023-04-06 | 三维模型分割方法、装置、计算设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210428745.2A CN114529707B (zh) | 2022-04-22 | 2022-04-22 | 三维模型分割方法、装置、计算设备及可读存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210663456.0A Division CN115063568A (zh) | 2022-04-22 | 2022-04-22 | 三维模型分割方法、装置、计算设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114529707A true CN114529707A (zh) | 2022-05-24 |
CN114529707B CN114529707B (zh) | 2022-08-16 |
Family
ID=81627750
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210663456.0A Pending CN115063568A (zh) | 2022-04-22 | 2022-04-22 | 三维模型分割方法、装置、计算设备及计算机可读存储介质 |
CN202210428745.2A Active CN114529707B (zh) | 2022-04-22 | 2022-04-22 | 三维模型分割方法、装置、计算设备及可读存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210663456.0A Pending CN115063568A (zh) | 2022-04-22 | 2022-04-22 | 三维模型分割方法、装置、计算设备及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN115063568A (zh) |
WO (1) | WO2023202381A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115187619A (zh) * | 2022-09-13 | 2022-10-14 | 深圳市其域创新科技有限公司 | 网格数据分割方法、装置、设备及计算机可读存储介质 |
WO2023202381A1 (zh) * | 2022-04-22 | 2023-10-26 | 深圳市其域创新科技有限公司 | 三维模型分割方法、装置、计算设备及可读存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229022B (zh) * | 2023-05-09 | 2023-08-04 | 苏州数算软云科技有限公司 | 一种非连通网格分割方法、装置、电子设备及存储介质 |
CN116310261B (zh) * | 2023-05-19 | 2023-08-08 | 深圳开鸿数字产业发展有限公司 | 三维模型分割方法、装置、设备及存储介质 |
CN117475109B (zh) * | 2023-12-21 | 2024-03-19 | 中建三局集团有限公司 | 基于拉伸体几何切割的模型流水段划分方法、装置及介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090109219A1 (en) * | 2007-10-30 | 2009-04-30 | Advanced Micro Devices, Inc. | Real-time mesh simplification using the graphics processing unit |
CN101853525A (zh) * | 2010-05-19 | 2010-10-06 | 北京航空航天大学 | 基于网格分割的带纹理模型细节保持简化方法 |
CN102938161A (zh) * | 2012-09-24 | 2013-02-20 | 西北工业大学 | 一种基于Mean Shift的三维形状自动分割方法 |
CN103268635A (zh) * | 2013-05-15 | 2013-08-28 | 北京交通大学 | 一种几何网格场景模型的分割及语义标注方法 |
CN105809742A (zh) * | 2016-03-11 | 2016-07-27 | 南京大学 | 一种数据驱动的室内场景着色方法 |
US20190347801A1 (en) * | 2017-02-01 | 2019-11-14 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
CN110796667A (zh) * | 2019-10-22 | 2020-02-14 | 辽宁工程技术大学 | 基于改进小波聚类的彩色图像分割方法 |
CN112258655A (zh) * | 2020-11-13 | 2021-01-22 | 河北地质大学 | 一种应用于vr虚拟银行的三维网格简化方法 |
CN113536496A (zh) * | 2021-06-25 | 2021-10-22 | 扬州市职业大学(扬州市广播电视大学) | 一种大结构体复杂表面多视觉三维测量网络节点布局方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108961411B (zh) * | 2018-07-02 | 2023-04-18 | 南京大学 | 一种保持外观特征的复杂三维建筑物模型简化方法 |
CN115063568A (zh) * | 2022-04-22 | 2022-09-16 | 深圳市其域创新科技有限公司 | 三维模型分割方法、装置、计算设备及计算机可读存储介质 |
-
2022
- 2022-04-22 CN CN202210663456.0A patent/CN115063568A/zh active Pending
- 2022-04-22 CN CN202210428745.2A patent/CN114529707B/zh active Active
-
2023
- 2023-04-06 WO PCT/CN2023/086485 patent/WO2023202381A1/zh unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090109219A1 (en) * | 2007-10-30 | 2009-04-30 | Advanced Micro Devices, Inc. | Real-time mesh simplification using the graphics processing unit |
CN101853525A (zh) * | 2010-05-19 | 2010-10-06 | 北京航空航天大学 | 基于网格分割的带纹理模型细节保持简化方法 |
CN102938161A (zh) * | 2012-09-24 | 2013-02-20 | 西北工业大学 | 一种基于Mean Shift的三维形状自动分割方法 |
CN103268635A (zh) * | 2013-05-15 | 2013-08-28 | 北京交通大学 | 一种几何网格场景模型的分割及语义标注方法 |
CN105809742A (zh) * | 2016-03-11 | 2016-07-27 | 南京大学 | 一种数据驱动的室内场景着色方法 |
US20190347801A1 (en) * | 2017-02-01 | 2019-11-14 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
CN110796667A (zh) * | 2019-10-22 | 2020-02-14 | 辽宁工程技术大学 | 基于改进小波聚类的彩色图像分割方法 |
CN112258655A (zh) * | 2020-11-13 | 2021-01-22 | 河北地质大学 | 一种应用于vr虚拟银行的三维网格简化方法 |
CN113536496A (zh) * | 2021-06-25 | 2021-10-22 | 扬州市职业大学(扬州市广播电视大学) | 一种大结构体复杂表面多视觉三维测量网络节点布局方法 |
Non-Patent Citations (1)
Title |
---|
司马海峰: "<基于像素聚类的彩色图像分割技术研究>", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023202381A1 (zh) * | 2022-04-22 | 2023-10-26 | 深圳市其域创新科技有限公司 | 三维模型分割方法、装置、计算设备及可读存储介质 |
CN115187619A (zh) * | 2022-09-13 | 2022-10-14 | 深圳市其域创新科技有限公司 | 网格数据分割方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114529707B (zh) | 2022-08-16 |
WO2023202381A1 (zh) | 2023-10-26 |
CN115063568A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114529707B (zh) | 三维模型分割方法、装置、计算设备及可读存储介质 | |
JP7376233B2 (ja) | ピクセルワイズ分類器による2dフロアプランのセマンティックセグメンテーション | |
CN108389251B (zh) | 基于融合多视角特征的投影全卷积网络三维模型分割方法 | |
JP7280039B2 (ja) | 建造物を表現する3dモデルの生成 | |
EP3660784B1 (en) | Segmentation of an image based on color and color differences | |
CN101944239B (zh) | 三维模型分割方法、装置以及包含该装置的图像处理系统 | |
CN107180426B (zh) | 基于可迁移的多模型集成的计算机辅助肺结节分类装置 | |
CN111489358A (zh) | 一种基于深度学习的三维点云语义分割方法 | |
CN109711416B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
CN109741268B (zh) | 一种针对壁画的破损图像补全方法 | |
CN111783779B (zh) | 图像处理方法、装置和计算机可读存储介质 | |
CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
CN107146219B (zh) | 一种基于流形正则化支持向量机的图像显著性检测方法 | |
CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
CN115661404A (zh) | 一种多细粒度树木实景参数化建模方法 | |
CN115423978A (zh) | 用于建筑物重建的基于深度学习的图像激光数据融合方法 | |
CN114782417A (zh) | 基于边缘强化图像分割的风机数字孪生特征实时检测方法 | |
CN115018999A (zh) | 一种多机器人协作的稠密点云地图构建方法及装置 | |
CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
CN113592021B (zh) | 一种基于可变形和深度可分离卷积的立体匹配方法 | |
CN115861610A (zh) | 一种基于改进CondInst的砂石骨料图像的分割处理方法 | |
CN115713624A (zh) | 一种增强遥感影像多尺度特征的自适应融合语义分割方法 | |
CN114219988A (zh) | 基于ViT框架的多类目岩矿快速分类方法、设备及存储介质 | |
CN108376390B (zh) | 一种动态感知平滑滤波算法 | |
CN108701206A (zh) | 用于面部对准的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |