CN107679562A - 三维模型的解析处理方法和装置 - Google Patents

三维模型的解析处理方法和装置 Download PDF

Info

Publication number
CN107679562A
CN107679562A CN201710850541.7A CN201710850541A CN107679562A CN 107679562 A CN107679562 A CN 107679562A CN 201710850541 A CN201710850541 A CN 201710850541A CN 107679562 A CN107679562 A CN 107679562A
Authority
CN
China
Prior art keywords
threedimensional model
assumed
parts
semantic classes
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710850541.7A
Other languages
English (en)
Other versions
CN107679562B (zh
Inventor
陈小武
王小刚
周彬
方海月
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710850541.7A priority Critical patent/CN107679562B/zh
Publication of CN107679562A publication Critical patent/CN107679562A/zh
Priority to US16/132,345 priority patent/US10489914B2/en
Application granted granted Critical
Publication of CN107679562B publication Critical patent/CN107679562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种三维模型的解析处理方法和装置，其中，该方法包括：通过确定三维模型中每一个零件的三种相邻关系信息；对三维模型的所有零件进行聚合处理，生成三维模型的三个部件假设集合；对每一个部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息；将每一个部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布；根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到三维模型中的每一个零件的语义类别分析结果。可以对具有“内‑外”结构的三维模型进行语义类别的解析处理，解析效果较好。

Description

三维模型的解析处理方法和装置
技术领域
本发明涉及虚拟现实和增强现实技术领域，尤其涉及一种三维模型的解析处理方法和装置。
背景技术
随着计算机图形学、虚拟现实技术以及增强现实技术的发展，三维模型的应用也越来越广泛。需要对三维模型进行语义解析，即需要获知三维模型中的每一个零件归属于哪一种语义类别，其中，每一种语义类别为三维模型中的一种结构类别。例如，需要获知汽车三维模型中的零件是归属于车门的语义类别、还是归属于车头的语义类别等等。
现有技术中，采用了一种基于投影的三维模型语义分割方法，该方法提出了一种新颖的两类豪斯多夫(Hausdorff)距离来对三维模型所投影的二值图像进行匹配，该距离考虑到了二维形状的内部洞结构，可以更好地感知拓扑变化，且可以应用到分段线性变形的模型投影中，弥补尺度变换和视角差异。
现有技术中，基于投影的三维模型语义分割方法可以处理不完整三维模型，但不能够分析具有“内-外”结构的三维模型，例如，在汽车三维模型中的内部存在的零件，如方向盘、座椅等，该方法就无法对三维模型进行语义解析处理了。进而现有技术的方法，不能对具有“内-外”结构的三维模型进行语义类别的解析处理，解析识别效果较差。
发明内容
本发明提供一种三维模型的解析处理方法和装置，用以解决现有技术中不能对具有“内-外”结构的三维模型进行语义类别的解析处理，解析识别效果较差的问题。
本发明的一方面是提供一种三维模型的解析处理方法，包括：
确定三维模型中每一个零件的三种相邻关系信息，所述三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；
分别根据每一种相邻关系信息，对所述三维模型的所有零件进行聚合处理，以生成所述三维模型的三个部件假设集合，每一个所述部件假设集合中包括了至少一个部件假设；
针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，所述体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；
针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，所述可信度打分表征部件假设与每一个语义部件相似的相似程度信息，所述语义类别概率分布表征部件假设归属于每一种语义部件的概率；
根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果。
进一步地，在所述确定三维模型中每一个零件的三种相邻关系信息之后，还包括：
针对每一种相邻关系信息，根据相邻关系信息，生成所述三维模型的连通图，其中，所述连通图中包括所述三维模型的各零件之间的连接关系。
进一步地，所述根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果，包括：
针对所有部件假设集合，根据部件假设的可信度打分和语义类别概率分布，构建一个高阶的条件随机场模型，得到所述三维模型的能量函数；
采用α-β运动算法对得到的各所述能量函数进行最优化求解，得到所述三维模型中的每一个零件的语义类别分析结果。
进一步地，所述能量函数为：
其中，为数据项，ψh(h)为高阶一致项，N为所述三维模型的所有零件的总数目，H为所述三维模型的所有部件假设集合中的所有部件假设的总数目，i∈[1,N]，h∈[1,H]，i、h、N、H为正整数，xi为与第i个零件关联的随机变量；
dij,k为第yj个部件假设取语义类别lk的概率值，sij为第yj个部件假设的可信度打分，wij为第i个零件与每一个部件假设的体积大小比率值，K为预设的语义类别集中的语义类别的总个数，其中，语义类别集为L＝{l1,…,lk…,lK}，j∈[1,N]，k∈[1,K]，yj∈[1,H]，j、k、K、yj为正整数；
N(xh)＝mink(|h|-nk(xh))，|h|为第h个部件假设中包括的零件的数目，nk(xh)为第h个部件假设中属于语义类别lk的零件的数目，Q为预设的截断参数，γmax＝exp(-1/|h|(θ1+θ2G(h)))，θ1、θ2为通过交叉验证设置的参数，G(h)为h个部件假设的语义类别纯度，
进一步地，在所述根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果之后，还包括：
以三维图形显示的方式，显示所述三维模型中的每一个零件的语义类别分析结果。
本发明的另一方面是提供一种三维模型的解析处理装置，包括：
确定模块，用于确定三维模型中每一个零件的三种相邻关系信息，所述三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；
聚合模块，用于分别根据每一种相邻关系信息，对所述三维模型的所有零件进行聚合处理，以生成所述三维模型的三个部件假设集合，每一个所述部件假设集合中包括了至少一个部件假设；
处理模块，用于针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，所述体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；
分析模块，用于针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，所述可信度打分表征部件假设与每一个语义部件相似的相似程度信息，所述语义类别概率分布表征部件假设归属于每一种语义部件的概率；
构建模块，用于根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果。
进一步地，所述装置，还包括：
生成模块，用于在所述确定模块确定三维模型中每一个零件的三种相邻关系信息之后，针对每一种相邻关系信息，根据相邻关系信息，生成所述三维模型的连通图，其中，所述连通图中包括所述三维模型的各零件之间的连接关系。
进一步地，所述构建模块，包括：
构建子模块，用于针对所有部件假设集合，根据部件假设的可信度打分和语义类别概率分布，构建一个高阶的条件随机场模型，得到所述三维模型的能量函数；
求解子模块，用于采用α-β运动算法对得到的各所述能量函数进行最优化求解，得到所述三维模型中的每一个零件的语义类别分析结果。
进一步地，所述能量函数为：
其中，为数据项，ψh(h)为高阶一致项，N为所述三维模型的所有零件的总数目，H为所述三维模型的所有部件假设集合中的所有部件假设的总数目，i∈[1,N]，h∈[1,H]，i、h、N、H为正整数，xi为与第i个零件关联的随机变量；
dij,k为第yj个部件假设取语义类别lk的概率值，sij为第yj个部件假设的可信度打分，wij为第i个零件与每一个部件假设的体积大小比率值，K为预设的语义类别集中的语义类别的总个数，其中，语义类别集为L＝{l1,…,lk…,lK}，j∈[1,N]，k∈[1,K]，yj∈[1,H]，j、k、K、yj为正整数；
N(xh)＝mink(|h|-nk(xh))，|h|为第h个部件假设中包括的零件的数目，nk(xh)为第h个部件假设中属于语义类别lk的零件的数目，Q为预设的截断参数，γmax＝exp(-1/|h|(θ1+θ2G(h)))，θ1、θ2为通过交叉验证设置的参数，G(h)为h个部件假设的语义类别纯度，
进一步地，所述装置，还包括：
显示模块，用于在所述构建模块根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果之后，以三维图形显示的方式，显示所述三维模型中的每一个零件的语义类别分析结果。
本发明的技术效果是：通过确定三维模型中每一个零件的三种相邻关系信息，三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；分别根据每一种相邻关系信息，对三维模型的所有零件进行聚合处理，以生成三维模型的三个部件假设集合，每一个部件假设集合中包括了至少一个部件假设；针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，可信度打分表征部件假设与每一个语义部件相似的相似程度信息，语义类别概率分布表征部件假设归属于每一种语义部件的概率；根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到三维模型中的每一个零件的语义类别分析结果。从而通过三维模型中零件之间的相邻关系信息，对三维模型的所有零件进行聚合处理，生成三维模型的三个部件假设集合；然后，将部件假设集合中的所有部件假设的体素化信息，输入到训练成熟的多尺度联合的卷积神经网络中，得到每一个部件假设的可信度打分和语义类别概率分布，最后，采用高阶的条件随机场模型得到每一个零件的语义类别分析结果。从而，提供了一种新的对三维CAD模型进行语义解析的方法，可以对具有“内-外”结构的三维模型进行语义类别的解析处理，解析效果较好；该方法便具有很强的鲁棒性，不受模型拓扑结构、位姿变化等影响；并且，本实施例提供的方法简单有效，不需要与用户之间进行交互操作，计算速度较快。
附图说明
图1为本发明实施例一提供的三维模型的解析处理方法的流程图；
图2为本发明实施例一提供的三维模型的解析处理方法的聚合处理过程的示意图一；
图3为本发明实施例一提供的三维模型的解析处理方法的聚合处理过程的示意图二；
图4为本发明实施例一提供的三维模型的解析处理方法的聚合处理过程的示意图三；
图5为本发明实施例一提供的三维模型的解析处理方法的多尺度联合的卷积神经网络的示意图；
图6为本发明实施例一提供的三维模型的处理过程示意图；
图7为本发明实施例二提供的三维模型的解析处理方法的流程图；
图8为本发明实施例二提供的三维模型的解析处理方法的高阶条件随机场的示意图；
图9为本发明实施例二提供的三维模型的解析处理方法的三维模型的示意图；
图10为本发明实施例三提供的三维模型的解析处理装置的结构示意图；
图11为本发明实施例四提供的三维模型的解析处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先介绍下现有技术中，对于三维模型的语义解析的研究现状。三维模型语义解析是计算机图形学领域的基本问题之一，三维模型语义解析对于模型建模、模型编辑、模型检索等应用具有重要的作用。
早期的研究中，主要利用传统的几何特征，对三维表面模型进行语义解析，其中，几何特征例如有曲率、主成分分析(Principal Component Analysis，简称PCA)、模型直径函数、平均测地线距离、形状上下文、旋转图像等等。这些通过在闭合的三维表面模型的三角面片上进行计算，可以得到以上几何特征，但是对于三维计算机辅助设计(ComputerAided Design，简称CAD)模型，由于三维CAD模型中面片的不规则性及不均匀分布等特性，以上的几何特征往往会失效。
2015年针对三维表面模型语义解析，利用深度神经网络，通过非线性组合以及层次化的压缩多种传统几何特征，完成了一种传统特征的紧凑表达。利用这种更鲁棒性的表达形式，对模型进行语义解析，得到较好的解析结果。
在2017年斯坦福大学一种SyncSpec卷积神经网络(Convolutional NeuralNetwork，简称CNN)的方法，对三维模型进行语义解析；该方法主要是利用CNN去训练一种顶点函数，并且通过使用三维模型的局部信息，对三维模型进行谱分析，共享核权重，进而对三维模型进行语义解析。
2017年麻省大学阿默斯特分校结合多视角的全卷积神经网络及条件随机场(Conditional random fields，简称CRF)模型，提出了一种深度架构对模型进行语义分割的方法，该方法其本质上是一种其于图像的分割方法。这类型的方法还包括其它的一些研究，例如2013年，中科院深圳先进技术研究院也提出了一种基于投影的三维模型语义分割方法。
2017年，斯坦福大学设计了一种新颖的神经网络架构点网络(PointNet)，可以对无序的点云进行语义标记；但这种方法没有考虑三维模型部件间的交叉关系，例如考虑不到三维CAD模型中齿轮与车链之间的交叉，进而无法进行精确的语义解析。
同时，近些年来，还有许多无监督或半监督的三维模型语义解析方法，这类型的方法，为了减少计算开销，首先对单个三维表面模型进行过分割，生成大量的超面片，然后对每个超面片，通过传统方法提取一组高维的特征表达，最后通过聚类或聚合的方式获取最终的语义标记结果，进而得到语义标记结果。
上述语义解析方法，都会存在解析效果较差，不能对具有“内-外”结构的三维模型进行语义类别的解析处理的问题。进而，提出了本申请的方案。
图1为本发明实施例一提供的三维模型的解析处理方法的流程图，如图1所示，本实施例的方法包括：
步骤101、确定三维模型中每一个零件的三种相邻关系信息，三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积。
在本实施例中，具体的，获取待分析的三维模型，三维模型为三维CAD模型。然后，针对三维模型中的每一个零件，分析出一个零件与相邻零件之间的三种不同的相邻关系信息，其中，三种相邻关系信息分别为一个零件与相邻零件的中心距离、一个零件与相邻零件的体积之和、一个零件与相邻零件的接触面积。并且，这三种不同的相邻关系信息，为步骤102进行聚合处理的聚合策略。
步骤102、分别根据每一种相邻关系信息，对三维模型的所有零件进行聚合处理，以生成三维模型的三个部件假设集合，每一个部件假设集合中包括了至少一个部件假设。
在本实施例中，具体的，采用步骤101中的三种不同的相邻关系信息，作为三种不同的聚合策略，分别对三维模型的所有零件进行聚合处理，进而得到三个部件假设集合。本申请采用的聚合处理的方法，是一种贪婪的自底向上的层次化的聚合策略，通过每种聚合策略的约束，提取大量的多层次的部件假设；针对每一种聚合策略，层次化的采样可表示为一棵二叉树，其中每个叶子结点表示三维CAD模型中的各零件，所有的父结点为聚合处理过程中产生的部件假设。聚合处理方法的起始阶段为三维CAD模型中的所有零件，通过迭代的执行聚合操作，每一次迭代中，相邻结点的度量最小的被聚合为一个新的结点，即得到一个部件假设，直至三维CAD模型整体形成一个根结点之后，聚合处理方法结束。其中，这里的度量就是通过聚合策略计算所得。
具体来说，可以采用每一个零件与相邻零件的中心距离的相邻关系信息，对三维模型的所有零件进行聚合处理，进而中心距离越近的两个零件越先聚合，例如同心零件，最后可以得到一个部件假设集合。举例来说，图2为本发明实施例一提供的三维模型的解析处理方法的聚合处理过程的示意图一，如图2所示，一个三维模型中具有零件1、零件2、零件3、零件4，采用每一个零件与相邻零件的中心距离的相邻关系信息，对三维模型的所有零件进行聚合处理，首先，零件1与零件2的中心距离最近，则零件1与零件2聚合得到部件假设5；然后，零件3与部件假设5的中心距离最近，则零件3与部件假设5聚合得到部件假设6；然后，零件4与部件假设6的中心距离最近，则零件4与部件假设6聚合得到部件假设7。
可以采用每一个零件与相邻零件的体积之和的相邻关系信息，对三维模型的所有零件进行聚合处理，进而两个相邻的零件的体积之和越小，就越先进行聚合，这个策略对同一个语义部件由大量的小部件组成的三维模型非常有效，例如自行车链，最后可以得到一个部件假设集合。举例来说，图3为本发明实施例一提供的三维模型的解析处理方法的聚合处理过程的示意图二，如图3所示，一个三维模型中具有零件1、零件2、零件3、零件4，采用每一个零件与相邻零件的体积之和的相邻关系信息，对三维模型的所有零件进行聚合处理，首先，零件1与零件2的体积之和最小，则零件1与零件2聚合得到部件假设5；然后，零件3与部件假设5的体积之和最小，则零件3与部件假设5聚合得到部件假设6；然后，零件4与部件假设6的体积之和最小，则零件4与部件假设6聚合得到部件假设7。
可以采用每一个零件与相邻零件的接触面积的相邻关系信息，对三维模型的所有零件进行聚合处理，进而两个相邻的零件的接触面积越大，就越先进行聚合，即鼓励连通紧凑性越大的两个相邻零件先聚合，例如机械单元与附属连接件，最后可以得到一个部件假设集合。举例来说，图4为本发明实施例一提供的三维模型的解析处理方法的聚合处理过程的示意图三，如图4所示，一个三维模型中具有零件1、零件2、零件3、零件4，采用每一个零件与相邻零件的接触面积的相邻关系信息，对三维模型的所有零件进行聚合处理，首先，零件1与零件2的接触面积最大，则零件1与零件2聚合得到部件假设5；然后，零件3与部件假设5的接触面积最大，则零件3与部件假设5聚合得到部件假设6；然后，零件4与部件假设6的接触面积最大，则零件4与部件假设6聚合得到部件假设7。
从而根据三维CAD模型的装配先验规则确定出的三种聚合策略，可以得到三维CAD模型之间的零件间结构的连通性以及零件间邻接关系。
步骤103、针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，体素化信息包括了局部表达信息、全局表达信息、剩余表达信息。
在本实施例中，具体的，针对于每一个部件假设集合，都执行以下过程：对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息。即对每一个部件假设通过三种体素化进行表达。
其中，体素化信息包括了：局部表达信息，表征了部件假设的局部细节特征；全局表达信息，表征了部件假设相对于三维模型整体的相对位置、相对大小及粗略结构特征；剩余表达信息，表征了部件假设在整个三维模型中的全局上下文信息。并且，且为了便于计算，体素化信息的计算过程，都是在30*30*30的体素空间内完成。
步骤104、针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，可信度打分表征部件假设与每一个语义部件相似的相似程度信息，语义类别概率分布表征部件假设归属于每一种语义部件的概率。
在本实施例中，具体的，采用已经划分了语义类别的三维模型作为训练集，将该训练集输入到识别模型中，其中，识别模型采用多尺度联合的卷积神经网络，进而得到训练成熟的识别模型。
然后，针对步骤103中的每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到训练成熟的多尺度联合的卷积神经网络中，进而对每一个部件假设进行识别，得到每一个部件假设的可信度打分(Confidence Score)和语义类别(SemanticCategories)概率分布；其中，每一个部件假设的可信度打分，表征了该部件假设与每一个语义部件相似的相似程度信息，即这个部件假设到底有多像一个语义部件，例如，以汽车三维模型为例，某一个部件假设像不像方向盘或轮胎；每一个部件假设的语义类别概率分布，表征了该部件假设归属于每一种语义部件的概率，即这个部件假设到底像哪种语义部件，例如，以汽车三维模型为例，某一个部件假设更像方向盘，还是更像一个轮胎。
具体来说，在生成了三个部件假设集合，对于每一个部件假设集合来说，将部件假设集合中的部件假设的三种体素化表达作为神经网络的输入，其中，三种体素化表达包括了局部表达信息、全局表达信息、以及剩余表达信息。然后，针对每一个部件假设集合，图5为本发明实施例一提供的三维模型的解析处理方法的多尺度联合的卷积神经网络的示意图，如图5所示，将部件假设集合中的部件假设的三种体素化表达输入到多尺度联合的卷积神经网络中，由于图5的神经网络架构主要由三个分枝组成，进而可以将部件假设的局部表达信息、全局表达信息、剩余表达信息分别输入上、中、下三个分支中；然后，三个分枝卷积形成的特征，联结为一个高维向量，随后将高维向量输入到一个全连接层，进而降至2048维；最后，一个全连接层采用2048维的向量作为输入，最终计算得到部件假设的可信度打分Socre及语义类别概率分布Class。
步骤105、根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到三维模型中的每一个零件的语义类别分析结果。
在本实施例中，具体的，根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，去构建出一个高阶的条件随机场模型，然后，综合推理每个零件的最优语义类别，最后得到三维模型中的每一个零件的语义类别分析结果，其中，语义类别分析结果表征零件归属于哪一个语义类别。图6为本发明实施例一提供的三维模型的处理过程示意图，如图6所示，图6的a部分，为输入了一个汽车的三维模型；图6的b部分，表征了各个零件；图6的c部分，进行步骤101-105的过程；图6的d部分，为一图形显示的方式，显示出各零件的语义类别分析结果，可以为归属于同一语义类别的零件赋予相同的颜色。
本实施例通过确定三维模型中每一个零件的三种相邻关系信息，三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；分别根据每一种相邻关系信息，对三维模型的所有零件进行聚合处理，以生成三维模型的三个部件假设集合，每一个部件假设集合中包括了至少一个部件假设；针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，可信度打分表征部件假设与每一个语义部件相似的相似程度信息，语义类别概率分布表征部件假设归属于每一种语义部件的概率；根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到三维模型中的每一个零件的语义类别分析结果。从而通过三维模型中零件之间的相邻关系信息，对三维模型的所有零件进行聚合处理，生成三维模型的三个部件假设集合；然后，将部件假设集合中的所有部件假设的体素化信息，输入到训练成熟的多尺度联合的卷积神经网络中，得到每一个部件假设的可信度打分和语义类别概率分布，最后，采用高阶的条件随机场模型得到每一个零件的语义类别分析结果。从而，提供了一种新的对三维CAD模型进行语义解析的方法，可以对具有“内-外”结构的三维模型进行语义类别的解析处理，解析效果较好；该方法便具有很强的鲁棒性，不受模型拓扑结构、位姿变化等影响；并且，本实施例提供的方法简单有效，不需要与用户之间进行交互操作，计算速度较快。
图7为本发明实施例二提供的三维模型的解析处理方法的流程图，如图7所示，本实施例的方法包括：
步骤201、确定三维模型中每一个零件的三种相邻关系信息，三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积。
在本实施例中，具体的，本步骤可参见图1的步骤101，不再赘述。
步骤202、针对每一种相邻关系信息，根据相邻关系信息，生成三维模型的连通图，其中，连通图中包括三维模型的各零件之间的连接关系。
在本实施例中，具体的，在确定出了每一种相邻关系信息之后，可以根据零件之间的邻接关系，生成连通图。进而便于了对三维CAD模型进行部件假设的聚类采样，以及最终的高阶条件随机场的构建。为了准确建立出连通图中的三维CAD模型零件间的连接关系，可以采用200*200*200体素表达对三维CAD模型各个零件进行表示，若零件之间在体素空间中存在交叉，视为有连接，否则没有。
步骤203、分别根据每一种相邻关系信息，对三维模型的所有零件进行聚合处理，以生成三维模型的三个部件假设集合，每一个部件假设集合中包括了至少一个部件假设。
在本实施例中，具体的，本步骤可参见图1的步骤102，不再赘述。
步骤204、针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，体素化信息包括了局部表达信息、全局表达信息、剩余表达信息。
在本实施例中，具体的，本步骤可参见图1的步骤103，不再赘述。
步骤205、针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，可信度打分表征部件假设与每一个语义部件相似的相似程度信息，语义类别概率分布表征部件假设归属于每一种语义部件的概率。
在本实施例中，具体的，本步骤可参见图1的步骤104，不再赘述。
步骤206、针对所有部件假设集合，根据部件假设的可信度打分和语义类别概率分布，构建一个高阶的条件随机场模型，得到三维模型的能量函数。
其中，能量函数为：其中，为数据项，ψh(h)为高阶一致项，N为三维模型的所有零件的总数目，H为三维模型的所有部件假设集合中的所有部件假设的总数目，i∈[1,N]，h∈[1,H]，i、h、N、H为正整数，xi为与第i个零件关联的随机变量；
dij,k为第yj个部件假设取语义类别lk的概率值，sij为第yj个部件假设的可信度打分，wij为第i个零件与每一个部件假设的体积大小比率值，K为预设的语义类别集中的语义类别的总个数，其中，语义类别集为L＝{l1,…,lk…,lK}，j∈[1,N]，k∈[1,K]，yj∈[1,H]，j、k、K、yj为正整数；
N(xh)＝mink(|h|-nk(xh))，|h|为第h个部件假设中包括的零件的数目，nk(xh)为第h个部件假设中属于语义类别lk的零件的数目，Q为预设的截断参数，γmax＝exp(-1/|h|(θ1+θ2G(h)))，θ1、θ2为通过交叉验证设置的参数，G(h)为h个部件假设的语义类别纯度，
在本实施例中，具体的，针对每个零件，通过查找包含此零件的所有部件假设，根据包含此零件的所有部件假设各自的可信度打分及语义类别概率分布，推理当前零件的语义类别的概率分布，生成高阶条件随机场的数据项；然后针对每个部件假设，根据其语义类别概率分布的熵，计算属于同一语义类别的纯度，熵越小则表示当前部件假设中的所有零件属于同一个语义类别的可能性越大。进而以此定义相邻零件之间的语义类别的一致性，构建出高阶一致项。
具体来说，给定了一个三维CAD模型，包含有多个零件，三维模型的所有零件的总数目为N，每一个零件i关联了一个随机变量xi，其中，xi∈X，X为随机变量的集合；针对每一个部件假设集合，根据部件假设的可信度打分和语义类别概率分布，构建出一个高阶的条件随机场模型，然后可以得到三维模型的能量函数
其中，为数据项；ψh(h)为高阶一致项，ψh(h)表示属于同一个部件假设的零件语义类别趋近一致，且；H为三维模型的所有部件假设集合中的所有部件假设的总数目。
数据项定义为其中，p(xi,lk)表征第i个零件的语义类别为lk的概率，且其中，dij,k为第yj个部件假设取语义类别lk的概率值，sij为第yj个部件假设的可信度打分，wij为第i个零件与每一个部件假设的体积大小比率值，K为预设的语义类别集中的语义类别的总个数，其中，语义类别集为L＝{l1,…,lk…,lK}。
高阶一致项ψh(h)表示同一部件假设中的零件的语义类别趋向于一致性，同时，部件假设的纯度越高，这种可能性越大；进而据此，高阶一致项ψh(h)被定义为其中，|h|为第h个部件假设中包括的零件的数目；nk(xh)为第h个部件假设中属于语义类别lk的零件的数目；Q为预设的截断参数，Q控制高阶项的刚度，Q可以被设置为0.2*|h|，即在当前部件假设中，最多有20％的零件的语义类别与其它零件的语义类别不一致；γmax＝exp(-1/|h|(θ1+θ2G(h)))，其中参数θ1、θ2为通过交叉验证设置的；G(h)为h个部件假设的语义类别纯度，G(h)可以通过部件假设的语义类别分布的熵计算得到。
举例来说，图8为本发明实施例二提供的三维模型的解析处理方法的高阶条件随机场的示意图，如图8所示，可以对部件假设1、部件假设2、部件假设3、部件假设4，采用图8中的数据项，构建高阶条件随机场。
步骤207、采用α-β运动算法对得到的各能量函数进行最优化求解，得到三维模型中的每一个零件的语义类别分析结果。
在本实施例中，具体的，最后通过α-β运动算法对能量函数进行优化，得到三维CAD模型部件语义类别解析的最终结果。
步骤208、以三维图形显示的方式，显示三维模型中的每一个零件的语义类别分析结果。
在本实施例中，具体的，在得到三维模型中的每一个零件的语义类别分析结果之后，以三维图形显示的方式显示出每一个零件的语义类别分析结果，例如为归属于同一个语义类别的零件赋予相同的标识，如赋予相同的颜色。图9为本发明实施例二提供的三维模型的解析处理方法的三维模型的示意图，如图9所示，可以采用本实施例的方法对图9的各个三维模型进行解析处理。
本实施例通过确定三维模型中每一个零件的三种相邻关系信息，三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；分别根据每一种相邻关系信息，对三维模型的所有零件进行聚合处理，以生成三维模型的三个部件假设集合，每一个部件假设集合中包括了至少一个部件假设；针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，可信度打分表征部件假设与每一个语义部件相似的相似程度信息，语义类别概率分布表征部件假设归属于每一种语义部件的概率；根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到三维模型中的每一个零件的语义类别分析结果；以三维图形显示的方式，显示三维模型中的每一个零件的语义类别分析结果。从而通过三维模型中零件之间的相邻关系信息，对三维模型的所有零件进行聚合处理，生成三维模型的三个部件假设集合；然后，将部件假设集合中的所有部件假设的体素化信息，输入到训练成熟的多尺度联合的卷积神经网络中，得到每一个部件假设的可信度打分和语义类别概率分布，最后，采用高阶的条件随机场模型得到每一个零件的语义类别分析结果。从而，提供了一种新的对三维CAD模型进行语义解析的方法，可以对具有“内-外”结构的三维模型进行语义类别的解析处理，解析效果较好；该方法便具有很强的鲁棒性，不受模型拓扑结构、位姿变化等影响；并且，本实施例提供的方法简单有效，不需要与用户之间进行交互操作，计算速度较快；并且，可以采用三维图形显示的方式，显示三维模型中的每一个零件的语义类别分析结果，进而便于用户获知解析结果。
图10为本发明实施例三提供的三维模型的解析处理装置的结构示意图，如图10所示，本实施例提供的装置，包括：
确定模块31，用于确定三维模型中每一个零件的三种相邻关系信息，三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；
聚合模块32，用于分别根据每一种相邻关系信息，对三维模型的所有零件进行聚合处理，以生成三维模型的三个部件假设集合，每一个部件假设集合中包括了至少一个部件假设；
处理模块33，用于针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；
分析模块34，用于针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，可信度打分表征部件假设与每一个语义部件相似的相似程度信息，语义类别概率分布表征部件假设归属于每一种语义部件的概率；
构建模块35，用于根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到三维模型中的每一个零件的语义类别分析结果。
本实施例的三维模型的解析处理装置可执行本发明实施例一提供的三维模型的解析处理方法，其实现原理相类似，此处不再赘述。
本实施例通过确定三维模型中每一个零件的三种相邻关系信息，三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；分别根据每一种相邻关系信息，对三维模型的所有零件进行聚合处理，以生成三维模型的三个部件假设集合，每一个部件假设集合中包括了至少一个部件假设；针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，可信度打分表征部件假设与每一个语义部件相似的相似程度信息，语义类别概率分布表征部件假设归属于每一种语义部件的概率；根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到三维模型中的每一个零件的语义类别分析结果。从而通过三维模型中零件之间的相邻关系信息，对三维模型的所有零件进行聚合处理，生成三维模型的三个部件假设集合；然后，将部件假设集合中的所有部件假设的体素化信息，输入到训练成熟的多尺度联合的卷积神经网络中，得到每一个部件假设的可信度打分和语义类别概率分布，最后，采用高阶的条件随机场模型得到每一个零件的语义类别分析结果。从而，提供了一种新的对三维CAD模型进行语义解析的方法，可以对具有“内-外”结构的三维模型进行语义类别的解析处理，解析效果较好；该方法便具有很强的鲁棒性，不受模型拓扑结构、位姿变化等影响；并且，本实施例提供的方法简单有效，不需要与用户之间进行交互操作，计算速度较快。
图11为本发明实施例四提供的三维模型的解析处理装置的结构示意图，在实施例三的基础上，如图11所示，本实施例提供的装置，还包括：
生成模块41，用于在确定模块31确定三维模型中每一个零件的三种相邻关系信息之后，针对每一种相邻关系信息，根据相邻关系信息，生成三维模型的连通图，其中，连通图中包括三维模型的各零件之间的连接关系。
构建模块35，包括：
构建子模块351，用于针对所有部件假设集合，根据部件假设的可信度打分和语义类别概率分布，构建一个高阶的条件随机场模型，得到三维模型的能量函数；
求解子模块352，用于采用α-β运动算法对得到的各能量函数进行最优化求解，得到三维模型中的每一个零件的语义类别分析结果。
能量函数为：
其中，为数据项，ψh(h)为高阶一致项，N为三维模型的所有零件的总数目，H为三维模型的所有部件假设集合中的所有部件假设的总数目，i∈[1,N]，h∈[1,H]，i、h、N、H为正整数，xi为与第i个零件关联的随机变量；
dij,k为第yj个部件假设取语义类别lk的概率值，sij为第yj个部件假设的可信度打分，wij为第i个零件与每一个部件假设的体积大小比率值，K为预设的语义类别集中的语义类别的总个数，其中，语义类别集为L＝{l1,…,lk…,lK}，j∈[1,N]，k∈[1,K]，yj∈[1,H]，j、k、K、yj为正整数；
N(xh)＝mink(|h|-nk(xh))，|h|为第h个部件假设中包括的零件的数目，nk(xh)为第h个部件假设中属于语义类别lk的零件的数目，Q为预设的截断参数，γmax＝exp(-1/|h|(θ1+θ2G(h)))，θ1、θ2为通过交叉验证设置的参数，G(h)为h个部件假设的语义类别纯度，
本实施例提供的装置，还包括：
显示模块42，用于在构建模块35根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到三维模型中的每一个零件的语义类别分析结果之后，以三维图形显示的方式，显示三维模型中的每一个零件的语义类别分析结果。
本实施例的三维模型的解析处理装置可执行本发明实施例二提供的三维模型的解析处理方法，其实现原理相类似，此处不再赘述。
本实施例通过确定三维模型中每一个零件的三种相邻关系信息，三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；分别根据每一种相邻关系信息，对三维模型的所有零件进行聚合处理，以生成三维模型的三个部件假设集合，每一个部件假设集合中包括了至少一个部件假设；针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，可信度打分表征部件假设与每一个语义部件相似的相似程度信息，语义类别概率分布表征部件假设归属于每一种语义部件的概率；根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到三维模型中的每一个零件的语义类别分析结果；以三维图形显示的方式，显示三维模型中的每一个零件的语义类别分析结果。从而通过三维模型中零件之间的相邻关系信息，对三维模型的所有零件进行聚合处理，生成三维模型的三个部件假设集合；然后，将部件假设集合中的所有部件假设的体素化信息，输入到训练成熟的多尺度联合的卷积神经网络中，得到每一个部件假设的可信度打分和语义类别概率分布，最后，采用高阶的条件随机场模型得到每一个零件的语义类别分析结果。从而，提供了一种新的对三维CAD模型进行语义解析的方法，可以对具有“内-外”结构的三维模型进行语义类别的解析处理，解析效果较好；该方法便具有很强的鲁棒性，不受模型拓扑结构、位姿变化等影响；并且，本实施例提供的方法简单有效，不需要与用户之间进行交互操作，计算速度较快；并且，可以采用三维图形显示的方式，显示三维模型中的每一个零件的语义类别分析结果，进而便于用户获知解析结果。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维模型的解析处理方法，其特征在于，包括：
确定三维模型中每一个零件的三种相邻关系信息，所述三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；
分别根据每一种相邻关系信息，对所述三维模型的所有零件进行聚合处理，以生成所述三维模型的三个部件假设集合，每一个所述部件假设集合中包括了至少一个部件假设；
针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，所述体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；
针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，所述可信度打分表征部件假设与每一个语义部件相似的相似程度信息，所述语义类别概率分布表征部件假设归属于每一种语义部件的概率；
根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果。
2.根据权利要求1所述的方法，其特征在于，在所述确定三维模型中每一个零件的三种相邻关系信息之后，还包括：
针对每一种相邻关系信息，根据相邻关系信息，生成所述三维模型的连通图，其中，所述连通图中包括所述三维模型的各零件之间的连接关系。
3.根据权利要求1所述的方法，其特征在于，所述根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果，包括：
针对所有部件假设集合，根据部件假设的可信度打分和语义类别概率分布，构建一个高阶的条件随机场模型，得到所述三维模型的能量函数；
采用α-β运动算法对得到的各所述能量函数进行最优化求解，得到所述三维模型中的每一个零件的语义类别分析结果。
4.根据权利要求3所述的方法，其特征在于，所述能量函数为：
其中，为数据项，ψh(h)为高阶一致项，N为所述三维模型的所有零件的总数目，H为所述三维模型的所有部件假设集合中的所有部件假设的总数目，i∈[1,N]，h∈[1,H]，i、h、N、H为正整数，xi为与第i个零件关联的随机变量；
dij,k为第yj个部件假设取语义类别lk的概率值，sij为第yj个部件假设的可信度打分，wij为第i个零件与每一个部件假设的体积大小比率值，K为预设的语义类别集中的语义类别的总个数，其中，语义类别集为L＝{l1,…,lk…,lK}，j∈[1,N]，k∈[1,K]，yj∈[1,H]，j、k、K、yj为正整数；
N(xh)＝mink(|h|-nk(xh))，|h|为第h个部件假设中包括的零件的数目，nk(xh)为第h个部件假设中属于语义类别lk的零件的数目，Q为预设的截断参数，γmax＝exp(-1/|h|(θ1+θ2G(h)))，θ1、θ2为通过交叉验证设置的参数，G(h)为h个部件假设的语义类别纯度，
5.根据权利要求1-4任一项所述的方法，其特征在于，在所述根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果之后，还包括：
以三维图形显示的方式，显示所述三维模型中的每一个零件的语义类别分析结果。
6.一种三维模型的解析处理装置，其特征在于，包括：
确定模块，用于确定三维模型中每一个零件的三种相邻关系信息，所述三种相邻关系信息分别为每一个零件与相邻零件的中心距离、每一个零件与相邻零件的体积之和、每一个零件与相邻零件的接触面积；
聚合模块，用于分别根据每一种相邻关系信息，对所述三维模型的所有零件进行聚合处理，以生成所述三维模型的三个部件假设集合，每一个所述部件假设集合中包括了至少一个部件假设；
处理模块，用于针对每一个部件假设集合，对部件假设集合中的每一个部件假设进行体素化表达处理，生成每一个部件假设的体素化信息，其中，所述体素化信息包括了局部表达信息、全局表达信息、剩余表达信息；
分析模块，用于针对每一个部件假设集合，将部件假设集合中的所有部件假设的体素化信息，输入到识别模型中，得到每一个部件假设的可信度打分和语义类别概率分布，其中，所述可信度打分表征部件假设与每一个语义部件相似的相似程度信息，所述语义类别概率分布表征部件假设归属于每一种语义部件的概率；
构建模块，用于根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果。
7.根据权利要求6所述的装置，其特征在于，所述装置，还包括：
生成模块，用于在所述确定模块确定三维模型中每一个零件的三种相邻关系信息之后，针对每一种相邻关系信息，根据相邻关系信息，生成所述三维模型的连通图，其中，所述连通图中包括所述三维模型的各零件之间的连接关系。
8.根据权利要求6所述的装置，其特征在于，所述构建模块，包括：
构建子模块，用于针对所有部件假设集合，根据部件假设的可信度打分和语义类别概率分布，构建一个高阶的条件随机场模型，得到所述三维模型的能量函数；
求解子模块，用于采用α-β运动算法对得到的各所述能量函数进行最优化求解，得到所述三维模型中的每一个零件的语义类别分析结果。
9.根据权利要求8所述的装置，其特征在于，所述能量函数为：
其中，为数据项，ψh(h)为高阶一致项，N为所述三维模型的所有零件的总数目，H为所述三维模型的所有部件假设集合中的所有部件假设的总数目，i∈[1,N]，h∈[1,H]，i、h、N、H为正整数，xi为与第i个零件关联的随机变量；
dij,k为第yj个部件假设取语义类别lk的概率值，sij为第yj个部件假设的可信度打分，wij为第i个零件与每一个部件假设的体积大小比率值，K为预设的语义类别集中的语义类别的总个数，其中，语义类别集为L＝{l1,…,lk…,lK}，j∈[1,N]，k∈[1,K]，yj∈[1,H]，j、k、K、yj为正整数；
N(xh)＝mink(|h|-nk(xh))，|h|为第h个部件假设中包括的零件的数目，nk(xh)为第h个部件假设中属于语义类别lk的零件的数目，Q为预设的截断参数，γmax＝exp(-1/|h|(θ1+θ2G(h)))，θ1、θ2为通过交叉验证设置的参数，G(h)为h个部件假设的语义类别纯度，
10.根据权利要求6-9任一项所述的装置，其特征在于，所述装置，还包括：
显示模块，用于在所述构建模块根据三个部件假设集合中的每一个部件假设的可信度打分和语义类别概率分布，构建高阶的条件随机场模型，得到所述三维模型中的每一个零件的语义类别分析结果之后，以三维图形显示的方式，显示所述三维模型中的每一个零件的语义类别分析结果。
CN201710850541.7A 2017-09-20 2017-09-20 三维模型的解析处理方法和装置 Active CN107679562B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710850541.7A CN107679562B (zh) 2017-09-20 2017-09-20 三维模型的解析处理方法和装置
US16/132,345 US10489914B2 (en) 2017-09-20 2018-09-14 Method and apparatus for parsing and processing three-dimensional CAD model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710850541.7A CN107679562B (zh) 2017-09-20 2017-09-20 三维模型的解析处理方法和装置

Publications (2)

Publication Number Publication Date
CN107679562A true CN107679562A (zh) 2018-02-09
CN107679562B CN107679562B (zh) 2021-01-19

Family

ID=61136586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710850541.7A Active CN107679562B (zh) 2017-09-20 2017-09-20 三维模型的解析处理方法和装置

Country Status (2)

Country Link
US (1) US10489914B2 (zh)
CN (1) CN107679562B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410238A (zh) * 2018-09-20 2019-03-01 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
CN110400370A (zh) * 2019-07-17 2019-11-01 北京航空航天大学 一种构建三维cad模型的语义级部件模板的方法
CN110675488A (zh) * 2019-09-24 2020-01-10 电子科技大学 基于深度学习的创意三维体素模型的建模系统的构建方法
CN114055781A (zh) * 2021-10-24 2022-02-18 扬州大学 基于点体素相关场的燃油箱焊接机械臂自适应校正方法
CN116362127A (zh) * 2023-03-31 2023-06-30 西南大学 一种cad模型运动部件及运动属性联合解析方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727166B2 (en) 2018-05-08 2023-08-15 Autodesk, Inc. Techniques for generating graph-based representations of complex mechanical assemblies
US10832084B2 (en) * 2018-08-17 2020-11-10 Nec Corporation Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
CN110110685A (zh) * 2019-05-14 2019-08-09 重庆紫光华山智安科技有限公司 数据建档方法、装置及服务器
CN110399657B (zh) * 2019-07-09 2022-12-13 西安工业大学 一种基于三维装配模型共性结构的发掘方法
CN111612010A (zh) * 2020-05-21 2020-09-01 京东方科技集团股份有限公司 图像处理方法、装置、设备以及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952267A (zh) * 2017-02-17 2017-07-14 北京航空航天大学 三维模型集共分割方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116825B2 (en) * 2002-03-22 2006-10-03 Lee Shih-Jong J Multilevel chain-and-tree model for image-based decisions
US7031529B2 (en) * 2002-06-24 2006-04-18 Lee Shih-Jong J Method for detection optimization in image-based decision systems
US7133560B2 (en) * 2002-07-09 2006-11-07 Lee Shih-Jong J Generating processing sequences for image-based decision systems
WO2009134755A2 (en) * 2008-04-28 2009-11-05 Alexandria Investment Research And Technology, Llc Adaptive knowledge platform
JP5654438B2 (ja) * 2011-11-29 2015-01-14 株式会社日立製作所 類似設計構造検索装置、および類似設計構造検索方法
WO2017096299A1 (en) * 2015-12-04 2017-06-08 Autodesk, Inc. Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans
US10366289B2 (en) * 2016-03-15 2019-07-30 Solfice Research, Inc. Systems and methods for providing vehicle cognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952267A (zh) * 2017-02-17 2017-07-14 北京航空航天大学 三维模型集共分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EVANGELOS KALOGERAKIS, ET AL.: "3D Shape Segmentation with Projective Convolutional Networks", 《IN PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
RUIZHEN HU, ET AL.: "Co-Segmentation of 3D Shapes via Subspace Clustering", 《EUROGRAPHICS SYMPOSIUM ON GEOMETRY PROCESSING》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410238A (zh) * 2018-09-20 2019-03-01 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
CN109410238B (zh) * 2018-09-20 2021-10-26 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
CN110400370A (zh) * 2019-07-17 2019-11-01 北京航空航天大学 一种构建三维cad模型的语义级部件模板的方法
CN110675488A (zh) * 2019-09-24 2020-01-10 电子科技大学 基于深度学习的创意三维体素模型的建模系统的构建方法
CN110675488B (zh) * 2019-09-24 2023-02-28 电子科技大学 基于深度学习的创意三维体素模型的建模系统的构建方法
CN114055781A (zh) * 2021-10-24 2022-02-18 扬州大学 基于点体素相关场的燃油箱焊接机械臂自适应校正方法
CN114055781B (zh) * 2021-10-24 2023-12-29 扬州大学 基于点体素相关场的燃油箱焊接机械臂自适应校正方法
CN116362127A (zh) * 2023-03-31 2023-06-30 西南大学 一种cad模型运动部件及运动属性联合解析方法及装置
CN116362127B (zh) * 2023-03-31 2024-04-19 西南大学 一种cad模型运动部件及运动属性联合解析方法及装置

Also Published As

Publication number Publication date
US20190087964A1 (en) 2019-03-21
US10489914B2 (en) 2019-11-26
CN107679562B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN107679562A (zh) 三维模型的解析处理方法和装置
Xu et al. 3D tooth segmentation and labeling using deep convolutional neural networks
CN107526785B (zh) 文本分类方法及装置
Xie et al. Point clouds learning with attention-based graph convolution networks
CN107742102B (zh) 一种基于深度传感器的手势识别方法
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
CN107229904A (zh) 一种基于深度学习的目标检测与识别方法
CN109325993B (zh) 一种基于类八叉树索引的显著性特征强化采样方法
CN101807308A (zh) 三维模型分割装置和方法
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
CN105354593B (zh) 一种基于nmf的三维模型分类方法
CN104038792B (zh) 用于iptv监管的视频内容分析方法及设备
CN103559705B (zh) 一种比较不同植物形态相似度的计算机方法
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
Chin-Wei et al. Multiobjective optimization approaches in image segmentation–the directions and challenges
CN108154198A (zh) 知识库实体归一方法、系统、终端和计算机可读存储介质
CN104392253A (zh) 一种草图数据集的交互式类别标注方法
CN110442725A (zh) 实体关系抽取方法及装置
Chen et al. Human-like sketch object recognition via analogical learning
Papagiannopoulos et al. How to teach neural networks to mesh: Application on 2-D simplicial contours
CN109359534A (zh) 一种三维物体几何特征提取方法及系统
CN106845536A (zh) 一种基于图像缩放的并行聚类方法
Awiszus et al. World-gan: a generative model for minecraft worlds
CN108920446A (zh) 一种工程文本的处理方法
Wang et al. Learning to group and label fine-grained shape components

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant