CN109359534A - 一种三维物体几何特征提取方法及系统 - Google Patents

一种三维物体几何特征提取方法及系统 Download PDF

Info

Publication number
CN109359534A
CN109359534A CN201811064686.5A CN201811064686A CN109359534A CN 109359534 A CN109359534 A CN 109359534A CN 201811064686 A CN201811064686 A CN 201811064686A CN 109359534 A CN109359534 A CN 109359534A
Authority
CN
China
Prior art keywords
backbone
voxelization
dimension object
target
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811064686.5A
Other languages
English (en)
Other versions
CN109359534B (zh
Inventor
曲海平
刘士新
田生文
张志旺
周春姐
崔光海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Haixin Technology Co ltd
Original Assignee
Ludong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ludong University filed Critical Ludong University
Priority to CN201811064686.5A priority Critical patent/CN109359534B/zh
Publication of CN109359534A publication Critical patent/CN109359534A/zh
Application granted granted Critical
Publication of CN109359534B publication Critical patent/CN109359534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种三维物体几何特征提取方法及系统,包括:根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点;将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵;将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征。通过引入骨架曲线并仅对骨架曲线一侧的节点进行体素化,减少了基于超限学习机的卷积自动编码机网络中卷积神经网络阶段的卷积核数量,提取速度得到有效提高,同时提高了特征提取的准确度。

Description

一种三维物体几何特征提取方法及系统
技术领域
本发明实施例涉及计算机技术领域,更具体地,涉及一种三维物体几何特征提取方法及系统。
背景技术
在现代生活中,三维物体形状特征在三维物体分类、检索和语义分析中起着关键的作用,当前提取物体三维形状特征的方法在提取速度和准确度方面都不尽人意。
许多物体形状都具有不规则的特点,导致之前有关物体三维模型特征提取的算法精度低、开支大、效率低下。现有技术中,基于超限学习机的卷积自动编码机算法对三维模型特征提取精度较高,其训练过程包括:(1)卷积特征映射阶段。生成随机的卷积核后,对输入数据进行卷积和降采样操作,最终生成该阶段的卷积特征映射;(2)自动编码机的训练阶段。首先,生成随机的自动编码机神经元的初始值;然后,将自动编码机的输入和输出都设置为上一阶段生成的卷积特征映射;最后,利用最小二乘方法求解最后一层网络和最终输出层之间的权值,从而完成整个基于超限学习机的卷积自动编码机算法的训练过程。
但是,基于超限学习机的卷积自动编码机算法中卷积特征映射阶段的卷积核数量过多,导致后续的自动编码机数目随之变大,整个网络结构也变的非常复杂,使得对三维物体特征提取时间较长。
发明内容
本发明实施例提供了一种克服上述问题或者至少部分地解决上述问题的三维物体几何特征提取方法及系统。
第一方面本发明实施例提供了一种三维物体几何特征提取方法,包括:
根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点;
将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵;
将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征。
另一方面本发明实施例提供了一种三维物体几何特征提取系统,包括:
骨干获取模块,用于根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点;
体素化矩阵获取模块,用于将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵;
几何特征输出模块,用于将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征。
第三方面本发明实施例提供了包括处理器、通信接口、存储器和总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,处理器可以调用存储器中的逻辑指令,以执行第一方面提供的三维物体几何特征提取方法。
第四方面本发明实施例提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面提供的三维物体几何特征提取方法。
本发明实施例提供的一种三维物体几何特征提取方法及系统,在利用基于超限学习机的卷积自动编码机网络提取目标三维物体的几何特征之前,引入三维物体的骨架曲线,通过对称的特性只提取了曲线骨架一侧的节点,并对骨架曲线进行预处理,再将处理得到的体素化矩阵作为基于超限学习机的卷积自动编码机网络的输入,进而完成对目标三维物体几何特征的提取,减少了基于超限学习机的卷积自动编码机网络中卷积神经网络阶段的卷积核数量,提取速度得到有效提高,同时提高了特征提取的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维物体几何特征提取方法的流程图;
图2为本发明实施例提供的一种三维物体几何特征提取系统的结构框图;
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种三维物体几何特征提取方法的流程图,如图1所示,包括:
S101,根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点;
S102,将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵;
S103,将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征。
具体地,在利用训练好的基于超限学习机的卷积自动编码机网络提取目标三维物体的几何特征之前,先提取目标三维物体的骨架曲线,进而获取骨架曲线的骨干及一侧节点,再将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到的体素化矩阵作为训练好的基于超限学习机的卷积自动编码机网络的输入,使得其输出目标三维物体的几何特征。
本发明实施例提供的一种三维物体几何特征提取方法,在利用基于超限学习机的卷积自动编码机网络提取目标三维物体的几何特征之前,引入三维物体的骨架曲线,通过对称的特性只提取了曲线骨架一侧的节点,并对骨架曲线进行预处理,再将处理得到的体素化矩阵作为基于超限学习机的卷积自动编码机网络的输入,进而完成对目标三维物体几何特征的提取,减少了基于超限学习机的卷积自动编码机网络中卷积神经网络阶段的卷积核数量,提取速度得到有效提高,同时提高了特征提取的准确度。
在上述实施例的基础上,在所述根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点之前,还包括:
根据所述目标三维物体的不规则情况,获取所述骨架曲线。
在上述实施例的基础上,所述根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点,具体包括:
根据所述骨架曲线两侧形状平均的对称化,获取所述骨架曲线的骨干和所述骨干一侧的节点。
其中,骨架曲线是指将同方向(拉或压)加载的应力—应变曲线中,超过前一次加载最大应力的区段平移相连后得到的曲线。也可表述为滞回曲线上同向(拉或压)各次加载的荷载极值点依次相连得到的包络曲线称为骨架曲线。骨架曲线是每次循环加载达到的水平力最大峰值的轨迹,反映了构件受力与变形的各个不同阶段及特性(强度、刚度、延性、耗能及抗倒塌能力等),也是确定恢复力模型中特征点的重要依据。
具体地,骨架曲线的骨干的提取过程如下:
提前给予一个骨架图G和一个形状S当做输入,定义骨干是G中的优化路径P*,此优化路径P*能够确保匹配的得分最大化:
式子(1)中的∏是骨架曲线S上的任意两个关键节点(度不为2的节点)之间的路径,代表一个骨架曲线骨干的候选。式子(1)中的M|P代表基于路径P的作为固定点的有意义的自我匹配。
优化方程(1)的关键部分是:给定一个候选骨干P,得到一个基于P的全局内蕴对称,从而优化匹配得分S(M|P)。这就需要用到骨架映射:骨架曲线的自我匹配问题等同于建立两个骨架曲线之间的对应关系,其中原始形状和目标形状是一致的。因为自匹配应保证姿势不变,并且同时容忍非同质的畸变,所以诸如分支匹配或者候选投票方法都不能很好的解决这个问题。
在实现的过程中,使用了端点(即只有一个连接点的骨架节点),当做采样集E,随后在这些端点中搜索了最优的自我匹配M。重点解决的是端点对应而不是全部骨架的对应存在两个好处。第一,骨架曲线的拓扑一般是不可靠的,但是端点代表了分支的顶点,通常是很稳定的;第二,围绕一个端点的表面是几何上很显著的部分,所以很容易提取对应表面部分,也很容易用几何特征来描述这样的形状信息。
下一步需要对骨干一侧的节点进行提取,这里只提取了骨干一侧的节点,在提取的骨架曲线的骨干是完全内蕴对称的前提下,为了缩短提取节点的时间,提高提取的效率,因此本发明只提取骨干一侧的节点,最后通过映射或扫描的方式编译出另外一侧的节点。骨干一侧的节点提取过程如下:
本发明实施例将端点映射问题组合成为了一个双向图的匹配问题。首先,构造了一个KNN的图G=<GV,GE>,从端点出发,通过连接每个节点的最近的K近邻接点;然后,搜索了一个在G和它的副本G'=<VG',EG'>之间有意义的图。为了度量这个匹配的质量情况,考虑了端点间的相似度(节点相似性),和成对的关系(边相似性)。搜索了端点之间最优的M用来保证节点和边相似度J(M)能够被最大化:
式子(2)中,{i,i'}∈M是一对匹配的端点,其中i∈VG,i'∈VG';并且(i,j)∈EG,代表了接连i和j的一条边,同理(i',j')∈EG'也相类似;相对应地用Kp(i,i')定义了节点相似度,而Ke((i,j),(i',j'))定义了边相似度。
下面分别给出节点相似度与边相似度的求解方法:
节点相似度需要在端点相似度的基础上求解得到,而端点相似度给定两个端点i和i',他们的相似性通过两种方式来度量。
(1)第一种方式考虑了它们关于骨架曲线候选骨干P的关系。如果一对端点匹配上了,它们从骨架曲线骨干发出的对应分支应该是匹配的,也就说明了相应骨架曲线骨干的两个分支的连接位置应该是一致的。因此,就可通过计算沿着P的两个连接位置之间的测地距离来度量这两个端点的不相似度,记为db(i,i')。
(2)第二种方式对两个端点间的表面几何进行比较。为每一个端点指定出其影响的表面区域,计算每一个表面端点到骨架所有的端点的欧式距离。如果i端点是到表面顶点最近的端点,从这个顶点到i端点的线段要完全落在表面的内部,把受i端点影响的顶点做上标记。两个端点间不相似性被定义为受两个端点之间的受影响区域二次配准错误,标识为ds(i,i')。使用迭代最近点的方法来刚性的对两个表面区域进行对齐,初始对齐是通过对齐两个端点间的骨骼进行获取。
结合上面这两种度量的方式,端点相似度被定义成:
式子(3)中参数σb和σs被用来调和每对不同特征的敏感度。默认设定了σb=ρ,其中ρ是输入的骨架曲线包围盒的对角线的长度;默认设定了σs=γ,其中γ表示每个端点和它最佳匹配表面区域的批准错误的标准方差。如果两个端点的这两项指标全都很不同,为了防止它们被配对,设置它们的相似度为0。
在端点相似度基础上建立了节点相似度Kp(i,i')。具体流程如下:
A.1.若i≠i',ei和ei'能够进行匹配(设置Kp(i,i')=c(i,i'))除了下面两种情况(设置Kp(i,i')=0):
A.1.1.否则,若i和i'直接从候选骨干P的同一节点发出同一子树上;
A.1.2.二维情况下,若i和i'在候选骨干P的两侧。
A.2.若i=i',i和i'则有两个位置:
A.2.1.若i是候选骨干P上的一个节点,和自己进行匹配,设定Kp(i,i')=1;
A.2.2.否则,设定Kp(i,i')=0.2。即规定了一个代价跳到节点相似度。
节点相似度没有考虑两个骨架曲线节点之间的空间分配的关系。为了把这个问题考虑进去,考虑了两个端点i和j之间的成对的关系,指定他们在骨架曲线上的最短路径为p(i,j)。基于p(i,j)和p(i',j')这两个路径间的距离,用边相似度Ke((i,j),(i',j'))度量了两个路径之间的兼容性的情况。这个距离由两项组成:
第一项考虑了两个路径的统计属性的差异:
式子中lij代表的是路径p(i,j)的长度。这一项来源于定义在基于距离的对称标准,用在姿势不变的情形下。
第二项考虑了两个路径之间镜像对称的差异,因为一个候选骨干P代表了全局镜像对称的对称轴,要求这两个路径应该关于候选骨干P是对称的。度量两个路径之间的距离,通过在把一个路径关于P镜像对称到另一个路径上时的二次对齐误差的方式实现。为了实现姿势的不变,通过维度缩放(MDS)执行姿势归一化并同时保证了骨架曲线的测地距离。
实现时均匀采样了这两个路径为Ns个点,并基于绝对定位算法与镜像矩阵用来对齐这些点,得到ξ1=p(i,j′)与ξ2=p(i',j)。然后对两个路径(i,j′)和(i',j)之间的对齐错误基于PCA方法进行评估,分别定义为ξ3和ξ4
在候选骨干P的约束条件下,边的相似度被定义成:
式子(4)中惩罚了路径长度差,考虑了镜像对齐错误。为了加强第二项,默认设定ωr=0.8,σl=0.5和σr=0.5。
给定了一个候选骨干P,应用中的因式分解图匹配方法查找优化对称图M|P用来最大化等式(2)。由于卷积图会引导出更好的映射兼容,因此发现边相似度更加偏重于对称的对应。在很少的情况下,如果M|P不对称,应用一个赢家通吃的方法来解决基于节点相似的对应冲突问题。这个匹配得分在等式(1)中定义如下:
S(M|P)=J(M)-cp (5)
式子(5)中cp惩罚了没有用到的骨架曲线段的总量。所有P上的线段被初始化标志为使用,其他的线段标志为未用。若端点i和j匹配上了,标志P(i,j)上的骨架段为使用的。定义式子中的U表示没有使用的线段,li表示线段i的长度。设置σp=0.5σb为默认值。
在上述实施例的基础上,在所述根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干之后,还包括:
通过萤火虫算法对所述骨干进行优化。
其中,萤火虫算法(Firefly Algorithm)是一种启发式算法,灵感来自于萤火虫闪烁的行为。萤火虫的闪光,其主要目的是作为一个信号系统,以吸引其他的萤火虫。剑桥大学的Xin-She Yang教授提出了萤火虫算法,其假设为:萤火虫不分性别,这样一个萤火虫将会吸引到所有其他的萤火虫;吸引力与它们的亮度成正比,对于任何两个萤火虫,不那么明亮的萤火虫被吸引,因此移动到更亮的一个,然而,亮度又随着其距离的增加而减少;如果没有比一个给定的萤火虫更亮的萤火虫,它会随机移动。亮度应与目标函数联系起来。萤火虫算法是以自然为灵感的启发式优化算法。
具体地,由于优化目标方程(1)是高度非凸的,利用一个随机搜索方法通过枚举候选路径,选择其中最大化(5)公式中的匹配得分的一条。候选路径的搜索空间通常都很大,由于任何两个骨架节点都可以形成一个候选骨干。为了高效解决这个问题,利用了一个萤火虫算法来演变和搜索一个候选的方案(路径)的群体,并且使用了匹配得分来评估了每一个个体的合适性。
一次优化筛选的具体算法步骤:
(1)首先,为了防止偶然性的出现,随机采样了s=100个候选路径来形成初始的群体。
(2)然后,随机选择两个节点来生成候选路径,每两个候选路径为一组,分为50组。当第一个节点被选中,一个更高可能的分配被分配给其它离第一个被选节点更远的节点来保证路径更长。
(3)最后,路径的交叉是在两个相交的路径上执行的,通过交换它们的端点,导致两个新的路径。特别地,随机的选择不在路径上的一个节点来替换路径的一段。这里更偏向于小的改变,所以一个更高的可能被分配给离端点更近的节点。
执行了一个稳态的萤火虫算法来筛选这个路径集合,首先对每一组随机选择的候选路径进行路径交叉操作,得到两个新的候选路径,由于每个候选路径是由两个节点形成,所以利用萤火虫算法的反理论操作,筛选出节点间距较大的候选路径进行保留,挑选出100个群体中的50个相对合适的候选路径继续进行优化;然后将优化后得到的50个候选路径两两随机分组,对每一组候选路径继续进行萤火虫算法的相关操作优化候选路径;最后得到最优的候选路径。
在上述实施例的基础上,所述将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵,具体包括:
提取所述骨干到所述骨干一侧的节点所包含的区域内的多个三维模型;
对所述多个三维模型中的每个三维模型的表面和内部分别进行体素化,得到所述体素化矩阵。
其中,设此过程提取到的三维模型个数为N个,体素化的分辨率为d。本发明的输入是三维模型产生的N个体素化矩阵,可将其合并成一个维数为N×d×d×d的矩阵用于卷积神经网络处理阶段的输入。
AABB包围盒(Axis-aligned bounding box):AABB被定义为包含该对象,且边平行于坐标轴的最小六面体,每一边都平行于一个坐标平面,矩形边界框不一定都是立方体,它的长、宽、高可以彼此不同。坐标轴平行(Axially-aligned)不仅指盒体与世界坐标轴平行,同时也指盒体的每个面都和一条坐标轴垂直,这样一个基本信息就能减少转换盒体时操作的次数。故描述一个AABB,仅需六个标量。AABB包围盒具有构造比较简单,存储空间小的特点。由于AABB相交测试的简单性及较好的紧密性,因此得到了广泛的应用。
具体地,模型体素化步骤具体包括对模型表面的体素化和对模型内部的体素化:
对模型表面的体素化:
(1)首先,计算出模型的AABB包围盒,根据空间分辨率对包围盒进行划分,得到每个大小为(X/N)*(Y/N)*(Z/N)空间像素列表;
(2)其次,对构成三维模型的多边形或三角形列表进行遍历,得到这些基本体元所对应的包围盒;
(3)然后,由AABB求交运算得到这些基本体元所能影响到的体素单元,将这些体素单元作为待判断的基本对象;
(4)最后,为了做进一步的精确判定,使用三角形与AABB的求交运算法确定这些基本体元所能影响到最终体素,并将这些体素标记为非空,这样就完成了对三维模型表面的体素化操作。
对模型内部的体素化:
将模型表面体素化操作完成之后即可得到对模型体素表示的一个“外壳”,接下来要做的操作就是进行模型内部体素化操作。
(1)首先,将对应的三维模型建立空间八叉树,这个八叉树主要用于进行基本体元面片的求交操作;
(2)然后,对模型AABB中所有空体素,从其中心位置以轴对齐方向来发射两条射线,这两条射线的方向相反,但基本方向都是轴对齐的。对于这两条的射线利用空间模型的八叉树来得到其与三维模型的相交位置,并得到相交点的法向量以及到相交点的距离;
(3)最后,根据这两点法向量之间的关系来判断得到当前体素是在三维模型的内部或是在三维模型的外部。如果判断得到某个体素的位置为模型内部后,可以根据射线的方向及这两条射线与模型的交点处的距离来对当前体素相邻的体素进行扫描,这样不需要再做判断就可以标记处相邻体素的状态,能够加速整个模型内部体素化操作;如果不能判断,则需要将上述的操作施加于每一个空的体素之后就可以完成对三维模型内部的体素化操作。
本发明实施例针对二维图像和三维模型具有相同的网络结构。当输入为二维图像时,卷积神经网络的输入是原始图像,且其中的卷积和降采样的操作是在二维空间进行的,自动编码机部分也是基于多个二维特征映射进行权值学习的。
当输入三维模型时,需要先将三维模型进行体素化,将这些体素化矩阵作为卷积神经网络的输入,并且此过程中的卷积和降采样操作是在三维空间内进行的,自动编码机阶段也是基于多个三维特征映射进行权值学习;如网络结构、层与层之间的关系以及卷积层和自动编码机之间的关系这些细节等,二维图像和三维模型均是相似的。
在上述实施例的基础上,所述将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征,具体包括:
将所述体素化矩阵输入所述基于超限学习机的卷积自动编码机网络中的卷积神经网络,输出对应的特征图,并对所述特征图进行降采样得到对应的特征映射的隐含特征;
将所述特征映射的隐含特征输入所述基于超限学习机的卷积自动编码机网络中的自动编码机,输出所述目标三维物体的几何特征。
其中,卷积层由多个特征面组成,每个特征面由多个神经元组成,它的每一个神经元通过卷积核与上一层特征面的局部区域相连。卷积核是一个权值矩阵(如对于二维而言可为3*3或5*5矩阵)。CNN的卷积层通过卷积操作提取输入的不同特征,第一层卷及提取低级特征如边缘、线条、角落,更高层的卷积层提取更高的特征。卷积层的神经元被组织到各个特征面中,每个神经元通过一组权值被连接到上一层特征面的局部区域,即卷积层中的神经元与其输入层中的特征面进行局部连接。然后将该局部连接加权和传递给一个非线性函数即可获得卷积层中每个神经元的输出值。
以卷积神经网络的第i层为例进行详细的说明。对于每一个输入的三维模型的体素化矩阵,使用生成的Ki个随机权值矩阵当做卷积核相应的生成Ki个特征映射,每个特征图的大小为di×di×di。当输入层的i=1时,特征图的大小为di×di×di;当输入层的i>1时,特征图的大小为i-1层输出的特征图的大小。
随机生成归一化的权值(卷积核)矩阵W,卷积核大小是ci×ci×ci,即为
卷积过程中的第k个特征图对应的卷积核为:
当输入三维模型的体素化表示x时,第k个特征图的计算公式是其中*为卷积操作,其他层的特征图计算与之类似。
具体地,特征图进行降采样包括:
在卷积阶段结束之后需要对特征图进行降采样操作,降采样的功能主要有两点:(1)对特征图进行降维度;(2)在一定程度上保持特征的尺度不变特性。
本发明实施例运用Max Pooling方法对特征图进行降采样操作。Max Pooling是CNN模型中最常见的一种降采样操作,对于某个特征提取器抽取到若干特征值,只取其中得分最大的那个值作为Pooling层保留,其他特征值全部抛弃,值最大代表只保留这些特征中最强的,而抛弃其他弱的此类特征。
采用Max Pooling方法的好处:(1)这个操作可以保证特征的位置与旋转不变性,因为不论这个强特征在哪个位置出现,都会不考虑其出现位置而能把它提取来,对于图像处理来说这种位置与旋转不变性是很好的特性。(2)Max Pooling能减少模型参数数量,有利于减少模型过拟合问题。因为经过Pooling操作后,往往把2D或者1D的数组转换为单一数值,这样对于后续的全连接层隐层来说无疑单个特征提取器的参数或隐层神经元个数就减少了。
记第k个降采样的特征图为利用Max pooling降采样法进行特征图的降采样操作,其计算公式为
此处的Pooling为最大值降采样;其他层的降采样的特征图的计算与之类似。
自动编码机处理阶段可分为三个阶段:自动编码机特征映射阶段、自动编码机特征学习阶段、以及特征映射合并与测试阶段。
自动编码机特征映射阶段包括:
卷积特征映射阶段共生成了K个特征映射,每一个特征映射都拥有自己相应的自动编码机。
以其中第k个特征映射对应的第k个自动编码机为例进行说明,本发明实施例采用了仅含有单个隐含层的自动编码机,测试结果表明多隐含层的卷积网络不但增大了计算量,而且在性能上并无很大的提升。
设自动编码机的隐含层的神经元数目为L个,则隐含层的特征映射的计算公式为:
Hk=g(ak·pk+b),ak Tak=I,bk Tbk=1
式子中的ak=[ak1,…,akL]为输入层和隐含层之间的正交随机权值;bk=[bk1,…,bkL]为输入层和隐含层之间的正交随机偏置,最终生成随机的自动编码机神经元的初始权值。
自动编码机特征学习阶段包括:
记基于ELM(超限学习机)的第k个自动编码机在隐含层和输出层之间的输出权值为βk,它的作用为将输入的数据映射到自动编码机的特征空间中,计算公式为式子中的是正则化参数;Xk=[Pk1,…,PkN]为所有输入三维模型的体素化表示经过卷积特征映射阶段的输出。在这之后,自动编码机的输出不再与输入相同,取而代之的是将输入数据通过βk映射到特征空间而得到的特征映射HFinal-k,其计算公式为HFinal-k=βk TXk
最终得到最后一层网络和最终输出层之间的权值,从而完成整个训练过程。
特征映射合并和测试阶段可分为两个过程:特征映射合并阶段和特征映射测试阶段。
特征映射合并阶段包括:
基于卷积-自动编码机改良的神经网络的最后一层是传统的ELM(超限学习机)分类网络,该训练过程有监督训练的功能。合并所有K个自动编码机输出的特征映射,即为ELM(超限学习机)分类网络的输入矩阵HTotal=[HFinal-1,…,HFinal-K]。
根据超限学习机(ELM)的学习理论,分类网络的输出权重是式子中的T为输入数据的标签;是正则化参数。
特征映射测试阶段包括:
在本发明的测试过程中,使用训练好的权值矩阵和已经生成的随机权值,将测试三维模型的体素化表示通过整个学习网络进行特征提取,可以得到测试模型的特征映射HTest
最终,该输入三维模型的标签可通过计算HTestβT的最大值对应的标签序号获得。
在上述实施例的基础上,在所述将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征之后,还包括:
根据所述目标三维物体的几何特征,利用生成式对抗网络GAN算法生成所述目标三维物体的三维模型。
图2为本发明实施例提供的一种三维物体几何特征提取系统的结构框图,如图2所示,包括:骨干获取模块201、体素化矩阵获取模块202及几何特征输出模块203。其中:
骨干获取模块201用于根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点。体素化矩阵获取模块202用于将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵。几何特征输出模块203用于将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征。
具体地,系统还包括骨架曲线获取模块,用于根据所述目标三维物体的不规则情况,获取所述骨架曲线。
骨干获取模块201,具体用于:
根据所述骨架曲线两侧形状平均的对称化,获取所述骨架曲线的骨干和所述骨干一侧的节点。
体素化矩阵获取模块202,具体用于:
提取所述骨干到所述骨干一侧的节点所包含的区域内的多个三维模型;
对所述多个三维模型中的每个三维模型的表面和内部分别进行体素化,得到所述体素化矩阵。
几何特征输出模块203,具体用于:
将所述体素化矩阵输入所述基于超限学习机的卷积自动编码机网络中的卷积神经网络,输出对应的特征图,并对所述特征图进行降采样得到对应的特征映射的隐含特征;
将所述特征映射的隐含特征输入所述基于超限学习机的卷积自动编码机网络中的自动编码机,输出所述目标三维物体的几何特征。
系统还包括三维模型生成模块,用于根据所述目标三维物体的几何特征,利用生成式对抗网络GAN算法生成所述目标三维物体的三维模型。
本发明实施例提供的一种三维物体几何特征提取系统,在利用基于超限学习机的卷积自动编码机网络提取目标三维物体的几何特征之前,引入三维物体的骨架曲线并对骨架曲线进行预处理,再将处理得到的体素化矩阵作为基于超限学习机的卷积自动编码机网络的输入,进而完成对目标三维物体几何特征的提取,减少了基于超限学习机的卷积自动编码机网络中卷积神经网络阶段的卷积核数量,提取速度得到有效提高,同时提高了特征提取的准确度。
图3为本发明实施例提供的电子设备的结构示意图,如图3所示,电子设备包括:处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和总线304,其中,处理器301,通信接口302,存储器303通过总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令,以执行如下方法,例如包括:根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点;将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵;将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征。
上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点;将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵;将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的通信设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维物体几何特征提取方法,其特征在于,包括:
根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点;
将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵;
将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征。
2.根据权利要求1所述方法,其特征在于,在所述根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点之前,还包括:
根据所述目标三维物体的不规则情况,获取所述骨架曲线。
3.根据权利要求1所述方法,其特征在于,所述根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点,具体包括:
根据所述骨架曲线两侧形状平均的对称化,获取所述骨架曲线的骨干和所述骨干一侧的节点。
4.根据权利要求3所述方法,其特征在于,在所述根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干之后,还包括:
通过萤火虫算法对所述骨干进行优化。
5.根据权利要求1所述方法,其特征在于,所述将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵,具体包括:
提取所述骨干到所述骨干一侧的节点所包含的区域内的多个三维模型;
对所述多个三维模型中的每个三维模型的表面和内部分别进行体素化,得到所述体素化矩阵。
6.根据权利要求1所述方法,其特征在于,所述将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征,具体包括:
将所述体素化矩阵输入所述基于超限学习机的卷积自动编码机网络中的卷积神经网络,输出对应的特征图,并对所述特征图进行降采样得到对应的特征映射的隐含特征;
将所述特征映射的隐含特征输入所述基于超限学习机的卷积自动编码机网络中的自动编码机,输出所述目标三维物体的几何特征。
7.根据权利要求1所述方法,其特征在于,在所述将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征之后,还包括:
根据所述目标三维物体的几何特征,利用生成式对抗网络GAN算法生成所述目标三维物体的三维模型。
8.一种三维物体几何特征提取系统,其特征在于,包括:
骨干获取模块,用于根据目标三维物体的骨架曲线,获取所述骨架曲线的骨干和所述骨干一侧的节点;
体素化矩阵获取模块,用于将所述骨干到所述骨干一侧的节点所包含的区域进行体素化得到体素化矩阵;
几何特征输出模块,用于将所述体素化矩阵输入训练好的基于超限学习机的卷积自动编码机网络,输出所述目标三维物体的几何特征。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,处理器可以调用存储器中的逻辑指令,以执行如权利要求1至7任一项所述的三维物体几何特征提取方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7任一项所述的三维物体几何特征提取方法。
CN201811064686.5A 2018-09-12 2018-09-12 一种三维物体几何特征提取方法及系统 Active CN109359534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811064686.5A CN109359534B (zh) 2018-09-12 2018-09-12 一种三维物体几何特征提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811064686.5A CN109359534B (zh) 2018-09-12 2018-09-12 一种三维物体几何特征提取方法及系统

Publications (2)

Publication Number Publication Date
CN109359534A true CN109359534A (zh) 2019-02-19
CN109359534B CN109359534B (zh) 2021-02-09

Family

ID=65351036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811064686.5A Active CN109359534B (zh) 2018-09-12 2018-09-12 一种三维物体几何特征提取方法及系统

Country Status (1)

Country Link
CN (1) CN109359534B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069656A (zh) * 2019-03-28 2019-07-30 天津大学 一种基于生成对抗网络的二维图片检索三维模型的方法
CN112185477A (zh) * 2020-09-25 2021-01-05 北京望石智慧科技有限公司 分子特征的提取及三维定量构效关系的计算方法及装置
CN112444784A (zh) * 2019-08-29 2021-03-05 北京市商汤科技开发有限公司 三维目标检测及神经网络的训练方法、装置及设备
US11741728B2 (en) 2020-04-15 2023-08-29 Toyota Research Institute, Inc. Keypoint matching using graph convolutions
CN116662628A (zh) * 2023-08-01 2023-08-29 南京航空航天大学 一种基于复杂薄壁零件的三维cad模型检索方法
CN116704267A (zh) * 2023-08-01 2023-09-05 成都斐正能达科技有限责任公司 一种基于改进yolox算法的深度学习3d打印缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030193838A1 (en) * 2002-04-12 2003-10-16 Exxonmobil Upstream Research Company Method for morphologic analysis of seismic objects
CN101488226A (zh) * 2008-01-16 2009-07-22 中国科学院自动化研究所 基于单次三维激光扫描的树木测量和重建方法
CN101719140A (zh) * 2009-12-23 2010-06-02 中山大学 一种图形检索方法
CN101763652A (zh) * 2009-06-03 2010-06-30 中国科学院自动化研究所 一种基于分叉特征的三维骨架快速提取方法
CN103236079A (zh) * 2013-04-19 2013-08-07 浙江理工大学 一种基于三维模型体素化的内部球改进构造方法
CN108182475A (zh) * 2017-12-29 2018-06-19 中南大学 一种基于自动编码机-超限学习机的多维度数据特征识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030193838A1 (en) * 2002-04-12 2003-10-16 Exxonmobil Upstream Research Company Method for morphologic analysis of seismic objects
CN101488226A (zh) * 2008-01-16 2009-07-22 中国科学院自动化研究所 基于单次三维激光扫描的树木测量和重建方法
CN101763652A (zh) * 2009-06-03 2010-06-30 中国科学院自动化研究所 一种基于分叉特征的三维骨架快速提取方法
CN101719140A (zh) * 2009-12-23 2010-06-02 中山大学 一种图形检索方法
CN103236079A (zh) * 2013-04-19 2013-08-07 浙江理工大学 一种基于三维模型体素化的内部球改进构造方法
CN108182475A (zh) * 2017-12-29 2018-06-19 中南大学 一种基于自动编码机-超限学习机的多维度数据特征识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENG LI,AND ETC: "AN EFFICIENT 2D TO 3D VIDEO CONVERSION METHOD BASED ON SKELETON", 《2009 3DTV CONFERENCE: THE TRUE VISION - CAPTURE, TRANSMISSION AND DISPLAY OF 3D VIDEO》 *
谢智歌等: "基于卷积-自动编码机的三维形状特征学习", 《计算机辅助设计与图形学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069656A (zh) * 2019-03-28 2019-07-30 天津大学 一种基于生成对抗网络的二维图片检索三维模型的方法
CN110069656B (zh) * 2019-03-28 2023-03-31 天津大学 一种基于生成对抗网络的二维图片检索三维模型的方法
CN112444784A (zh) * 2019-08-29 2021-03-05 北京市商汤科技开发有限公司 三维目标检测及神经网络的训练方法、装置及设备
CN112444784B (zh) * 2019-08-29 2023-11-28 北京市商汤科技开发有限公司 三维目标检测及神经网络的训练方法、装置及设备
US11741728B2 (en) 2020-04-15 2023-08-29 Toyota Research Institute, Inc. Keypoint matching using graph convolutions
CN112185477A (zh) * 2020-09-25 2021-01-05 北京望石智慧科技有限公司 分子特征的提取及三维定量构效关系的计算方法及装置
CN112185477B (zh) * 2020-09-25 2024-04-16 北京望石智慧科技有限公司 分子特征的提取及三维定量构效关系的计算方法及装置
CN116662628A (zh) * 2023-08-01 2023-08-29 南京航空航天大学 一种基于复杂薄壁零件的三维cad模型检索方法
CN116704267A (zh) * 2023-08-01 2023-09-05 成都斐正能达科技有限责任公司 一种基于改进yolox算法的深度学习3d打印缺陷检测方法
CN116704267B (zh) * 2023-08-01 2023-10-27 成都斐正能达科技有限责任公司 一种基于改进yolox算法的深度学习3d打印缺陷检测方法
CN116662628B (zh) * 2023-08-01 2023-11-10 南京航空航天大学 一种基于复杂薄壁零件的三维cad模型检索方法

Also Published As

Publication number Publication date
CN109359534B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN109359534A (zh) 一种三维物体几何特征提取方法及系统
Jiang et al. MLVCNN: Multi-loop-view convolutional neural network for 3D shape retrieval
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
Mukhometzianov et al. CapsNet comparative performance evaluation for image classification
CN109977232B (zh) 一种基于力导图的图神经网络可视分析方法
Xie et al. Point clouds learning with attention-based graph convolution networks
WO2020063527A1 (zh) 基于多特征检索和形变的人体发型生成方法
US5179643A (en) Method of multi-dimensional analysis and display for a large volume of record information items and a system therefor
CN109118564A (zh) 一种基于融合体素的三维点云标记方法和装置
CN109492666A (zh) 图像识别模型训练方法、装置及存储介质
CN109165540B (zh) 一种基于先验候选框选择策略的行人搜索方法和装置
CN108319957A (zh) 一种基于超点图的大规模点云语义分割方法
CN107122396A (zh) 基于深度卷积神经网络的三维模型检索算法
CN105930382A (zh) 一种用2d图片搜索3d模型的方法
CN105354593B (zh) 一种基于nmf的三维模型分类方法
CN104392253B (zh) 一种草图数据集的交互式类别标注方法
CN111738355B (zh) 注意力融合互信息的图像分类方法、装置及存储介质
CN106537422A (zh) 用于捕获信息内的关系的系统和方法
CN110287873A (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
CN105243139A (zh) 一种基于深度学习的三维模型检索方法及其检索装置
CN109582782A (zh) 一种基于用弱监督深度学习的文本聚类方法
Mortara et al. Semantics-driven best view of 3D shapes
CN112949647A (zh) 三维场景描述方法、装置、电子设备和存储介质
CN112308115A (zh) 一种多标签图像深度学习分类方法及设备
CN104751463B (zh) 一种基于草图轮廓特征的三维模型最佳视角选取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB03 Change of inventor or designer information

Inventor after: Qu Haiping

Inventor after: Liu Shixin

Inventor before: Qu Haiping

Inventor before: Liu Shixin

Inventor before: Tian Shengwen

Inventor before: Zhang Zhiwang

Inventor before: Zhou Chunjie

Inventor before: Cui Guanghai

CB03 Change of inventor or designer information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and system for extracting geometric features of 3D objects

Effective date of registration: 20211216

Granted publication date: 20210209

Pledgee: Yantai financing guarantee Group Co.,Ltd.

Pledgor: LUDONG University

Registration number: Y2021980015152

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220317

Granted publication date: 20210209

Pledgee: Yantai financing guarantee Group Co.,Ltd.

Pledgor: LUDONG University

Registration number: Y2021980015152

PC01 Cancellation of the registration of the contract for pledge of patent right
TR01 Transfer of patent right

Effective date of registration: 20221128

Address after: 100089 No. 258, second floor, building 3, Xisanqi building materials City, Haidian District, Beijing

Patentee after: Beijing Zhongke Haixin Technology Co.,Ltd.

Address before: 264025 No. 186 Hongqi Middle Road, Zhifu District, Shandong, Yantai

Patentee before: LUDONG University

TR01 Transfer of patent right