CN113792859B - 一种无监督形状对应方法及人体形状对应方法 - Google Patents

一种无监督形状对应方法及人体形状对应方法 Download PDF

Info

Publication number
CN113792859B
CN113792859B CN202111069850.3A CN202111069850A CN113792859B CN 113792859 B CN113792859 B CN 113792859B CN 202111069850 A CN202111069850 A CN 202111069850A CN 113792859 B CN113792859 B CN 113792859B
Authority
CN
China
Prior art keywords
shape
matrix
operator
laplacian
truncated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111069850.3A
Other languages
English (en)
Other versions
CN113792859A (zh
Inventor
刘圣军
徐浩钧
李钦松
胡玲
刘新儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202111069850.3A priority Critical patent/CN113792859B/zh
Publication of CN113792859A publication Critical patent/CN113792859A/zh
Application granted granted Critical
Publication of CN113792859B publication Critical patent/CN113792859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无监督形状对应方法，包括获取训练数据和测试数据，生成数据集；对数据集进行预处理；采用特征提取网络对预处理后的数据集进行特征提取；采用针对泛函数的谱流形小波约束优化，得到形状对应的概率密度矩阵，生成初始形状对应模型；提出作用于形状对应网络的无监督损失函数；生成最终形状对应模型；将初始三维形状发送到最终形状对应模型，生成带有初始三维形状特征信息的三维形状模型。本发明，精度高，速度快。并进一步提升了使用深度学习的形状对应算法的准确率，输出形状更加鲁棒。提出的无监督损失函数不需要网络额外的输入或者预先计算其他信息，大大提升了效率。

Description

一种无监督形状对应方法及人体形状对应方法
技术领域
本发明属于计算机图形处理领域，具体涉及一种无监督形状对应方法及人体形状对应方法。
背景技术
形状对应是计算机视觉和图形(增强/虚拟现实)应用程序的核心。例如，在三维动画、游戏、虚拟现实技术设计制作过程中，同一个三维模型会随着进程推进发生姿态变化(包括站立、下蹲、跑跳等)，产生一批纹理、颜色等近似但姿态各不相同的三维模型。相较于二维图像，对每个三维模型逐一设计纹理颜色过于复杂。形状对应可以将初始三维模型的纹理、颜色等设计信息，进行对应并迁移到其他三维模型上。
多年来，针对形状对应提出了许多不同的解决方案。其中，经典方法大多依靠手工特征，集中于利用输入曲面的几何信息建立对应关系。然而，对于这些特定的任务，找到最优的特征组合并非易事，因为它们需要更多的专业知识。随着机器学习的巨大成功，应用数据驱动的神经网络来获得更广义的形状对应特征是一种趋势。近年来最具影响力的方法FMNet，该框架确定了一个泛函映射，将平方可积函数的空间映射到各自的形状上，然后从泛函映射中恢复高质量的点态对应。FMNet方法最吸引人的性质是能找到对应，并将对应归结为确定一个小的函数映射矩阵，能够对形状上定义的基函数之间的关系进行编码。但是，FMNet方法在很大程度上依赖于人工预选描述符的质量。
因此，虽然监督学习方法已经取得了很大的成功，但是现有的学习方法仍存在以下不足:(1)泛函映射优化复杂或优化并不能有力保证其等距性；(2)现有的无监督损失函数要么计算昂贵(如测地线距离)，要么不能充分编码多尺度几何信息。这些都会极大地影响时间效率和通信精度，以及计算机的运算速度。
发明内容
本发明的目的之一在于提供一种无监督形状对应方法，该方法能够对三维模型进行准确地形状对应。
本发明的目的之二在于还提供一种基于上述无监督形状对应方法的人体形状对应方法。
本发明提供的这种无监督形状对应方法，包括如下步骤：
S1.获取训练数据和测试数据，生成数据集；
S2.对数据集进行预处理；
S3.采用特征提取网络对预处理后的数据集进行特征提取；
S4.采用针对特征描述子的谱流形小波变换的约束优化，得到形状对应的概率密度矩阵，生成初始形状对应的网络；
S5.提出作用于形状对应网络的无监督损失函数；
S6.将无监督损失函数对初始形状对应的网络进行收敛，生成最终形状对应的网络；
S7.将一对三维形状发送到最终形状对应模型，将第一形状的信息迁移到第二形状。
所述的步骤S1，选用人类基准数据集FAUST和SCAPE进行测试。
所述的步骤S2，对数据集中每一个人体模型进行预处理：计算352维SHOT特征描述子，包括计算数据集中每一个人体模型的拉普拉斯贝尔特拉米算子的前k项截断的特征值和特征向量；对于小波函数，选择Meyer小波作为滤波器，设置小波尺度数s。
所述的步骤S3中，特征提取网络由一组权值共享的双层全连接网络构成；由于双层全连接网络共享权重且上下两层网络完全相同，其中一层的结构如下，另一层的网络结构相同：
第一层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第二层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第三层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第四层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第五层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第六层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第七层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算。
所述的步骤S4包括如下步骤：
A1.生成谱流形小波约束优化，并通过求解获得泛函映射系数矩阵C；
A2.定义第一形状和第二形状间对应的概率密度矩阵。
所述的步骤A1，谱流形小波约束优化表示为：
Figure GDA0003563607340000031
其中，
Figure GDA0003563607340000032
为第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵；
Figure GDA0003563607340000033
为第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵；
泛函映射系数矩阵C为：
Figure GDA0003563607340000034
其中，M表示特征提取后的第一形状；N表示特征提取后的第二形状；s为小波尺度数；Λ＝{λ1,λ2,...,λk}，表示拉普拉斯贝尔特拉米算子的前k项截断的特征值；ΛM表示包含第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值；ΛN表示第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；
计算第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵
Figure GDA0003563607340000035
计算第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵
Figure GDA0003563607340000036
对第一形状的特征描述子矩阵和第二形状的特征描述子矩阵的每一项，执行多尺度谱流形小波变换，根据如下等式：
Figure GDA0003563607340000037
其中，s表示小波尺度数；y表示小波变换作用的位置；Wf(s,y)表示特征描述子经过小波变换后的系数矩阵；f表示特征描述子；φs,y表示关于第一形状的拉普拉斯贝尔特米算子的特征函数；<·,·>M表示特征提取后的第一形状M的内积；g(sλi)表示小波的滤波器；φi表示拉普拉斯贝尔特拉米算子的前k项截断的特征值；拉普拉斯贝尔特拉米算子的前k项截断的特征值表示为Λ＝{λ1,λ2,...,λn}，并得到如下矩阵：
Figure GDA0003563607340000038
Figure GDA0003563607340000039
其中，s表示小波尺度数；M表示特征提取后的第一形状；N表示特征提取后的第二形状；WM,s表示第一形状的原始滤波结果；WN,s表示第二形状的原始滤波结果；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；求第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵
Figure GDA0003563607340000041
求第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵
Figure GDA0003563607340000042
Figure GDA0003563607340000043
Figure GDA0003563607340000044
其中，s表示小波尺度数；M表示特征提取后的第一形状；N表示特征提取后的第二形状；WM,s表示第一形状的原始滤波结果；WN,s表示第二形状的原始滤波结果；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；
计算泛函映射系数矩阵C：
设
Figure GDA0003563607340000045
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；将谱流形小波约束优化表示为：
Figure GDA0003563607340000051
其中，s表示小波尺度数，s∈S＝{s1,s2,...}表示小波尺度数的多个离散；C为泛函映射系数矩阵；
Figure GDA0003563607340000052
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；同时得到一个解析解：
Figure GDA0003563607340000053
其中，s表示小波尺度数；C为泛函映射系数矩阵；
Figure GDA0003563607340000054
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；设
Figure GDA0003563607340000055
矩阵C*为
Figure GDA0003563607340000056
的解，求得泛函映射系数矩阵C。
所述的步骤A2，第一形状和第二形状间对应的概率密度矩阵：
Figure GDA0003563607340000057
其中，ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵。
所述的步骤S5，无监督损失函数l(M,N)具体为：
Figure GDA0003563607340000061
其中，M表示特征提取后的第一形状；N表示特征提取后的第二形状；
Figure GDA0003563607340000062
ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；Q为第一形状和第二形状间对应的概率密度矩阵P的平方。
本发明还提供了一种基于上述无监督形状对应方法的人体形状对应方法，包括如下步骤：
B1.获取人体训练数据和测试数据，生成人体形状数据集；
B2.对人体形状数据集进行预处理；
B3.采用特征提取网络对预处理后的人体形状数据集进行特征提取；
B4.采用针对泛函数的谱流形小波约束优化，得到人体形状对应的概率密度矩阵，生成初始人体形状对应模型；
B5.提出作用于人体形状对应网络的无监督损失函数；
B6.将无监督损失函数对初始人体形状对应模型进行收敛，生成最终人体形状对应模型；
B7.将一对人体测试形状发送到最终人体形状对应模型，将第一三维人体测试形状的信息迁移到第二三维人体测试形状。
本发明提供的这种无监督形状对应方法及人体形状对应方法，提出了一种无监督形状对应的方式，精度高，速度快。并提出了一种泛函映射的优化方法，该方法充分利用了小波优良特性。同时本方法所建立的无监督形状对应的方式进一步提升了使用深度学习的形状对应算法的准确率，输出形状更加鲁棒。提出的无监督损失函数不需要网络额外的输入或者预先计算其他信息，所有参数均可以由GPU加速计算，与其他无监督方法相比大大提升了效率。
附图说明
图1为本发明方法的流程示意图。
图2为本发明实施例的谱流形小波的等距变形不变性和谱滤波器示意图。
图3为本发明实施例的无监督网络示例图。
图4为本发明实施例的SCAPE重网格形状的定性示意图。
具体实施方式
如图1为本发明方法的流程示意图：本发明提供的这种无监督形状对应方法，包括如下步骤：
S1.获取训练数据和测试数据，生成数据集；
S2.对数据集进行预处理；
S3.采用特征提取网络对预处理后的数据集进行特征提取；
S4.采用针对特征描述子的谱流形小波变换的约束优化，得到形状对应的概率密度矩阵，生成初始形状对应的网络；
S5.提出作用于形状对应网络的无监督损失函数；
S6.将无监督损失函数对初始形状对应的网络进行收敛，生成最终形状对应的网络；
S7.将一对三维形状发送到最终形状对应模型，将第一形状的信息迁移到第二形状。
所述的步骤S1，包括选用人类基准数据集FAUST和SCAPE进行测试。在本实施例中，FAUST数据集总共包含100个人体模型，由10个人摆出10个相同的姿势组成的。SCAPE数据集总共包含71个人体模型，由同一个人的不同姿势组成；分别在SCAPE和FAUST数据集中使用前80个和51个形状进行训练，最后20个形状进行测试。
由于数据集中的形状具有相同的顶点数和连通性，考虑到实际情况，一种优秀的对应方法能够对输入数据鲁棒。重采样版本的FAUST和SCAPE数据集的改进，数据集中的顶点数量和形状的连接性不一致。因此，使用更真实、更困难的重采样数据集作为实验的基准数据。其中每个形状都用大约5千个顶点重新划分。
所述的步骤S2，包括对数据集中每一个人体模型(在本实施例中为人体模型)进行预处理，计算352维SHOT特征描述子，包括计算数据集中每一个人体模型的拉普拉斯贝尔特拉米算子的前k项截断的特征值和特征向量；对于小波函数，选择Meyer小波作为滤波器，其尺度数s设置为6。
所述的步骤S3，特征提取网络由一组权值共享的双层全连接网络构成，为了保证特征的完整性，每一层中包含一个加法运算，网络的输入是一对数据集中人体模型的352维SHOT特征描述子。由于双层全连接网络共享权重且上下两层网络完全相同，因此，只列举其中一层网络的结构，另一层网络结构相同：
第一层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第二层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第三层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第四层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第五层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第六层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第七层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；
所述的步骤S4，包括为了得到理想的函数映射，现有的大多数工作都是解决一个优化问题
Figure GDA0003563607340000081
或者在之后加上一定的正则项；其中，C表示泛函映射系数矩阵；
Figure GDA0003563607340000082
表示人体模型通过步骤S3获得的特征F在拉普拉斯贝尔特米基空间这种的投影的系数矩阵；
Figure GDA0003563607340000083
表示人体模型通过S3步骤获得的特征G在拉普拉斯贝尔特米基空间中的投影的系数矩阵，具体为
Figure GDA0003563607340000084
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；第一形状和第二形状在本实施例中为设定的人体模型；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵。
然而，这些对泛函映射系数矩阵C的约束求解仍然不能有力地保证函数映射的等距不变性，但自然界的绝大多数形变却是等距或近似等距的。针对这个问题，采用一种新的可微思路来计算泛函映射系数矩阵C。受谱流形小波强大的信号分析能力及其等距不变性的启发，利用多尺度谱流形小波对S3中通过特征提取模块获得的352维SHOT特征描述子施加多尺度谱流形小波变换，使得352维SHOT特征描述子继承了等距不变性，这导致结果相应地由泛函映射保留，而不是只使用特征提取模块获得的描述符求解泛函映射，为了简便计算，讨论离散设置：
通过步骤S3特征提取模块获得的特征提取后的第一形状M的特性描述子矩阵记为F；通过步骤S4特征提取模块获得的特征提取后的第二形状N的特征描述子矩阵记为G，本方法首先对它们的每一列执行多尺度谱流形小波变换。根据等式
Figure GDA0003563607340000091
其中，s表示小波尺度数；y表示小波变换作用的位置；Wf(s,y)表示特征描述子经过小波变换后的系数矩阵；f表示特征描述子；φs,y表示关于第一形状M的拉普拉斯贝尔特米算子的特征函数；<·,·>M表示特征提取后的第一形状M的内积；g(sλi)表示小波的滤波器；φi表示拉普拉斯贝尔特拉米算子的前k项截断的特征值；拉普拉斯贝尔特拉米算子的前k项截断的特征值表示为Λ＝{λ1,λ2,...,λn}，并得到如下矩阵：
Figure GDA0003563607340000092
Figure GDA0003563607340000093
其中，s表示小波尺度数；M表示特征提取后的第一形状；N表示特征提取后的第二形状；WM,s表示第一形状的原始滤波结果；WN,s表示第二形状的原始滤波结果；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；拉普拉斯贝尔特拉米算子的等距不变的特性可以完全由谱流形小波继承。因此，矩阵WM,s可以作为原始特征的滤波结果，通过泛函映射可以很好地保持在第二形状N上。使用WM,s和WN,s作为后续操作的新特征，这将有效地保证映射的等距不变性。为此，首先需要得到它们在ΦM和ΦN基下的系数矩阵；求第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵
Figure GDA0003563607340000101
求第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵
Figure GDA0003563607340000102
Figure GDA0003563607340000103
Figure GDA0003563607340000104
其中，s表示小波尺度数；M表示特征提取后的第一形状；N表示特征提取后的第二形状；WM,s表示第一形状的原始滤波结果；WN,s表示第二形状的原始滤波结果；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵。
此时，优化问题转变为
Figure GDA0003563607340000105
其中，
Figure GDA0003563607340000106
为第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵；
Figure GDA0003563607340000107
为第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵。同时，在目标函数中使用了尺度参数s的多个离散值，在s∈S＝{s1,s2,...}。这意味着泛函映射能够保留输入的每个频带频率信息，充分保证泛函映射系数矩阵C的等距变形不变性。设
Figure GDA0003563607340000108
Figure GDA0003563607340000109
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；将谱流形小波约束优化表示为：
Figure GDA0003563607340000111
其中，s表示小波尺度数，s∈S＝{s1,s2,...}表示小波尺度数的多个离散；C为泛函映射系数矩阵；
Figure GDA0003563607340000112
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；上式是线性的，实际上有一个解析解
Figure GDA0003563607340000113
其中，s表示小波尺度数；C为泛函映射系数矩阵；
Figure GDA0003563607340000114
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器。
由于涉及到一个大的线性方程组，直接找到满足以上所有条件的泛函映射系数矩阵C仍然不是一个简单的任务。然而，如果使用合适的滤波器，更具体地说，如果小波可以形成流形函数空间的紧框架，通过避免求解这样一个大的线性方程组，可以显著降低泛函映射系数矩阵C的计算复杂度。为了达到这个目的，本方法在上式的左右两侧乘
Figure GDA0003563607340000115
Figure GDA0003563607340000116
和g(sΛM)，那么有
Figure GDA0003563607340000121
其中，s表示小波尺度数；C为泛函映射系数矩阵；
Figure GDA0003563607340000122
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；因所用的Meyer小波滤波器为紧框架小波，
Figure GDA0003563607340000123
实际上是一个单位矩阵I，设
Figure GDA0003563607340000124
矩阵C*为
Figure GDA0003563607340000125
的解，求得泛函映射系数矩阵C为：
Figure GDA0003563607340000126
其中，M表示特征提取后的第一形状；N表示特征提取后的第二形状；s为小波尺度数；Λ＝{λ1,λ2,...,λn}，表示拉普拉斯贝尔特拉米算子的前k项截断的特征值；ΛM表示包含第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值；ΛN表示第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；该方法仅依赖于矩阵和向量的乘积，整体的求解可以看作是一个线性过程，大大降低了计算复杂度，提高了计算效率。
最后，第一形状和第二形状间对应的概率密度矩阵定义为：
Figure GDA0003563607340000127
其中，ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵。
所述的步骤S5，包括以前的工作大多使用基于测地距离的无监督损失函数来寻找等距映射。这其中使用了Frobenius范数，这意味着在某一点上一个较大的误差值对损失函数的影响要比一组较小的误差值的和还要大得多。对于一个点，近点的测地距离小，远点的测地距离大。当远点发生畸变时，造成的影响远大于一组近点引起的影响之和。这与初衷背道而驰。
针对上述问题，本方法设计了一种新的无监督损失函数。其主要思想是用多尺度谱流形小波代替测地距离。小波是局部支持的，在定位点和相邻点的值较大，而在远点的值较小。在这种情况下，远端较大的异常值无法控制损失。同时，为了保持映射等矩形变不变的完备性，本方法对不同尺度参数的小波进行了聚合，而不是仅仅使用单一尺度。无监督损失函数l(M,N)具体为：
Figure GDA0003563607340000131
其中，M表示特征提取后的第一形状；N表示特征提取后的第二形状；小波函数
Figure GDA0003563607340000132
ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；Q为第一形状和第二形状间对应的概率密度矩阵P的平方。
无监督损失函数l(M,N)可以很容易地添加到网络中，并由GPU加速。这意味着本方法在损失函数模块不需要任何额外的预计算或输入。与现有损失函数相比，除了提高了通信精度外，还大大提高了网络的运算速度，降低了对主存的要求。
本发明还提供了一种基于上述无监督形状对应方法的人体形状对应方法，包括如下步骤：
B1.获取人体训练数据和测试数据，生成人体形状数据集；
B2.对人体形状数据集进行预处理；
B3.采用特征提取网络对预处理后的人体形状数据集进行特征提取；
B4.采用针对泛函数的谱流形小波约束优化，得到人体形状对应的概率密度矩阵，生成初始人体形状对应模型；
B5.提出作用于人体形状对应网络的无监督损失函数；
B6.将无监督损失函数对初始人体形状对应模型进行收敛，生成最终人体形状对应模型；
B7.将一对人体测试形状发送到最终人体形状对应模型，将第一三维人体测试形状的信息迁移到第二三维人体测试形状。
所述的步骤B1，选用人类基准数据集FAUST和SCAPE进行测试。
所述的步骤B2，对数据集中每一个人体模型进行预处理：计算352维SHOT特征描述子，包括计算数据集中每一个人体模型的拉普拉斯贝尔特拉米算子的前k项截断的特征值和特征向量；对于小波函数，选择Meyer小波作为滤波器，设置小波尺度数s。
所述的步骤B3中，特征提取网络由一组权值共享的双层全连接网络构成；由于双层全连接网络共享权重且上下两层网络完全相同，其中一层的结构如下，另一层的网络结构相同：
第一层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第二层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第三层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第四层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第五层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第六层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第七层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算。
所述的步骤B4包括如下步骤：
A1.生成谱流形小波约束优化，并通过求解获得泛函映射系数矩阵C；
A2.定义第一形状和第二形状间对应的概率密度矩阵。
所述的步骤A1，谱流形小波约束优化表示为：
Figure GDA0003563607340000141
其中，
Figure GDA0003563607340000142
为第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵；
Figure GDA0003563607340000143
为第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵；
泛函映射系数矩阵C为：
Figure GDA0003563607340000151
其中，M表示特征提取后的第一形状；N表示特征提取后的第二形状；s为小波尺度数；Λ＝{λ1,λ2,...,λn}，表示拉普拉斯贝尔特拉米算子的前k项截断的特征值；ΛM表示包含第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值；ΛN表示第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；
计算第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵
Figure GDA0003563607340000152
计算第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵
Figure GDA0003563607340000153
对第一形状的特征描述子矩阵和第二形状的特征描述子矩阵的，每一项执行多尺度谱流形小波变换，根据如下等式：
Figure GDA0003563607340000154
其中，s表示小波尺度数；y表示小波变换作用的位置；Wf(s,y)表示特征描述子经过小波变换后的系数矩阵；f表示特征描述子；φs,y表示关于第一形状M的拉普拉斯贝尔特米算子的特征函数；<·,·>M表示特征提取后的第一形状M的内积；g(sλi)表示小波的滤波器；φi表示拉普拉斯贝尔特拉米算子的前k项截断的特征值；拉普拉斯贝尔特拉米算子的前k项截断的特征值表示为Λ＝{λ1,λ2,...,λk}，并得到如下矩阵：
Figure GDA0003563607340000155
Figure GDA0003563607340000156
其中，s表示小波尺度数；M表示特征提取后的第一形状；N表示特征提取后的第二形状；WM,s表示第一形状的原始滤波结果；WN,s表示第二形状的原始滤波结果；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；求第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵
Figure GDA0003563607340000161
求第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵
Figure GDA0003563607340000162
Figure GDA0003563607340000163
Figure GDA0003563607340000164
其中，s表示小波尺度数；M表示特征提取后的第一形状；N表示特征提取后的第二形状；WM,s表示第一形状的原始滤波结果；WN,s表示第二形状的原始滤波结果；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；
计算泛函映射系数矩阵C：
设
Figure GDA0003563607340000165
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；将谱流形小波约束优化表示为：
Figure GDA0003563607340000166
其中，s表示小波尺度数，s∈S＝{s1,s2,...}表示小波尺度数的多个离散；C为泛函映射系数矩阵；
Figure GDA0003563607340000167
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；同时得到一个解析解：
Figure GDA0003563607340000171
其中，s表示小波尺度数；C为泛函映射系数矩阵；
Figure GDA0003563607340000172
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；
经过数学变换后得到：
Figure GDA0003563607340000173
其中，s表示小波尺度数；C为泛函映射系数矩阵；
Figure GDA0003563607340000174
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；设
Figure GDA0003563607340000181
矩阵C*为
Figure GDA0003563607340000182
的解，求得泛函映射系数矩阵C：
Figure GDA0003563607340000183
所述的步骤A2，第一形状和第二形状间对应的概率密度矩阵：
Figure GDA0003563607340000184
其中，ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵。
所述的步骤B5，无监督损失函数l(M,N)具体为：
Figure GDA0003563607340000185
其中，M表示特征提取后的第一形状；N表示特征提取后的第二形状；
Figure GDA0003563607340000186
ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；Q为第一形状和第二形状间对应的概率密度矩阵P的平方。
具体实施方式如下：
本实施例所提供的无监督形状对应方法，基于谱流形小波的局域性、多尺度特征和等距形变不变性等显著特征，提出了一种新的高效的无监督深度函数映射框架。首先，设计了一个更高效、更简单的约束来优化功能图。与现有技术中仅使用原始描述子作为保存约束不同，本方法的框架要求对经过特征提取模块的得到的描述函数进行多尺度谱小波变换，然后将变换结果作为约束条件对泛函映射的系数矩阵进行优化。由于谱图小波变换强大的信号分析能力，这种策略能够利用更多的描述子的等距特性，并强保证底层点态映射的等距特性。同时，本方法没有使用其他方法来规范映射的整体结构属性。这使得本方法的功能图优化过程比那些结合复杂正则化器的优化过程简单得多。其次，本方法还使用谱流行小波为本方法的管道设计了一个新的无监督损失函数。由于谱流行小波可以对点之间的多尺度固有距离进行编码，因此，本方法将其作为对应质量的标准。这比现有无监督方法中使用的测地线距离更具几何信息量和效率。因此，本方法可以在多个数据集上获得更先进的通信质量和更高的时间效率。
本实施例的具体实时方式如下：本方法基于具有优良性质的谱流形小波，如图2为本发明实施例的谱流形小波的等距变形不变性和谱滤波器示意图。图2a中展示了谱流形小波的等距变换不变性质，在两种不同姿态(等距变形)的人体上演示了几对多尺度谱流形小波。每个小波对分别位于点(顶部行)及其等距地图图像(第二行)。很明显，谱流形小波是等距变形不变的。图2b展示本方法所选Meyer小波的紧框架性。展示了它们的多尺度光谱滤波器，其中G(λ)＝∑sg(sλ)2≡1，其中，s表示小波尺度数；G(λ)为所有滤波器的平方和；g(sλ)表示s尺度下的滤波器；相应的小波可以形成一个紧框架。
如图3为本发明实施例的无监督网络示意图，具体可分为3个部分即特征提取模块、针对泛函映射的谱小波约束优化模块和损失函数模块。一对SHOT描述符通过权值共享的全连接网络，提出小波优化WavFM块，得到一个等距泛函矩阵C之后根据C计算出一对模型之间的对应概率密度矩阵。最后，使用提出的基于谱流形小波的无监督损失函数作为网络的损失函数。
所述特征提取模块由一组权值共享的双层全连接网络构成，为了保证特征的完整性，每一层中包含一个加法运算，网络的输入是一对数据集中的人体模型的352维SHOT特征描述子。由于双层全连接网络共享权重且上下两层网络完全相同，因此，只列举其中一层的结构，如下：
第一层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第二层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第三层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第四层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第五层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第六层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第七层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；
之后利用多尺度谱流形小波对通过上述特征提取模块获得的描述子施加多尺度谱流形小波变换，使得描述子自然而然的继承了等距不变性，这导致结果相应地由泛函映射保留，而不是像以前的方法那样只使用特征提取模块获得的描述符求解泛函映射。通过步骤S4-S5，将整体的求解可以看作是一个线性过程，大大降低了计算复杂度，提高了计算效率。最后，第一形状和第二形状间对应的概率密度矩阵为
Figure GDA0003563607340000201
同时本方法在损失函数模块不需要任何额外的预计算或输入。与测地距离损失函数相比，除了提高了通信精度外，还大大提高了网络的运算速度，降低了对主存的要求。
实验配置：本方法实验所用的软件版本为Ubuntu16. 04 x64+Windows10 x64+CUDA 9.0+cuDNN 7.1+TensorFlow 1.12.0+Python 3.7.4实现的，硬件为NVIDIA GeForceGTX 1080Ti GPU(11G)。在实验中，本方法使用352维SHOTs作为输入，Adam优化器对所有训练的初始学习率为0.001。对于每个形状，预先计算LBO的前230个特征值和特征函数，并选择Meyer小波作为滤波器，其尺度数s设为6。
对应性能：本方法选用人类基准数据集FAUST和SCAPE进行测试。具体来说，FAUST数据集总共包含100个人体模型，由10个人摆出10个相同的姿势组成的。SCAPE数据集总共包含71个人体模型，由同一个人的不同姿势组成。本方法分别在SCAPE和FAUST数据集中使用前80个和51个形状进行训练，最后20个形状进行测试。为了更好的体现本方法的性能，所有实验均在更具有挑战的重网格版本的数据集上进行，相较于原始数据集，重网格版本的数据集没有一致的连接关系和顶点数。
表1在基准数据集上训练和测试时的匹配精度，表中的数字为平均测地误差(％)，训练集-测试集
方法 F-F S-S F-S S-F
Unsup FMNet 9.5378 3.5205 19.57 12.5045
SURFMNet 10.7325 6.5676 22.1546 17.79
FMNet 6.7425 20.6545 31.2759 26.5066
Weakly sup 2.2108 4.9047 13.8632 10.9614
GeomFmaps 2.017 3.4491 6.7901 2.5678
Ours 1.1317 1.3234 3.3186 5.0763
表1显示了本方法在基准数据集上训练和测试时的匹配精度，并与目前最先进的学习方法进行了比较。在这里，err为平均测地线误差。很明显，该方法优于现有技术，与现有监督方法相比。该方法在不进行后处理的情况下，可以取得较好的效果，是最有效的方法。
其中，Unsup FMNet、SURFMNet、FMNet、Weakly sup和GeomFmaps为不同的现有技术，Ours表示本发明方法。
如图4为本发明实施例的SCAPE重网格形状的定性示意图。Source展示了一个来自SCAPE重网格数据集的例子，其中网络在FAUST重网格数据集上训练，其中源和目标形状有不同的表面离散化。在FAUST重网格集合上进行训练，并在SCAPE重网格数据集上测试，并比较不同方法获得的映射的质量。从图中可以看出，本方法可以得到比现有技术更优的对应。本方法的结果在挑战性的测试中仍然是最平稳的，这正是等距特性的有力保证。在训练过程中，GeoFMNet可以使用手指等标签来帮助消除固有的对称模糊性。然而，由于数据集的差异，在测试过程中不存在该信息，导致手臂区域对应相反。
通过实施例得出本发明提出一种新的无监督形状对应的方式，具有：对应精度高，速度快的特点。并提出了一种泛函映射的优化方法，该方法充分利用了小波优良特性(如局部性，多尺度性，等距不变性等)，与其他的方法相比对应效果更为优异。同时本方法所建立的无监督形状对应的方式进一步提升了使用深度学习的形状对应算法的准确率，在更具有挑战的重网格后FAUST和SCAPE数据集上对应错误率分别只有1.13％和1.32％。本方法选择在连接关系和顶点数都不一致的重网格数据集上进行实验，相较于传统的在具有一致连接关系和顶点数的方法，本方法显然更加鲁棒。提出的无监督损失函数不需要网络额外的输入或者预先计算其他信息，所有参数均可以由GPU加速计算，与其他无监督方法相比大大提升了效率。

Claims (8)

1.一种无监督形状对应方法，其特征在于包括如下步骤：
S1.获取训练数据和测试数据，生成数据集；
S2.对数据集进行预处理；
S3.采用特征提取网络对预处理后的数据集进行特征提取；
S4.采用针对特征描述子的谱流形小波变换的约束优化，得到形状对应的概率密度矩阵，生成初始形状对应的网络；
S5.提出作用于形状对应网络的无监督损失函数；
S6.将无监督损失函数对初始形状对应的网络进行收敛，生成最终形状对应的网络；
S7.将一对三维形状发送到最终形状对应模型，将第一形状的信息迁移到第二形状；
所述的步骤S5，无监督损失函数l(M,N)具体为：
Figure FDA0003563607330000011
其中，M表示特征提取后的第一形状；N表示特征提取后的第二形状；
Figure FDA0003563607330000012
ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；Q为第一形状和第二形状间对应的概率密度矩阵P的平方。
2.根据权利要求1所述的无监督形状对应方法，其特征在于所述的步骤S1，选用人类基准数据集FAUST和SCAPE进行测试。
3.根据权利要求2所述的无监督形状对应方法，其特征在于所述的步骤S2，对数据集中每一个人体模型进行预处理：计算352维SHOT特征描述子，包括计算数据集中每一个人体模型的拉普拉斯贝尔特拉米算子的前k项截断的特征值和特征向量；对于小波函数，选择Meyer小波作为滤波器，设置小波尺度数s。
4.根据权利要求3所述的无监督形状对应方法，其特征在于所述的步骤S3中，特征提取网络由一组权值共享的双层全连接网络构成；由于双层全连接网络共享权重且上下两层网络完全相同，其中一层的结构如下，另一层的网络结构相同：
第一层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第二层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第三层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第四层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第五层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第六层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算；第七层，包含一个全连接层，一个激活函数层、一个全连接层和一个加法运算。
5.根据权利要求4所述的无监督形状对应方法，其特征在于所述的步骤S4包括如下步骤：
A1.生成谱流形小波约束优化，并通过求解获得泛函映射系数矩阵C；
A2.定义第一形状和第二形状间对应的概率密度矩阵。
6.根据权利要求5所述的无监督形状对应方法，其特征在于所述的步骤A1，谱流形小波约束优化表示为：
Figure FDA0003563607330000021
其中，
Figure FDA0003563607330000022
为第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵；
Figure FDA0003563607330000023
为第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵；
泛函映射系数矩阵C为：
Figure FDA0003563607330000024
其中，M表示特征提取后的第一形状；N表示特征提取后的第二形状；s为小波尺度数；Λ＝{λ1,λ2,...,λk}，表示拉普拉斯贝尔特拉米算子的前k项截断的特征值；ΛM表示包含第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值；ΛN表示第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；
计算第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵
Figure FDA0003563607330000031
计算第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵
Figure FDA0003563607330000032
对第一形状的特征描述子矩阵和第二形状的特征描述子矩阵的每一项，执行多尺度谱流形小波变换，根据如下等式：
Figure FDA0003563607330000033
其中，s表示小波尺度数；y表示小波变换作用的位置；Wf(s,y)表示特征描述子经过小波变换后的系数矩阵；f表示特征描述子；φs,y表示关于第一形状的拉普拉斯贝尔特米算子的特征函数；<·,·>M表示特征提取后的第一形状M的内积；g(sλi)表示小波的滤波器；φi表示拉普拉斯贝尔特拉米算子的前k项截断的特征值；拉普拉斯贝尔特拉米算子的前k项截断的特征值表示为Λ＝{λ1,λ2,...,λn}，并得到如下矩阵：
Figure FDA0003563607330000034
Figure FDA0003563607330000035
其中，s表示小波尺度数；M表示特征提取后的第一形状；N表示特征提取后的第二形状；WM,s表示第一形状的原始滤波结果；WN,s表示第二形状的原始滤波结果；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；求第一形状的原始滤波结果WM,s的新特征在ΦM基上的系数矩阵
Figure FDA0003563607330000036
求第二形状的原始滤波结果WN,s的新特征在ΦN基上的系数矩阵
Figure FDA0003563607330000037
Figure FDA0003563607330000041
Figure FDA0003563607330000042
其中，s表示小波尺度数；M表示特征提取后的第一形状；N表示特征提取后的第二形状；WM,s表示第一形状的原始滤波结果；WN,s表示第二形状的原始滤波结果；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；
计算泛函映射系数矩阵C：
设
Figure FDA0003563607330000043
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；将谱流形小波约束优化表示为：
Figure FDA0003563607330000044
其中，s表示小波尺度数，s∈S＝{s1,s2,...}表示小波尺度数的多个离散；C为泛函映射系数矩阵；
Figure FDA0003563607330000045
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；同时得到一个解析解：
Figure FDA0003563607330000051
其中，s表示小波尺度数；C为泛函映射系数矩阵；
Figure FDA0003563607330000052
其中，F为第一形状的特征描述子矩阵；G为第二形状的特征描述子矩阵；ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΛM为包括第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；ΛN为包括第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征值的矩阵；g(sΛM)表示第一形状的Meyer小波滤波器；g(sΛN)表示第二形状的Meyer小波滤波器；设
Figure FDA0003563607330000053
矩阵C*为
Figure FDA0003563607330000054
的解，求得泛函映射系数矩阵C。
7.根据权利要求6所述的无监督形状对应方法，其特征在于所述的步骤A2，第一形状和第二形状间对应的概率密度矩阵：
Figure FDA0003563607330000055
其中，ΦM为每一列表示，第一形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵；ΦN为每一列表示，第二形状的拉普拉斯贝尔特拉米算子的前k项截断的特征向量的矩阵。
8.一种基于权利要求1-7之一所述的无监督形状对应方法的人体形状对应方法，其特征在于包括如下步骤：
B1.获取人体训练数据和测试数据，生成人体形状数据集；
B2.对人体形状数据集进行预处理；
B3.采用特征提取网络对预处理后的人体形状数据集进行特征提取；
B4.采用针对泛函数的谱流形小波约束优化，得到人体形状对应的概率密度矩阵，生成初始人体形状对应模型；
B5.提出作用于人体形状对应网络的无监督损失函数；
B6.将无监督损失函数对初始人体形状对应模型进行收敛，生成最终人体形状对应模型；
B7.将一对人体测试形状发送到最终人体形状对应模型，将第一三维人体测试形状的信息迁移到第二三维人体测试形状。
CN202111069850.3A 2021-09-13 2021-09-13 一种无监督形状对应方法及人体形状对应方法 Active CN113792859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111069850.3A CN113792859B (zh) 2021-09-13 2021-09-13 一种无监督形状对应方法及人体形状对应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111069850.3A CN113792859B (zh) 2021-09-13 2021-09-13 一种无监督形状对应方法及人体形状对应方法

Publications (2)

Publication Number Publication Date
CN113792859A CN113792859A (zh) 2021-12-14
CN113792859B true CN113792859B (zh) 2022-06-17

Family

ID=78880104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111069850.3A Active CN113792859B (zh) 2021-09-13 2021-09-13 一种无监督形状对应方法及人体形状对应方法

Country Status (1)

Country Link
CN (1) CN113792859B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280485A (zh) * 2018-02-01 2018-07-13 北京科技大学 一种基于谱图小波描述子的非刚性三维模型检索方法
CN109671041A (zh) * 2019-01-26 2019-04-23 北京工业大学 一种具有拉普拉斯噪声的非参数贝叶斯字典学习方法
CN111832391A (zh) * 2020-05-27 2020-10-27 南京邮电大学 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法
CN113191387A (zh) * 2021-03-27 2021-07-30 西北大学 结合无监督学习与数据自增强的文物碎片点云分类方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150100289A1 (en) * 2013-10-09 2015-04-09 Technion Research & Development Foundation Limited Method and system for shapewise comparison
US10403031B2 (en) * 2017-11-15 2019-09-03 Google Llc Learning to reconstruct 3D shapes by rendering many 3D views
CN109147048B (zh) * 2018-07-23 2021-02-26 复旦大学 一种利用单张彩色图的三维网格重建方法
CN110176063B (zh) * 2019-05-07 2022-05-27 浙江凌迪数字科技有限公司 一种基于人体拉普拉斯变形的服装变形方法
CN110070096B (zh) * 2019-05-31 2021-01-12 中国科学院自动化研究所 针对非刚性形状匹配的局部频域描述子生成方法及装置
CN110298916B (zh) * 2019-06-21 2022-07-01 湖南大学 一种基于合成深度数据的三维人体重建方法
CN110647991B (zh) * 2019-09-19 2022-04-05 浙江大学 一种基于无监督领域自适应的三维人体姿态估计方法
CN110910492B (zh) * 2019-11-29 2021-02-02 中南大学 非刚性三维模型之间点点匹配的方法
CN113283469A (zh) * 2021-04-14 2021-08-20 中国海洋大学 基于视图的三维模型检索的图嵌入无监督特征学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280485A (zh) * 2018-02-01 2018-07-13 北京科技大学 一种基于谱图小波描述子的非刚性三维模型检索方法
CN109671041A (zh) * 2019-01-26 2019-04-23 北京工业大学 一种具有拉普拉斯噪声的非参数贝叶斯字典学习方法
CN111832391A (zh) * 2020-05-27 2020-10-27 南京邮电大学 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法
CN113191387A (zh) * 2021-03-27 2021-07-30 西北大学 结合无监督学习与数据自增强的文物碎片点云分类方法

Also Published As

Publication number Publication date
CN113792859A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
Yifan et al. Patch-based progressive 3d point set upsampling
CN108898606B (zh) 医学图像的自动分割方法、系统、设备及存储介质
TWI754195B (zh) 圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體
CN108304357B (zh) 一种基于字体流形的中文字库自动生成方法
US11276218B2 (en) Method for skinning character model, device for skinning character model, storage medium and electronic device
CN108596833A (zh) 超分辨率图像重构方法、装置、设备及可读存储介质
US20230169727A1 (en) Generative Nonlinear Human Shape Models
CN109657567B (zh) 一种基于3d指纹图像的弱监督的特征分析方法及系统
CN112634149B (zh) 一种基于图卷积网络的点云去噪方法
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
CN112990315A (zh) 基于偏微分算子的等变3d卷积网络的3d形状图像分类方法
CN110610138A (zh) 一种基于卷积神经网络的面部情感分析方法
CN115830375A (zh) 点云分类方法及装置
CN113822825B (zh) 基于3d-r2n2的光学建筑目标三维重建方法
CN110955809B (zh) 一种支持拓扑结构保持的高维数据可视化方法
CN113792859B (zh) 一种无监督形状对应方法及人体形状对应方法
CN111784676A (zh) 一种用于肝脏ct影像的特征提取与分割新方法
CN111428555A (zh) 一种分关节的手部姿态估计方法
CN115880111A (zh) 基于图像的虚拟仿真实训课堂教学管理方法及系统
Hu et al. IMMAT: Mesh reconstruction from single view images by medial axis transform prediction
CN115063847A (zh) 一种面部图像获取模型的训练方法及装置
CN112767462A (zh) 基于脊谷特征与深度特征描述符的点云单点对齐方法
Yang et al. Whole-Heart Reconstruction with Explicit Topology Integrated Learning
CN113688842B (zh) 一种基于解耦合的局部图像特征提取方法
CN110428441B (zh) 一种基于ica重构误差水平集的多图协同分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant