CN113554115B - 一种基于不确定学习的三维模型草图检索方法 - Google Patents

Abstract

本发明涉及一种基于不确定性学习的三维模型草图检索方法，包括以下步骤：S1：获取三维模型训练数据和草图训练数据；S2：构建草图特征提取网络，三维模型特征提取网络以及一个共享分类器，训练得到草图和三维模型共享的类中心。S3：基于共享类中心和预训练的草图特征提取网络构建草图不确定性学习网络，将每张草图图片建模成一个高斯分布，学习得到草图的不确定性。S4：利用训练完成的三维模型特征提取网络和草图不确定性学习网络分别提取待检索三维模型特征和查询草图特征，检索得到用于相应应用的三维模型。与现有技术相比，本发明具有有效缓解草图噪声问题，即减小噪声样本对干净样本拟合的损害等优点。

Description

一种基于不确定学习的三维模型草图检索方法

技术领域

本发明涉及基于草图的三维模型检索领域，尤其是涉及一种基于不确定性学习的三维模型草图检索方法。

背景技术

有效的三维模型检索已经成为三维模型管理的重要方面。目前主流的检索方式有以下三种：基于文本的三维模型检索，基于实例的三维模型检索和基于草图的三维模型检索。基于文本的三维模型检索最容易实现，但是需要大量的文本标注，耗时耗力。基于实例的三维模型检索的输入查询是三维模型本身，此方法可以获得较高的精度，但是存在输入查询的三维模型难以获得等缺点。近年来，随着移动触屏技术的成熟，基于手绘草图的三维模型检索成为一种备受关注的检索方式。基于草图的三维模型检索具有简单，便捷，直观等优点。

然而基于草图的三维模型检索也存在着一些挑战，一方面是二维的草图和三维模型的空间维度和特征属性很大程度上不一样，这导致检索匹配的时候存在很大的跨模态差异性；另一方面，手绘草图的绘制具有很强的主观性和抽象性，同一个物体由不同人绘制出来的差别可能很大，这就导致草图数据具有严重的数据噪声问题。

随着深度学习方法在计算机视觉和计算机图形学上取得的巨大的成功，基于深度学习方法的三维模型草图检索也逐渐被研究者们提出。这些深度学习方法大多是通过设计各种有效的网络架构以及损失函数去解决草图和三维模型之间的跨模态差异性，从而达到提高检索精度的目的。代表性的工作有Wang等人提出的Siamese方法；Chen等人提出的DCA方法；He等人提出Triplet-Center损失函数(TCL)方法，Lei等人提出的“point-to-subspace”方法等。

然而这些深度学习的方法都是忽略了另一个有效且具有挑战性的问题：草图的数据噪声问题。如上文提到的，草图噪声问题也是影响检索精度的一大重要因素。

发明内容

本发明的目的就是为了弥补上述现有技术存在的不足而提供一种有效缓解草图数据噪声问题的基于不确定性学习的三维模型草图检索方法。

本发明的目的可以通过以下技术方案来实现：

一种不确定学习的三维模型草图检索方法，包括以下步骤：

S1：获取三维模型训练数据和草图训练数据；

S2：构建草图特征提取网络，三维模型特征提取网络以及一个共享分类器，训练得到草图和三维模型共享的类中心；

S3：基于共享类中心和预训练的草图特征提取网络构建草图不确定性学习网络，将每张草图图片建模成一个高斯分布，学习得到草图的不确定性；

S4：利用训练完成的三维模型特征提取网络和草图不确定性学习网络分别提取待检索三维模型特征和查询草图特征，检索得到用于相应应用的三维模型。

进一步地，所述的步骤S2具体包括：

S21：构建草图特征提取网络CNN-S，三维模型特征提取网络CNN-V，共享分类器网络FN；

S22：将三维模型训练数据输入三维模型特征提取网络，将草图训练数据输入草图特征提取网络，利用分类损失函数L_AMS训练两个特征提取网络和共享分类器；

S23：完成训练，利用共享分类器最后一层的权重作为草图数据和三维模型数据的共享类中心；

更进一步地，所述的分类损失函数L_AMS为AM-softmax分类损失函数，其表达式为：

其中，f_i为进入共享分类器的草图和三维模型的联合特征，该特征进行了归一化，；

为归一化后的分类器最后一层的权重；m为类间隔大小；s为缩放因子。

进一步地，所述的步骤S3具体包括：

S31：联合预训练的草图特征提取网络和两个分开的全连接网络，构建草图不确定性学习网络，将每张草图图片建模成一个高斯分布；

S32：利用共享类中心和草图类别信息构建不确定性损失函数L_uncer；

S33：利用不确定性损失函数L_uncer，将草图训练数据输入草图不确定性学习网络进行训练，得到训练完成的草图不确定性学习网络。

更进一步地，所述的草图不确定性网络的构建，具体方式为预训练的草图特征提取网络的参数冻结，并由该网络延伸输出两个分支，将每张草图建模成一个高斯分布。草图特征提取网络输出的两个分支，一个分支FN-1用于学习草图的特征(即高斯分布的均值)，另一个分支FN-2用于学习草图的不确定性(即高斯分布标准差)。

更进一步地，所述的不确定性损失函数L_uncer的表达式为：

其中，w_yi为预训练好的三维模型和草图的共享类中心，μ_i为分支FN-1输出的草图的特征(即高斯分布的均值)，σ_i为分支FN-2输出的草图的不确定性(即高斯分布的标准差)。

特别地，在该损失函数的约束下，网络一方面倾向于将噪声草图的不确性学的相对较大，将干净草图的不确定性学的相对较小；另一方面网络会淡化对噪声样本的拟合，而更关注干净样本的拟合，从而减小噪声数据对干净样本拟合的损害。

特别地，所述的草图不确定网络的两个分支FN-1和FN-2分别有两层全连接网络构成。

特别地，草图不确定性学习网络学习出来的不确定性σ_i越大，代表草图数据的噪声越明显，反之，代表草图数据越干净。

特别地，学习共享类中心时所用的草图训练数据和不确定性学习网络所用的草图训练数据是一样的。

进一步地，所述的步骤S4具体包括：

S41：将所有的待检索三维模型渲染成二维视角图；

S42：将待检索三维模型的二维视角图输入CNN-V+FN中，提取待检索三维模型特征；将查询草图输入CNN-S+FN1中，提取查询草图特征；

S43：计算查询草图特征和所述有待检索三维模型特征之间的余弦距离，并进行排序；

S44：按照排序结果依次输出每个距离对应的三维模型，完成三维模型检索。

与现有技术相比，本发明具有以下优点：

1)在现有的技术中，未考虑草图噪声问题，在深度神经网络训练的过程中，无用的草图噪声样本会损害草图干净样本的拟合，使得的总体数据不能有效拟合，影响检索精度。本发明中利用草图不确定性学习方法，使网络淡化对噪声样本的拟合，而更关注于干净样本的拟合，使得草图干净样本的检索精度得到提升，从而使整体检索精度得到提升。

2)本文利用AM-softmax作为第一阶段共享类中心学习时的分类损失函数，可以在学习共享类中心的同时，学习到可分性很强的特征空间，可以一定程度上缓解草图和三维模型之间的跨模态差异性。

附图说明

图1为本发明整个框架的工作流程示意图；

图2为实施例中提供的方法流程图；

图3为将草图建模成高斯分布的原理示意图；

图4为SHREC 2013数据集上，本发明方法与其他方法的PR曲线图；

图5为SHREC 2014数据集上，本发明方法与其他方法的PR曲线图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图2所示，本发明提供的基于不确定性学习的三维模型草图检索方法主要包含以下五个步骤：

1)将三维模型数据集中每个三维模型渲染成多个二维视角图；

2)构建草图特征提取网络，三维模型特征提取网络以及一个共享分类器，训练草图数据和三维模型视角图数据，得到草图和三维模型的共享类中心；

3)基于上一步学习到的共享类中心和预训练好的草图特征提取网络，构建一个草图不确定性学习网络，学习草图数据的不确定性；

4)对于三维模型库，利用第2步训练好的三维模型网络和共享分类器提取其特征。对于查询草图，利用第3步草图不确定性学习网络提取其特征；

5)计算草图特征和三维模型库里每个模型特征之间的余弦距离，并进行排序，得到检索结果。

如图1所示，展示了本发明的工作流程示意图。接下来，本说明书同样分成这几部分对本方法加以详细说明。

步骤1)的具体方法为：

利用虚拟相机对三维模型进行投影渲染，得到三维模型的视角图。具体地，在三维模型的四周每隔30度放置一个相机，共计12个虚拟相机。每个虚拟相机从其角度获得一个投影图，共计得到12个视角图。

步骤2)的具体方法为：

21)构建草图特征提取网络CNN-S、三维模型特征提取网络CNN-V以及共享分类器FN，其中CNN-S和CNN-V具有同样的网络架构。

22)将三维模型的二维视角图和草图的大小统一成224×224，并归一化到0到1之间。

23)将三维模型的视角图输入特征提取网络CNN-V，将草图输入特征提取网络CNN-S，即可得到草图的深度特征和三维模型视角图的深度特征。

24)将步骤23)得到草图特征和三维模型特征进行结合，之后输入共享分类器FN中，接着利用AM-softmax损失函数训练整个网络架构，得到训练好的网络。

其中AM-softmax具有很强的可分性，可以学到可分性很强的特征空间，其表达式为：

其中，f_i为进入共享分类器的草图和三维模型的联合特征，该特征进行了归一化；

为归一化后的分类器最后一层的权重；m为类间隔大小；s为缩放因子，其中N表示训练批次的大小，c表示类别总数量

25)利用已经训练好的共享分类器最后一层的权重作为草图数据和三维模型数据的共享类中心，记为集和W＝{w₁,w₂,w₃,…,w_C}，其中C表示数据集的类别总数量。

步骤3)的具体方法为：

31)利用步骤2)中训练好的草图特征提取网络CNN-S和学习到的共享类中心构建一个草图不确性学习网络。草图不确定性学习网络将草图数据建模成高斯分布，如图3所示。具体地，在CNN-S的输出端延伸出两个分支FN-1和FN-2，分支FN-1用于学习草图的特征(即高斯分布的均值)，另一个分支FN-2用于学习草图的不确定性(即高斯分布标准差)。两个分支都是由全连接网络构成。

32)基于步骤2)中学习的共享类中心W＝{w₁,w₂,w₃,…,w_C}和步骤31)中输出高斯分布的均值μ_i和标准差σ_i，构建一个不确定性损失函数，用于草图不确定性网络训练的监督。在该不确定性损失函数的约束下，不确定性学习网络一方面倾向于将噪声草图的不确性学的相对较大，将干净草图的不确定性学的相对较小；另一方面网络会淡化对噪声样本的拟合，而更关注干净样本的拟合，从而减小噪声数据对干净样本拟合的损害。所述的不确定性损失函数L_uncer的表达式为：

其中，w_yi为预训练好的三维模型和草图的共享类中心，μ_i为分支FN-1输出的草图的特征(即高斯分布的均值)，σ_i为分支FN-2输出的草图的不确定性(即高斯分布的标准差)，N表示训练批次的大小。

33)将步骤2)中所用的草图训练数据，再次输入不确定学习网络中进行训练。在该阶段CNN-S的参数是冻结的，不参与训练。

步骤4)的具体方法为：

对于待检索的三维模型库，利用步骤1)先将所有的三维模型渲染成二维视角图，再将待检索三维模型的二维视角图输入步骤2)中训练好的CNN-V+FN中，提取待检索三维模型特征。将查询草图输入步骤3)训练好的CNN-S+FN1中，提取查询草图特征。

所述步骤5)的具体方法为：

计算步骤4)中得到的查询草图特征和三模型特征库中每个模型特征之间的相似度，并进行排序，得到检索结果。本发明中采用余弦距离作为相似度度量。

为了支持以及验证本发明提出的基于草图的三维模型检索方法的性能，本文在目前被广泛使用的三维模型草图检索数据集——SHREC 2013和SHREC 2014数据集上进行多个指标的验证。SHREC 2013数据集是在2013年提出的。该数据集一共有1258个三维模型，分为90个类别，每个类别的样本数量不均衡，最少的三维模型个数为4个，最多的三维模型个数为180多个，平均每个类别的三维模型个数为14个。该数据集的草图集一共有7200张图片，全部是手绘草图，也是分为90个和三维模型相对应的类别。每个类的草图都是80个样本，包括50个训练样本和30个测试样本。该数据集的规模比较大，且划分了训练集和测试集，是之后算法中用的最多的一个数据集之一。SHREC 2014数据集是在2014年提出的，该数据集是SHREC 2013数据集的一个扩充，类别数更多，规模更大。该数据集一共有8987个三维模型，分为171个类别，每个类别的样本数量也是不均衡，最少的三维模型个数为1个，最多的三维模型个数为700多个，平均每个类的三维模型个数为52个。该数据集的草图集一共有13680张图片，171个类别，全部是手绘草图。和SHREC 2013数据集一样，每个类的草图都是80个样本，包括50个训练样本和30个测试样本。该数据集的规模更大，类别更多，每个类的类内差异性更大，因此检索难度更高，对算法的衡量性也更好。它也是之后算法和文献中用的最多的数据集之一。

本文在SHREC 2013数据集和SHREC 2014数据集上进行实验，采用查准率-查全率曲线(Precision-Recall曲线，简称PR曲线)、最近邻准确度(Nearest Neighbor，简称NN)、第一等级匹配精度(First Tier，简称FT)、第二等级匹配精度(Second Tier，简称ST)、E-度量(E-Measure，简称E)、折损累计增益(Discounted Cumulative Gain，简称DCG)、平均准确率均值(mean Average Precision，简称mAP)七个通用指标作为衡量标准，将本方法同其它最新最前沿的基于草图的三维模型检索方法进行了比较。为了公平的比较，我们采用和其他方法采用一样的基础模型，也就是CNN-S和CNN-V分别采用AlexNet结构，VGG16结构，VGG19结构，ResNet-50结构进行实验。

在SHREC 2013数据集上的检索结果及对比：

图4给出了SHREC 2013数据集上，本发明的方法和其他方法的PR曲线图。图中可以看出，本文方法的检索性能明显优于其他方法。表1也给了在SHREC 2013数据集上，本文方法和其他方法在六个评价指标下的数据，在使用相同的基础模型下，我们的方法在六个指标上全面优于其他的前沿方法。

表1 SHREC 2013数据集上检索性能(％)对比

在SHREC 2014数据集上的检索结果及对比：

SHREC 2014数据集是一个更大更难的数据集，对方法的检索性能要求也更高。图5给出了SHREC 2014数据集上，本发明的方法于其他方法的PR曲线图。图中可以看出，在更难得数据集上，本文方法的检索性能依然优于其他方法。表2给出了在SHREC 2014数据集上，本文方法和其他方法在六个评价指标下的数据，我们的方法依然在六个指标上全面优于其他的前沿方法。这说明本文方法在难的数据集上也可以取得优异的检索性能。

表2 SHREC 2014数据集上检索性能(％)对比

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于不确定性学习的三维模型草图检索方法，其特征在于，包括以下步骤：

S1：获取三维模型训练数据和草图训练数据；

S2：构建草图特征提取网络，三维模型特征提取网络以及一个共享分类器，训练得到草图和三维模型共享的类中心；

S3：基于共享类中心和预训练的草图特征提取网络构建草图不确定性学习网络，将每张草图图片建模成一个高斯分布，学习得到草图的不确定性；

S4：利用训练完成的三维模型特征提取网络和草图不确定性学习网络分别提取待检索三维模型特征和查询草图特征，检索得到用于相应应用的三维模型；

所述的步骤S1具体包括：

S11：对于草图，将草图裁剪成224x224大小，并进行归一化，再作为训练数据；

S12：对于三维模型，将其渲染多个二维视角图，将多个二维视角图作为训练数据；对于视角图，同样剪成224x224大小，并进行归一化；所述的步骤S2具体包括：

S21：构建草图特征提取网络CNN-S，三维模型特征提取网络CNN-V，共享分类器网络FN；

S22：将三维模型训练数据输入三维模型特征提取网络，将草图训练数据输入草图特征提取网络，利用分类损失函数L_AMS训练两个特征提取网络和共享分类器；

S23：完成训练，利用共享分类器最后一层的权重作为草图数据和三维模型数据的共享类中心；

所述的分类损失函数L_AMS的表达式为：

其中，f_i为进入共享分类器的草图和三维模型的联合特征，该特征进行了归一化；

为归一化后的分类器最后一层的权重；m为类间隔大小；s为缩放因子；所述的步骤S3具体包括：

S31：联合预训练的草图特征提取网络和两个分开的全连接网络，构建草图不确定性学习网络，将每张草图图片建模成一个高斯分布；

S32：利用共享类中心和草图类别信息构建不确定性损失函数L_uncer；

S33：利用不确定性损失函数L_uncer，将草图训练数据输入草图不确定性学习网络进行训练，得到训练完成的草图不确定性学习网络；

所述的不确定性损失函数L_uncer的表达式为：

其中，w_yi为预训练好的三维模型和草图的共享类中心，μ_i为分支FN-1输出的草图的特征，即高斯分布的均值，σ_i为分支FN-2输出的草图的不确定性，即高斯分布的标准差。

2.根据权利要求1所述的一种基于不确定性学习的三维模型草图检索方法，其特征在于，所述草图不确定性学习网络的构建，预训练的草图特征提取网络的参数冻结，并由该网络延伸输出两个分支，将每张草图建模成一个高斯分布。

3.根据权利要求2所述的一种基于不确定性学习的三维模型草图检索方法，其特征在于，将每张草图建模成一个高斯分布，草图特征提取网络输出的两个分支，一个分支FN-1用于学习草图的特征，即高斯分布的均值，另一个分支FN-2用于学习草图的不确定性，即高斯分布标准差；两个分支都是由全连接网络构成。

4.根据权利要求2所述一种基于不确定性学习的三维模型草图检索方法，其特征在于，所述不确定性损失函数L_uncer，在该损失函数的约束下，网络一方面使噪声草图不确性变大，使干净草图不确定性变小；另一方面网络会淡化对噪声样本的拟合，而更关注干净样本的拟合，从而减小噪声数据对干净样本拟合的损害。

5.根据权利要求1所述的一种基于不确定性学习的三维模型草图检索方法，其特征在于，所述的步骤S4具体包括：

S41：将所有的待检索三维模型渲染成二维视角图；

S42：将待检索三维模型的二维视角图输入CNN-V+FN中，提取待检索三维模型特征；将查询草图输入CNN-S+FN1中，提取查询草图特征；

S43：计算查询草图特征和所述有待检索三维模型特征之间的余弦距离，并进行排序；

S44：按照排序结果依次输出每个距离对应的三维模型，完成三维模型检索。

Images