CN109857886A - 一种基于极小极大值博弈理论视图逼近的三维模型检索方法 - Google Patents

Abstract

本发明涉及一种基于极小极大值博弈理论视图逼近的三维模型检索方法，本发明提出了一种新的卷积网络结构，该网络结构在已有卷积特征提取网络中嵌入一个视图生成器模块，该模块通过带有条件概率的二人极小极大值博弈理论生成视图，解决草图和视图之间的特征差异性问题；然后通过残差网络构造特征提取层，并在采用加权函数提高特征可分性。本发明减少草图和三维模型视图的特征差异性，提高基于草图的检索准确率。

Description

一种基于极小极大值博弈理论视图逼近的三维模型检索方法

技术领域

本发明涉及计算机图形学领域的三维模型检索问题，尤其涉及一 种基于极小极大值博弈理论视图逼近的三维模型检索方法。

背景技术

当下触屏设备高速发展，手机和平板电脑等手持设备由于具备良 好的便携性而广泛普及，但这也同时带来了相关设备的人机交互问题； 另一方面，随着虚拟现实技术的进步，三维模型的检索任务研究也越 来越多受到计算机视觉和计算机图形学领域的关注。由于草图能直观 表达人的思维和目的，运用草图来检索与之相似的三维模型成为了重 要的研究方向。基于草图的三维模型检索问题，目标是对每一张手绘 草图，能检索出与之相似的三维模型。尽管可以通过三维模型的视图 完成和草图的相似性比较，但是手绘草图和视图之间的内容差异性导 致检索准确率很低。

从已有发明来看，目前发明主要是将不同的局部特征进行组合， 或者采用不同的距离函数进行特征相似度计算，通过将二维特征提取 引申演变成三维模型特征提取问题，来进一步解决三维模型检索问 题。但是传统方法基于草图的三维模型检索方法效果较差，例如 CN101004748A首先由三维模型数据库得到视图数据库，并由视图数 据库得到特征数据库；客户端提取二维草图的形状特征，然后将该特 征与特征数据库中的特征进行匹配，并计算二维草图与三维模型的相 似距离，并进行相似距离排序；最后返回排序靠前的三维模型的位次、 索引图像、URL等；发明CN103177098A公开了一种基于手绘图的三 维模型检索方法，该发明首先产生多视角轮廓图，并提取相应的占位 图特征、距离变换特征、轮廓签名特征、傅里叶描述符、Hu矩特征 和泊松特征；然后将所有多视角轮廓特征进行组合，组成一个相应维 度的新特征，同理也能组成相应的手绘图像的新特征；最后通过k-d 树特征匹配方法，找出与三维模型轮廓图特征最相似的手绘图的新特 征；该发明降低了参数设置的敏感度，从而提升了检索效果。发明 CN102063719A公开了一种三维模型局部匹配的方法，发明第一步是 三维模型顶点弯曲显著度的，并根据顶点弯曲显著度生成排序列表并 区域增长，形成局部顶点集合；然后通过这些局部顶点集合拟合二次 曲面并拟合成若干局部子块；之后计算局部子块的特征；最后对这些 局部子块特征进行比较和局部匹配以及全局特征比较和全局匹配；该 发明不需要形状正规化，提取了一种局部显著区域特征，这种局部显 著区域特征不仅可以进行局部特征匹配，也可以实现局部对局部的检 索，以及局部对全局的检索。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于极小极大 值博弈理论视图逼近的三维模型检索方法，本发明提出了一种新的卷 积网络结构，该网络结构在已有卷积特征提取网络中嵌入一个视图生 成器模块，该模块通过带有条件概率的二人极小极大值博弈理论生成 视图，解决草图和视图之间的特征差异性问题；然后通过残差网络构 造特征提取层，并在采用加权函数提高特征可分性。本发明减少草图 和三维模型视图的特征差异性，提高基于草图的检索准确率。

本发明是通过以下技术方案达到上述目的：一种基于极小极大 值博弈理论视图逼近的三维模型检索方法，包括三维模型多视图渲 染、定义构造视图生成器、构造残差加权扩展模块并提取特征、构 造矩阵网络并完成三维模型检索四个阶段，具体如下：

(1)三维模型多视图渲染：

(1.1)从网络渠道收集包含类别标签的三维模型，构建三维模型数 据集；

(1.2)对三维模型进行多视图渲染，生成渲染多视图集；

(2)定义构造视图生成器：

(2.1)从网络渠道收集包含类别标签的手绘草图，构建手绘草图数 据集；

(2.2)采用目标函数G(x,z)和D(x,y)定义构造视图生成器，其中生成 器G＝argmin_Gmax_DL_cGAN(G,D)生成视图化草图，判别器D用于判定生成 视图的质量，进一步优化生成视图与多视图的相似性；

(2.3)将手绘草图输入视图生成器，通过视图生成器的目标函数 L_cGAN(G,D)＝∑_x,y[logD(x,y)]+∑_x,z[log(1-D(x,G(x,z))]，将手绘草图视图化；其中 映射L_cGAN(G,D)为目标函数；

(3)构造残差加权扩展模块并提取特征：

(3.1)搭建残差卷积神经网络；

(3.2)构造加权损失函数；

(3.3)构造残差加权扩展模块，将渲染多视图和视图化草图输入构 造残差加权扩展模块，提取渲染多视图和视图化草图的高层语义特 征，并将特征归一化到同一个欧几里得空间中，生成特征图；

(4)构造矩阵网络并完成三维模型检索：

(4.1)构造矩阵网络，用于计算草图和三维模型视图之间的卷积特 征相似性；

(4.2)由特征相似性由近到远构造检索列表；通过检索列表即可对 查询的草图检索到相似的三维模型，从而完成三维模型检索。

作为优选，所述对三维模型数据集作划分，划分为训练集和测试 集；同理将手绘草图数据集划分为训练集和测试集。

作为优选，所述步骤(1.2)具体为：基于matlab将训练集和测 试集中的所有三维模型渲染成对应的二维渲染多视图集，每一个三维 模型和对应渲染生成的二维渲染多视图一一对应，并且类别标签一 致；生成得到渲染多视图集。

作为优选，所述构造的加权损失函数的目标函数表达式为其中，为 交叉熵损失函数，为中心损失函数，通过λ调节两种 损失函数的相对权重比重，并结合两种损失函数构造加权损失函数。

作为优选，所述构造的矩阵网络目标表达式中草图x_i和三维模型 Y的距离定义为

其中，||x_i-y_j||₂为草图x_i与三维模型的一张渲染视图y_i的欧几里得距 离，n_y表示每一个三维模型对应渲染生成的二维多视图数量；计算所 有草图与所有三维模型的距离d(X,Y)＝∑_id(x_i,Y)，以此完成矩阵网络 的构造。

作为优选，所述的特征相似性为矩阵网络中草图与三维模型间的 欧几里得距离。

本发明的有益效果在于：本发明在已有视图卷积特征提取网络基 础上增加了视图生成器模块，减少草图和三维模型视图的特征差异 性，并构造加权损失函数提高特征的可分性，最后构造矩阵网络解决 基于草图的三维模型检索问题；本发明设计通过有条件概率的二人极 小极大值博弈理论提高了草图和视图的相似性，提高了基于草图的三 维模型检索精度。

附图说明

图1是本发明方法的流程示意图；

图2是本发明网络结构的框架示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护 范围并不仅限于此：

实施例：由于在神经网络等监督学习方法中，需要大量的数据用 于训练学习，在网络正向传播的过程中传播参数权重，然后通过损失 函数在反向传播的过程中，最小化损失值学习拟合训练样本，最后用 测试集检验模型的泛化性能和网络结构的有效性，因此本实施案例中 从SHREC竞赛数据集中收集了大量包含类别标签的三维模型和手绘 草图作为案例数据集。收集的数据集中包括171类三维模型和手绘草 图，共计10245个三维模型和20880张手绘草图。然后将收集到的三 维模型的80％作为训练集用于训练网络，剩下的20％作为测试集；同 理，将手绘草图的80％作为训练集，剩下的20％作为测试集。之后按照方法步骤，即可解决基于草图的三维模型检索问题。如图1所示， 一种基于极小极大值博弈理论视图逼近的三维模型检索方法具体包 括如下步骤：

步骤一、三维模型多视图渲染

步骤1.1：从SHREC竞赛数据集中收集大量包含类别标签的10245 个三维模型，并构建三维模型数据集，并划分为训练集和测试集；

步骤1.2：基于matlab将训练集和测试集中的所有三维模型渲 染成对应的二维渲染多视图集，每一个三维模型和对应渲染生成的二 维渲染多视图一一对应，并且类别标签一致；生成得到渲染多视图集。

步骤二、定义构造视图生成器

步骤2.1：收集大量包含类别标签的和20880张手绘草图，构建 手绘草图数据集；

步骤2.2：构造视图生成器G＝argmin_Gmax_DL_cGAN(G,D)，来生成视 图化的草图y；之后通过判别器判别是真实的手绘草图x，还是由生 成器生成的视图化的草图y，进一步优化生成视图与多视图的相似性；

步骤2.3：将手绘草图输入视图生成器，通过目标函数 L_cGAN(G,D)＝∑_x,y[logD(x,y)]+∑_x,z[log(1-D(x,G(x,z))]，将手绘草图视图化。利用 视图生成器，使草图具备渲染多视图的高层语义信息特征，同时生成 的视图化草图也更具真实性。

步骤三、构造残差加权扩展模块并提取特征，如图2所示：

步骤3.1：搭建残差卷积神经网络，在更深的卷积神经网络中加 入残差直连，一方面能加速网络的收敛效率，另一方面也能提取到更 抽象的高层语义特征，让网络训练的模型能更好的拟合样本，提高网 络的泛化性能；

步骤3.2：构造加权损失函数加权损失函数中，交叉熵损失函数使欧几里得空间中不同类别特征的 类间距离更大，而中心损失函数使类内距离更小，通过λ调节两种损 失函数的相对比重，将特征更好的聚类到各自的类别中心；

步骤3.3：构造残差加权扩展模块，将渲染多视图和视图化草图 输入模块，提取渲染多视图和视图化草图的高层语义特征，并将特征 归一化到同一个欧几里得空间中，生成特征图；

步骤四、构造矩阵网络并完成三维模型检索：

步骤4.1：构造矩阵网络，矩阵网络目标表达式中，草图x_i和三 维模型Y的距离定义为其中，||x_i-y_j||₂为草图x_i与三维模型的一张渲染视图y_i的欧几里得距 离，n_y表示每一个三维模型对应渲染生成的二维多视图数量；计算所 有草图与所有三维模型的距离d(X,Y)＝∑_id(x_i,Y)，构造矩阵网络；

步骤4.2：将矩阵网络中草图和三维模型间的距离，由近到远排 序构造检索列表；通过检索列表，即可检索到每一张查询的草图所对 应的相似的三维模型；

经过上述步骤的操作，即可快速地实现三维模型检索。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依 本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附 图所涵盖的精神时，仍应属本发明的保护范围。

Claims (6)

1.一种基于极小极大值博弈理论视图逼近的三维模型检索方法，其特征在于，包括三维模型多视图渲染、定义构造视图生成器、构造残差加权扩展模块并提取特征、构造矩阵网络并完成三维模型检索四个阶段，具体如下：

(1)三维模型多视图渲染：

(1.1)从网络渠道收集包含类别标签的三维模型，构建三维模型数据集；

(1.2)对三维模型进行多视图渲染，生成渲染多视图集；

(2)定义构造视图生成器：

(2.1)从网络渠道收集包含类别标签的手绘草图，构建手绘草图数据集；

(2.2)采用目标函数G(x,z)和D(x,y)定义构造视图生成器，其中生成器G＝argmin_Gmax_DL_cGAN(G,D)生成视图化草图，判别器D用于判定生成视图的质量，进一步优化生成视图与多视图的相似性；

(2.3)将手绘草图输入视图生成器，通过视图生成器的目标函数L_cGAN(G,D)＝∑_x,y[logD(x,y)]+∑_x,z[log(1-D(x,G(x,z))]，将手绘草图视图化；其中映射L_cGAN(G,D)为目标函数；

(3)构造残差加权扩展模块并提取特征：

(3.1)搭建残差卷积神经网络；

(3.2)构造加权损失函数；

(3.3)构造残差加权扩展模块，将渲染多视图和视图化草图输入构造残差加权扩展模块，提取渲染多视图和视图化草图的高层语义特征，并将特征归一化到同一个欧几里得空间中，生成特征图；

(4)构造矩阵网络并完成三维模型检索：

(4.1)构造矩阵网络，用于计算草图和三维模型视图之间的卷积特征相似性；

(4.2)由特征相似性由近到远构造检索列表；通过检索列表即可对查询的草图检索到相似的三维模型，从而完成三维模型检索。

2.根据权利要求1所述的一种基于极小极大值博弈理论视图逼近的三维模型检索方法，其特征在于：所述对三维模型数据集作划分，划分为训练集和测试集；同理将手绘草图数据集划分为训练集和测试集。

3.根据权利要求2所述的一种基于极小极大值博弈理论视图逼近的三维模型检索方法，其特征在于：所述步骤(1.2)具体为：基于matlab将训练集和测试集中的所有三维模型渲染成对应的二维渲染多视图集，每一个三维模型和对应渲染生成的二维渲染多视图一一对应，并且类别标签一致；生成得到渲染多视图集。

4.根据权利要求1所述的一种基于极小极大值博弈理论视图逼近的三维模型检索方法，其特征在于：所述步骤(3.2)构造的加权损失函数的目标函数表达式为其中，为交叉熵损失函数，为中心损失函数，通过λ调节两种损失函数的相对权重比重，并结合两种损失函数构造加权损失函数。

5.根据权利要求1所述的一种基于极小极大值博弈理论视图逼近的三维模型检索方法，其特征在于：所述构造的矩阵网络目标表达式中草图x_i和三维模型Y的距离定义为

其中，||x_i-y_j||₂为草图x_i与三维模型的一张渲染视图y_i的欧几里得距离，n_y表示每一个三维模型对应渲染生成的二维多视图数量；计算所有草图与所有三维模型的距离d(X,Y)＝∑_id(x_i,Y)，以此完成矩阵网络的构造。

6.根据权利要求5所述的一种基于极小极大值博弈理论视图逼近的三维模型检索方法，其特征在于：所述的特征相似性为矩阵网络中草图与三维模型间的欧几里得距离。