CN110543581A - 基于非局部图卷积网络的多视图三维模型检索方法 - Google Patents

Abstract

该发明属于计算机视觉及深度学习领域，针对当前基于视图的深度学习方法不能捕获三维模型全面的空间信息的缺点，基于非局部图卷积网络的多视图三维模型检索方法挖掘融合多视图的高响应特征，从而得到单一紧凑的高辨别性模型描述符。其优越性能在三维模型检索中得到验证。该发明具体包含以下步骤：（1）获取模型的多视角图像，（2）多视角图像预处理，（3）设计非局部图卷积网络，（4）非局部图卷积网络训练，（5）提取模型深度特征，（6）三维模型的检索匹配。

Description

基于非局部图卷积网络的多视图三维模型检索方法

技术领域

本发明属于计算机视觉及深度学习领域，发明基于非局部图卷积网络的多视图三维模型检索方法挖掘融合多视图的高响应特征，从而得到单一紧凑的高辨别性模型描述符，该发明显著提高了三维模型检索的性能。

背景技术

图像检索是自图像化计算机诞生以来就一直存在的迫切需求，早期的研究人员开发了大量的图像检索算法来满足这种需求，如尺度不变特征变换方法，估计最近邻方法，弱监督深度度量学习，二部图和特征学习等。近年来随着计算机硬件性能的增强，以及多种三维传感器，三维建模软件的快速发展，三维模型成为许多领域的基础组件，同时对三维模型的检索成为其重要程序，因此设计开发基于三维模型检索算法是当前计算机视觉领域的一个研究热点。三维模型检索方法的研究又分为两个阶段：（1）早期基于传统方法的三维模型检索方法。（2）基于深度神经网络的三维模型检索算法。

早期基于传统方法的三维模型检索算法中包含基于模型的三维模型检索算法和基于多视图的三维模型检索算法。三维模型检索过程有两个关键步骤：（1）特征提取，（2）模型检索。早期的基于模型的算法在特征提取过程中有基于网格的表示以及基于点云的表示，其特征设计大多基于自身的几何性质及其形状。在检索方法中研究者开发了多种模型检索方法。有研究者将3D形状信息转换为直方图，使用欧氏距离来对两个模型的直方图进行比较从而得到其相似度。

在基于深度神经网络的三维模型检索方法中，同样包含基于模型的三维模型检索算法以及基于多视图的三维模型检索算法，其检索的关键步骤同传统方法相似。深度神经网络在图像分类，图像分割等领域实现了优良的性能，因此有许多基于深度神经网络的三维模型检索方法被提出。基于模型的方法中其主要使用三维卷积或者使用二维卷积来捕捉模型的点云，网格的特征信息。而在基于多视图的算法开始使用神经网络来提取深度学习特征，如AlexNet，GoogLeNet，VGG，ResNet等深度神经网络。然后使用传统的检索算法来对三维模型进行检索。但单纯使用神经网络所提取的视图特征不能包含三维模型的全面信息。

在基于多视角的三维模型检索中，每个三维模型都有多个视角图像表示，但是现有的深度神经网络主要用来识别单个图像，其识别效果受限于信息的不全面性。如何聚合多视角图像信息，如何捕获模型的空间特征是提高三维模型检索性能的关键。

发明内容

该发明针对当前基于视图的深度学习方法不能捕获三维模型全面的空间信息的缺点，因此提供基于非局部图卷积网络的多视图三维模型检索方法挖掘融合多视图的高响应特征，从而得到单一紧凑的高辨别性模型描述符。其优越性能在三维模型检索中得到验证。

基于非局部图卷积网络的多视图三维模型检索方法在三维模型检索中拥有优越的性能，包括如下几个步骤：

第一步、获取模型的多视角图像

本发明适用于现实世界物体，也适用于计算机制作三维模型，在获取模型的多视图图像时，现实世界物体可以通过设置多个多角度摄像头来捕捉物体的各个角度视图，计算机三维模型可以通过软件的模拟相机设置好多角度来捕捉其各个角度视图；

第二步、多视角图像预处理

为了更好的训练网络以及符合本发明设计的非局部图卷积网络的检索要求，需要对多视角图像进行预处理。其中包括图像裁剪，图像尺寸重置，图像翻转以及图像归一化等；

第三步、设计非局部图卷积网络

本发明针对现有神经网络无法全面捕捉模型自身的空间信息的问题，设计发明了非局部图卷积网络来挖掘融合多视图的高响应特征，非局部图卷积网络包含以下几个模块：卷积模块一，图卷积模块，卷积模块二，图卷积模块，卷积模块三，特征融合模块，模型分类模块；

第四步、非局部图卷积网络训练

通过以上三步，得到训练非局部图卷积网络需要的数据以及其网络架构，本发明使用pytoch深度学习框架来训练网络模型，使用语言为python3.6。该网络同时可同时输入多张图像，随着迭代次数的增多，其损失函数随之下降直到收敛，收敛条件为稳定在1×10^(-3)左右；

第五步、提取模型深度特征

提取模型深度特征时仍然使用pytorch深度学习框架，训练好本发明设计的非局部图卷积网络后，得到训练好的非局部图卷积网络模型参数，然后将检索匹配要用到的所有三维模型输入预训练好的非局部图卷积网络中，通过前面的卷积模块与图卷积模块挖掘到多视图的高响应特征，使用max-pooling操作来对多视图融合，进而得到单一紧凑的高辨别性模型描述符；

第六步、三维模型的检索匹配

对三维模型检索时主要是其模型相关性的度量方法，本发明使用基于L2范数的欧几里得度量方法来计算两个模型的距离，使用其距离大小来表示三维模型之间的相关性。其计算公式如下：

(1)

a,b分别代表两个不同的模型，其中为计算所得的两模型间的距离，分别表示a的i维特征及b的i维特征。

本发明的优点和有益效果；

1）针对多视角图像，使用非局部图卷积层来捕获多视图间的高级空间特征。2）利用max-pooling来融合多视图，得到其高响应特征，从而获取紧凑的高辨别力的模型描述符。3）本发明的基于非局部图卷积网络的多视图三维模型检索方法在三维模型检索中实现了优良性能。

附图说明

图1为本发明的流程图。

图2为本发明设计的非局部图卷积网络。

图3为三维模型的多视图表示示例。

图4为三维模型的多视角获取示例。

图5为MVRED数据集上本发明与目前先进方法的性能对比。

图6为NTU数据集上本发明与目前先进方法的性能对比。图5图6中目前方法的对应文献如下所示。

[1] Krizhevsky A, Sutskever I, Hinton G E, et al. ImageNetClassification with Deep Convolutional Neural Networks[J]. neural informationprocessing systems, 2012, 141(5): 1097-1105.

[2] He K, Zhang X, Ren S, et al. Deep Residual Learning for ImageRecognition[J]. computer vision and pattern recognition, 2016: 770-778.

[3] Su H, Maji S, Kalogerakis E, et al. Multi-view Convolutional NeuralNetworks for 3D Shape Recognition[J]. international conference on computervision, 2015: 945-953.

具体实施方式

下面结合附图对本发明作进一步的描述。

实施例1

如图1，其为本发明的基于非局部图卷积网络的多视图三维模型检索方法实现步骤流程图，该方法的实现步骤细节如下：

步骤一获取模型的多视角图像

本发明适用于现实世界物体，也适用于计算机制作三维模型，在获取模型的多视图图像时，现实世界物体可以通过设置多个多角度摄像头来捕捉物体的各个角度视图，捕捉现实世界物体图像时多组摄像头最好均匀分布，以获取信息丰富的多视图图像。在本发明实施例中，以30度为间隔在物体周围放置12个摄像机，以捕获12张模型多视角图片。计算机三维模型可以通过软件的模拟相机设置好多角度来捕捉其各个角度视图，设置虚拟摄像机来渲染每个网格。同以上摄像头设置相同，通过每隔30度在网格周围放置12个虚拟摄像机来创建12个渲染视图。假若有n个类，每个类有m个模型，则该三维模型数据集共可获取到n×m×12张多视角图像。

步骤二多视角图像预处理

为了更好的训练网络以及符合本发明设计的非局部图卷积网络的检索要求，需要对多视角图像进行预处理。其中包括图像裁剪，图像尺寸重置，图像翻转以及图像归一化等。其中数据归一化是用来对原始数据归一化到固定区间上的统计分布以保证程序收敛加快。原始图像尺寸统一化是因为网络模型设计好之后，其尺寸固定，因此输入图像尺寸要符合网络模型所需尺寸。随机裁剪，图像水平翻转以及竖直反转是为了增加数据量从而使训练模型参数泛化，以及防止网络模型过拟合。

步骤三设计非局部图卷积网络

本发明针对现有神经网络无法全面捕捉模型自身的空间信息的问题，设计发明了非局部图卷积网络来挖掘融合多视图的高响应特征，非局部图卷积网络包含以下几个模块：卷积模块一，图卷积模块，卷积模块二，图卷积模块，卷积模块三，特征融合模块，模型分类模块；卷积模块一包含一个步幅为2，卷积核为7x7的卷积层，卷积层后面是一个步幅为2，核为3x3的最大池化层。连接在卷积模块一用来图卷积模块捕获多视图间所包含的空间特征，由非局部均值的思想启发而来，如下是其定义的形式：

(2)

其中i为搜索区域，为区域中的其他点，为权重其由匹配块之间的相关性来决定，为i点对应的输出。本发明使用图卷积的方式来捕捉视图之间的长依赖关系，从如何建立模型多视图之间的的联系来设计卷积形式。其中该非局部图卷积的形式如下：

(3)

其中i为输出位置的索引，其可以是对应的空间位置，其响应由与其他视图各对应点计算得来。x为输入信号，即各视图的特征，y为对应的与x大小相同的输出信号。对匹配函数f用来计算输入信号纸间的关联性，一元函数g用来对输入缩放，使用函数对求和后的输出信号进行归一化。

对匹配函数f其计算公式如下：

(4)

其中的表示形式为，的表现形式为，与为对应的卷积层参数。归一化因子。

一元函数g为线性函数：

(5)

其中为了使非局部操作可以合并到许多现有架构的卷积网络中，则该非局部模块以如下形式定义：

(6)

其中表示一个残差连接，由(3)式计算得到，为原始输入，为该图卷积模块的最终输出。这种残差连接的方式可以将该非局部模块插入到任何预先训练好的网络模型中，且并不会破坏该原有模型的初始化行为。

在非局部模块之后是卷积模块二包含8个步幅1×1，核为3×3的卷积层，在模块二后边再次加入非局部模块用以捕捉高级模型空间特征，之后是卷积模块三，其包含18个步幅1×1，核为3×3的卷积层用于提取各多视图图像的高维抽象特征，提取到各多视图图像的高维抽象特征后使用max-pooling操作将其聚合为一个单一紧凑的高辨别性模型描述符。后续加入分类器来对进行分类及对模型调整。其使用softmax分类损失函数来进行分类调整。

步骤四非局部图卷积网络训练

通过以上三步，得到训练非局部图卷积网络需要的数据以及其网络架构，本发明使用pytoch深度学习框架来训练网络模型，使用语言为python3.6。该网络同时可同时输入多张图像。其中，本发明实施例为一个模型12个视图，则输入的图像数量为12的倍数。在初始参数设置中，将迭代轮数设置为40，每次迭代32个样本，其中初始学习率设置为0.001，预训练网络模型参数使用在大型数据集imagenet上预训练好的网络模型参数。本发明使用自适应梯度优化器，其可以针对不同参数来自适应调整学习率。随着迭代次数的增多，其损失函数值随之下降直到收敛，收敛条件为损失函数值稳定在左右；

步骤五提取模型深度特征

提取模型深度特征时仍然使用pytorch深度学习框架，训练好本发明设计的非局部图卷积网络后，得到训练好的非局部图卷积网络模型参数，然后将检索匹配要用到的所有三维模型输入预训练好的非局部图卷积网络中，模型输入为代表单个模型的多张视图图像，通过前面的卷积模块与图卷积模块挖掘到多视图的高响应特征，使用max-pooling操作来对多视图融合，进而得到单一紧凑的高辨别性模型描述符；本发明使用max-pooling操作后的输出作为模型特征，其特征维度为512；

步骤六三维模型的检索匹配

给定一个模型，在目标数据集中找到同该模型属于同类的模型即相关模型，设检索模型集为Q，待查询数据集为G，则目标是在G中找到与Q中模型相关的模型。其实现形式为计算模型与数据集G中各个模型的相关性，根据相关性大小进行排序，从而得到与模型相关的模型。其具体实现形式如下所示。

检索模型集与待查询数据集都需要使用特征向量表示，本发明发明使用第五步来提取特征。得到检索数据集与待查询数据集中各个模型的特征表示后，计算模型Q_i同待查询数据集G中各个模型的距离，用如下形式表示：

(7)

为模型之间的距离，其中为两个模型之间的距离度量方法，使用欧氏距离作为本发明的距离度量方法，其计算过程如下：

(8)

其中x,y分别代表不同模型，其中表示两模型间的距离为后边进行排序，分别表示x的i维特征及y的i维特征。计算得到与G中各个模型距离之后，对该距离进行排序，可以取前k个作为与相关的模型。依次计算得到G中与Q中模型相关的模型。

为了验证本发明的有效性，在公开的三维模型数据集MVRED和NTU上进行了评测，不同算法与本发明方法的性能比较如图6所示，从这些图可以看出，本发明提出的基于非局部图卷积网络的多视图三维模型检索方法具有优良的性能。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.基于非局部图卷积网络的多视图三维模型检索方法，其特征在于包括如下几个步骤：

第一步、获取模型的多视角图像

通过设置多个多角度摄像头来捕捉物体的各个角度视图，计算机三维模型通过软件的模拟相机设置好多角度来捕捉其各个角度视图；

第二步、多视角图像预处理

对多视角图像进行预处理，包括图像裁剪，图像尺寸重置，图像翻转以及图像归一化等；

第三步、设计非局部图卷积网络

设计非局部图卷积网络来挖掘融合多视图的高响应特征，非局部图卷积网络包含以下几个模块：卷积模块一，图卷积模块，卷积模块二，图卷积模块，卷积模块三，特征融合模块，模型分类模块；

第四步、非局部图卷积网络训练

通过以上三步，得到训练非局部图卷积网络需要的数据以及其网络架构，使用pytoch深度学习框架来训练网络模型，使用语言为python3.6，该网络同时可同时输入多张图像，随着迭代次数的增多，其损失函数随之下降直到收敛，收敛条件为稳定在1×10^(-3)左右；

第五步、提取模型深度特征

在提取模型深度特征时仍然使用pytorch深度学习框架，训练好非局部图卷积网络后，得到训练好的非局部图卷积网络模型参数，然后将检索匹配要用到的所有三维模型输入预训练好的非局部图卷积网络中，通过前面的卷积模块与图卷积模块挖掘到多视图的高响应特征，使用max-pooling操作来对多视图融合，进而得到单一紧凑的高辨别性模型描述符；

第六步、三维模型的检索匹配

对三维模型检索时主要是其模型相关性的度量方法，使用基于L2范数的欧几里得度量方法来计算两个模型的距离，使用其距离大小来表示三维模型之间的相关性，其计算公式如下：

(1)

a,b分别代表两个不同的模型，其中为计算所得的两模型间的距离，分别表示a的i维特征及b的i维特征。