CN108875813A - 一种基于几何图像的三维网格模型检索方法 - Google Patents

Abstract

本发明公开了一种基于几何图像的三维网格模型检索方法，包括：将三维网格模型通过保面积参数化方法映射到球面上，得到参数化后的球形三维网格，然后将得到的球形三维网格映射到八面体上，沿着八面体的边剪开、铺平，得到一个二维平面；利用三维网格模型的三种不同的几何特征对二维平面上的每个像素点进行编码，获得几何图像；采用标准卷积神经网络结构，将所述几何图像作为输入，经过迭代地训练学习得到几何图像的特征，通过最大值映射得到对应的三维网格模型的特征；根据得到的三维网格模型的特征，计算待检索的三维网格模型与数据库中其余三维网格模型的相似度，根据所述相似度计算的结果，输出检索结果。

Description

一种基于几何图像的三维网格模型检索方法

技术领域

本发明涉及计算机视觉和计算机图形学领域，具体涉及一种基于几何图像的三维网格模型检索方法。

背景技术

随着信息时代的到来，三维网格模型作为一种新的多媒体数据，在计算机图形学和计算机视觉等领域得到了广泛的应用。同时，三维建模技术也在不断发展，各种3D传感器的出现使得三维网格模型的获取变得越来越容易，如Microsoft Kinect、Google ProjectTango等。如今便有许多丰富的三维网格模型库，并且很容易在线获取，如何去管理和分析它们，三维网格模型检索技术是其中一个重要的方法。

三维网格模型的检索方式主要分为基于文本的检索和基于内容的检索。基于文本的三维网格模型检索先对三维网格模型进行语义标注，然后依据用户输入的文本查询条件进行语义检索，但其存在文本标注内容不准确、标注内容不全面引发的检索准确度和查全率偏低等问题。与传统的基于文本的检索方法相比，基于内容的三维网格模型检索技术通过对视觉特征的相似性匹配来查找用户所要求的三维网格模型，这更贴近于人们在现实生活中靠直觉印象使用信息的方式。

基于内容的三维网格模型检索的关键问题是如何设计一个紧凑并且信息丰富的模型特征描述符，使其能够相较于其它模型，更具有代表性地描述该模型。一旦生成该模型特征描述符，便可以通过比较不同模型之间的特征描述符来确定模型之间的相似性。

近几年，深度学习在计算机视觉领域得到了非常广泛的应用，特别是在二维图像的特征提取方面表现出了很好的效果。自动提取到的二维图像特征在大多数的图像分析和理解任务中相较于传统的手工设计的解决方案有很好的效果。由于深度学习在计算机视觉领域表现出的十分优越的效果，研究者们开始尝试将深度学习方法迁移到三维数据上，为提高计算机视觉技术在三维领域中的性能提供有效的解决方案。然而三维数据具有复杂的内在性质，如何将它们转变成最终可以输入给深度学习网络的形式已成为一个关键问题。

目前，利用深度学习网络学习三维网格模型的研究主要遵循两个方向，一是构建三维深度学习网络架构，将三维网格模型转换成点云或体素集后输入到网络中，二是将特征矩阵或二维投影/视图或RGB-D数据(分离颜色和深度通道)输入到传统的深度学习网络架构中。

对于三维数据依赖于体素或点云表示的，使用三维的神经网络进行训练和学习，会受到计算复杂度非常高，数据无序以及缺乏更精细的几何形状等问题的困扰。为了不必要将卷积神经网络架构调整到适应于曲面卷积操作，就需要将三维网格模型转换为卷积神经网络所需要的平面结构，比如从多角度对三维网格模型投影得到多视图，但是这种方式会丢失很多几何信息。

发明内容

针对上述问题，本发明提出了一种基于几何图像的三维网格模型检索方法，能够基于深度学习几何图像提取三维网格模型特征，在降维的同时包含丰富的几何信息，提高特征描述符的表达能力。

为解决上述技术问题，本发明采用的一个技术方案是：

(1)将三维网格模型通过保面积参数化方法映射到球面上，得到参数化后的球形三维网格，然后将得到的球形三维网格映射到八面体上，沿着八面体的边剪开、铺平，得到一个二维平面；

(2)利用三维网格模型的三种几何特征对二维平面上的每个像素点进行编码，针对刚性三维网格模型，使用最大曲率、最小曲率和高斯曲率进行编码，针对非刚性三维网格模型，使用尺度无关的热核特征和100维的波核特征的前16位和后16位的特征值进行编码，获得几何图像；

(3)采用标准卷积神经网络结构，将所述几何图像作为输入，经过迭代地训练学习到几何图像的特征，通过最大值映射得到对应的三维网格模型的特征；

(4)根据得到的三维网格模型的特征，计算待检索的三维网格模型与数据库中其余三维网格模型的相似度，根据所述相似度计算的结果，输出检索结果。

在步骤1中，将三维网格模型进行保面积球面参数化，主要有以下步骤：对输入三维网格模型进行预处理操作，即将不符合欧拉定理的或者高亏格的三维网格模型转换为符合欧拉定理且亏格为0的模型后再进行初始球面参数化；计算初始参数化过程中的面积失真比，即根据求解泊松方程评估一个标量谐波场，所述标量谐波场对应于需要参数化的三维网格模型和参数化后得到的球形三维网格上顶点的面积失真比，其中g是定义在三维网格模型顶点集合V上的一个方程，δh是指三维网格模型映射前后总面积失真比向量，δh的每一个元素被定义为 是指参数化后的球形三维网格上顶点u处Voronoi区域面积，A_u是指参数化前的三维网格模型上对应顶点u处Voronoi区域面积；计算三维网格模型上的顶点位移以减少面积失真比，即通过计算参数化前的三维网格模型上的调和函数的梯度场，确定每个顶点的梯度向量，从而确定位移；依据参数化前三维网格模型上的顶点位移调整球形三维网格上顶点的位置，执行从三维网格模型到球形三维网格的重心映射，即通过计算在参数化前三维网格模型上的顶点位移指导球形三维网格上相应顶点的位移，ρ是一个值为0.01的参数值。

在步骤2中，利用三维网格模型的三种不同的几何特征对二维平面上的每个像素点进行编码时，针对刚性三维网格模型，由于模型表面顶点在受力前后相对位置不变，使用最大曲率、最小曲率和高斯曲率进行编码，针对非刚性三维模型，由于它具有铰链结构，模型表面顶点在受力前后相对位置发生改变，使用尺度无关的热核特征值、100维的波核特征的前16位和后16位的特征值进行编码，得到几何图像。

在步骤3中，采用标准卷积神经网络结构，将几何图像作为网络输入，经过迭代地训练学习得到几何图像的特征，通过最大值映射得到对应的三维网格模型的特征，包含：采用国际标准卷积神经网络结构Caffenet，为适应输入的几何图像，将卷积层后的两层全连接层维度更改为1024，通过迭代地训练学习几何图像低层和高层的特征；选取高层特征即训练网络最后一层全连接层的特征作为几何图像特征；通过将三维网格模型对应的几何图像特征做最大值映射，得到最终可用于检索任务中相似度计算的三维网格模型的特征。

本发明的有益效果是，将三维网格模型转化为几何图像的方法，以便标准卷积神经网络可以直接用于学习三维网格模型。使用多种几何特征对几何图像进行编码，然后学习几何图像来获取三维网格模型的拓扑和结构信息，得到具有高表达能力的三维网格模型特征。

附图说明

图1是三维网格模型等面积球面参数化的过程示意图；

图2是三维网格模型亏格示意图；

图3是基于几何图像的三维网格模型检索具体实现过程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行描述。其中附图1描述了按照保面积球面参数化方法将三维网格模型映射成二维平面几何图像的过程。附图3描述了基于几何图像的三维网格模型检索具体实现过程。

下面结合附图对本发明进行进一步的说明。

具体的实现步骤：

(1)按照等面积球面参数化方法将三维网格模型映射成二维平面几何图像，卷积神经网络训练样本和学习参数的数量有时会限制图像的输入分辨率，在分辨率的约束下，与保角参数化构建的几何图像相比，保面积参数化构建的几何图像可以编码更多关于形状的信息。

如图1所示，球面参数化过程包括以下步骤：对三维网格模型进行体素化处理，生成体素模型；将不符合欧拉定理的或者高亏格的模型转换为符合欧拉定理且亏格为0的模型；通过迭代地计算最小化面积畸变，将网格模型映射到球形三维网格上。其中，分别用m、|V|、|F|和|E|表示网格模型的亏格数、顶点数、面片数和边数，则欧拉定理为：2-2m＝|V|+|F|-|E|。亏格是代数几何和代数拓扑中最基本的概念之一。若曲面中最多可画出n条闭合曲线同时不将曲面分开，则称该曲面亏格为n。以实的闭曲面为例，亏格就是曲面上洞眼的个数，如图2所示，图中左数第一个闭合球体即亏格为0，左数第二个环状模型上有1个洞眼，即亏格为1，左数第三个模型上有2个洞眼，即亏格为2，左数第四个模型上有3个洞眼，即亏格为3。无论曲面的形状怎么变化，其上的穿过孔洞数是不会变化的，即是曲面在连续变化中的不变性。

根据求解泊松方程评估一个标量谐波场，所述标量谐波场对应于需要参数化的三维网格模型和参数化后得到的球形三维网格上顶点的面积失真比，其中g是定义在三维网格模型顶点集合V上的一个方程，δh是指三维网格模型映射前后总面积失真比向量，δh的每一个元素被定义为 是指参数化后的球形三维网格上顶点u处Voronoi区域面积，A_u是指参数化前的三维网格模型上对应顶点u处Voronoi区域面积。计算三维网格模型上的顶点位移以减少面积失真比，即通过计算参数化前的三维网格模型上的调和函数的梯度场，确定每个顶点的梯度向量，从而确定位移；依据参数化前三维网格模型上的顶点位移调整球形三维网格上顶点的位置，执行从三维网格模型到球形三维网格的重心映射，即通过计算在参数化前三维网格模型上的顶点位移指导球形三维网格上相应顶点的位移，ρ是一个值为0.01的参数值。

(2)在步骤(1)获得的球形三维网格上进行采样，将采样点映射到八面体上，沿着八面体的边剪开、铺平，就得到一个平面方形，该方形区域便是几何图像的雏形。与四面体或立方体相比，在八面体上信号可以线性插入到常规的正方形网格中。

(3)将模型参数化到平面后，需要对几何图像进行编码。使用网格模型局部属性描述符编码几何图像的像素值，等同于将模型表面的信息存储于图像的中，在降维的同时保留了原有的几何信息，这就是几何图像可以有效应对三维几何任务的根本原因。可选择的曲面属性描述符有很多，对于刚性三维网格模型模型，可以选择顶点坐标、顶点主曲率或顶点高斯曲率等来编码每一个像素；对于非刚性三维网格模型来说，由于模型会发生等距变换，常规的几何属性不足以应对，应该选择一些具有等距变换不变的内蕴属性信息来编码，如热核特征(即HKS)。本发明在步骤2获得的二维平面基础上，对刚性网格模型采用曲率信息对采样点进行编码，对非刚性网格模型采用尺度无关的热核特征(即SIHKS)和100维的波核特征的前16位和后16位的特征值对采样点进行编码，得到最终表达能力更强的几何图像。其中，SIHKS特征作为HKS的改进，对非刚性三维网格模型具有内蕴性的表达，能够反映出模型的本质属性，且具有良好的尺度不变性和稳定性，针对畸变的模型有较强的刻画能力；而WKS通过不同的频率将模型在不同空间尺度上的信息清晰地分离开来，既能够获得低频信息，也可以捕获相当量的高频信息，对三维网格模型有着全面详细的描述。

(4)在传统的卷积神经网络上，大都是以图像的RGB像素值作为输入。与传统的深层架构不同，卷积神经网络架构可以通过权重共享来减少学习的变量数。广泛应用于图像处理的卷积滤波器中的权重共享原理适用于使用几何图像学习三维形状。这是因为和图像一样，三维网格模型也是由原子特征组成的，并具有自然的层次结构概念。而且，本发明对刚性和非刚性网格模型的几何图像的像素编码不同的特征，使其有助于卷积神经网络区分性地学习三维网格模型表面信息。采用国际标准卷积神经网络结构Caffenet，将步骤3获得的最终几何图像作为标准卷积神经网络的输入，为适应输入的几何图像，将卷积层后的两层全连接层维度更改为1024，经过迭代地训练学习得到几何图像的特征，选取训练网络最后一层全连接层的特征作为几何图像特征，通过将三维网格模型对应的几何图像特征做最大值映射，得到最终三维网格模型的特征。

(5)将三维网格模型数据库中各个网格模型的几何图像特征进行归一化处理，归一化之后的特征值范围在[0,1]之间，缩短了特征值之间在数量级上的差异，分别计算待检索模型归一化后的几何图像特征与三维网格模型数据库中其余三维网格模型归一化后的几何图像特征的余弦距离，作为待检索三维网格模型与数据库中的三维网格模型之间的相似度。余弦距离可以看作是两个特征向量之间的夹角，用向量空间中两个向量夹角的余弦值来衡量两个个体之间的差异大小，由于对绝对数值不敏感，故余弦距离能更好地描述两个三维网格模型特征的相似度。将上述相似度计算结果按照从大到小排序，相似度值越大，排名越靠前，与待检索的三维网格模型越相似，根据对应的模型编号在数据库中找出编号对应的三维网格模型，即为检索结果。

Claims (5)

1.一种基于几何图像的三维网格模型检索方法，其特征在于，包括以下步骤：

(1)将三维网格模型通过保面积参数化方法映射到球面上，得到参数化后的球形三维网格；然后将得到的球形三维网格映射到八面体上，沿着八面体的边剪开、铺平，得到一个二维平面；

(2)对二维平面上的每个像素点进行编码，对刚性三维网格模型，使用最大曲率、最小曲率和高斯曲率进行编码，对非刚性三维模型，使用尺度无关的热核特征值、100维的波核特征的前16位和后16位的特征值进行编码，获得几何图像；所述刚性三维网格模型为三维网格模型表面顶点在受力前后相对位置不变；所述非刚性三维网络模型为具有铰链结构，三维网格模型表面顶点在受力前后相对位置发生改变；所述热核特征为根据热扩散方程计算三维网格表面顶点经过一段时间热量扩散后的剩余热量值，波核特征是根据波动方程计算三维网格表面顶点不同能力等级不同量子粒子的平均分布概率；

(3)采用标准卷积神经网络结构，将所述几何图像作为输入，经过迭代地训练学习得到几何图像的特征，通过最大值映射得到对应的三维网格模型的特征；

(4)根据得到的三维网格模型的特征，计算待检索的三维网格模型与数据库中其余三维网格模型的相似度，根据所述相似度计算的结果，输出检索结果。

2.根据权利要求1所述的一种基于几何图像的三维网格模型检索方法，其特征在于：所述步骤1中，所述保面积球面参数化包括：

(11)对输入三维网格模型进行预处理操作，即将不符合欧拉定理的或者高亏格的三维网格模型转换为符合欧拉定理且亏格为0的模型后再进行初始球面参数化；

(12)计算初始参数化过程中的面积失真比，即根据求解泊松方程评估一个标量谐波场，所述标量谐波场对应于需要参数化的三维网格模型和参数化后得到的球形三维网格上顶点的面积失真比，其中g是定义在三维网格模型顶点集合V上的一个方程，δh是指三维网格模型映射前后总面积失真比向量，δh的每一个元素被定义为 是指参数化后的球形三维网格上顶点u处Voronoi区域面积，A_u是指参数化前的三维网格模型上对应顶点u处Voronoi区域面积；

(13)计算三维网格模型上的顶点位移以减少面积失真比，即通过计算参数化前的三维网格模型上的调和函数的梯度场，确定每个顶点的梯度向量，从而确定位移；

(14)依据参数化前三维网格模型上的顶点位移调整球形三维网格上顶点的位置，执行从三维网格模型到球形三维网格的重心映射，即通过计算在参数化前三维网格模型上的顶点位移指导球形三维网格上相应顶点的位移ρ是设定的参数值。

3.根据权利要求2所述的一种基于几何图像的三维网格模型检索方法，其特征在于：所述设定的参数值为0.01。

4.根据权利要求1所述的一种基于几何图像的三维网格模型检索方法，其特征在于：所述步骤2中，具体包含以下步骤：

(21)针对刚性三维网格模型，计算模型表面顶点的最大曲率、最小曲率和高斯曲率，针对非刚性三维网格模型，计算模型表面顶点的尺度无关的热核特征和100维的波核特征；

(22)对二维平面上的像素点进行编码，每个像素点具有红绿蓝三个颜色分量，针对刚性三维网格模型，将最大曲率的值赋给红色分量，最小曲率的值赋给绿色分量，高斯曲率的值赋给蓝色分量，针对非刚性三维网格模型，将尺度无关的热核特征值赋给红色分量，前16位波核特征赋给绿色分量，后16位波核特征赋给蓝色分量。

5.根据权利要求1所述的一种基于几何图像的三维网格模型检索方法，其特征在于：所述步骤3中，具体实现步骤如下：

(31)采用国际标准卷积神经网络结构Caffenet，为适应输入的几何图像，将卷积层后的两层全连接层维度设置为1024，通过迭代地训练学习几何图像低层和高层的特征；

(32)选取高层特征即训练网络最后一层全连接层的特征作为几何图像特征；

(33)通过将三维网格模型对应的几何图像特征做最大值映射，得到最终可用于检索任务中相似度计算的三维网格模型的特征。