CN110019914B - 一种支持三维场景交互的三维模型数据库检索方法 - Google Patents

Abstract

本发明公开了一种支持三维场景交互的三维模型数据库检索方法，先建立三维模型数据库，输入是一张二维图片，依次对输入的二维图片进行图像预处理、图像识别、特征提取、特征融合、输出结果。与现有技术相比，本发明能够根据二维视图，可以检索出该二维图像中所有物体所对应的近似3D模型。普通的3D检索系统只能根据关键字找出某一类的模型。但是随着用户需求的不断增长，该检索系统可以根据输入的二维视图，检索出多个3D模型。这样，不仅可以使操作更加人性化，还可以大大提升用户的检索时间的效率。

Description

一种支持三维场景交互的三维模型数据库检索方法

技术领域

本发明涉及三维模型数据库检索识别技术领域，特别是一种支持三维场景交互的三维模型数据库检索方法。

背景技术

随着计算机图形学理论的不断进步以及三维重建技术的飞速发展，互联网空间上已经有数以兆计的三维模型。此外，各种三维模型输入输出设备也在日益更新，每天都有大量的新的模型出现。

随着这些三维模型的数量和种类的不断增长，许多大型的三维模型数据库应运而生，并公开供用户直接使用。比如，包含了55个种类、51300个3D模型的ShapeNetCore，包含生物分子数据结构的蛋白质三维模型数据库，包含电子零件、建筑和机械CAD模型的美国国家设计库，以及Trimble公司推出的世界上种类最全、最流行的3D模型数据库之一——3DWarehouse，著名的3D模型交易平台TurboSquid目前已拥有超过30万个模型。国外的3D模型库已经很成熟，但在国内仍然没有一个权威的三维模型数据库。国内现有的模型库大多都是商业用途，主要用于游戏娱乐，建筑设计，以及室内家具展示。并且国内外的大多数3D模型库只支持关键字搜索，基于文本关键词的三维模型检索方法要求数据库中文本标注信息比较完整，且检索效果受到不同语言及表达方式的限制。当三维模型特征复杂时，文本关键字难以进行描述。现有的3D模型库只能支持模型库的检索，而不能直接对检索出来的模型进行进一步的操作，只能通过一些建模软件(3DMax，Unity)渲染。

发明内容

本发明的目的是要解决现有技术中存在的不足，提供一种支持三维场景交互的三维模型数据库检索方法。

为达到上述目的，本发明是按照以下技术方案实施的：

一种支持三维场景交互的三维模型数据库检索方法，包括以下步骤：

步骤一、三维模型数据库的建立，具体包括以下步骤：

(1)模型标准化：

模型的标准化需要对三维物体进行位置和尺寸的归一化；归一化处理的结果是将三维模型置于一个以该模型质心为中心、半径为1的最小包围球内；

(2)投影变化：

三维物体靠投影来降低维数得到二维平面图形，因此把三维坐标转变为二维坐标的过程称为投影变换，透视投影的特点是所有投影线都从空间一点即视点或投影中心投射，离视点近的物体投影大，离视点远的物体投影小，小到极点消失，透视投影整体变换为：

步骤二、三维模型数据库建立好之后，进行三维模型数据库检索：输入是一张二维图片，首先会对图片进行预处理，将处理后的图片送进CNN卷积神经网络中，得出这张图片的所属类别；接下来，在三维模型数据库中找到对应类别下的模型，并将该类别下模型的二维投影视图与该图片做相似度比较；最后，根据相似度值进行排序，返回搜索结果；具体包括以下步骤：

(1)图像预处理：

对输入二维图片进行缩放和裁剪后转换成合适的尺寸，并通过均值滤波对缩放和裁剪后的图像进行去噪；

(2)图像识别：

输入图像经过预处理之后，送入卷积神经网络中，使用MobileNets进行图像识别，然后输出对应的分类；

(4)特征提取：

通过Canny算子提取图片的边缘特征，获取图像的全局特征；利用SIFT算法检测特征点，并用k-means聚类算法对SIFT特征进行聚类构建词典，获取词频向量对应的直方图,即图片的局部特征，最后，根据Canny和SIFT检测到的特征值，用欧氏距离分别计算输入图片和二维投影图片之间的相似度，并将两个不同特征得到的相似度进行加权相加，得出相似度并进行排序；

(4)特征融合：

通过提取二维视图的局部特征矩阵和全局特征矩阵，将三维模型相似性度量转化为特征矩阵之间的距离运算，为了反映矩阵所代表的模型间的相似度，采用Manhattan距离，设P1代表模型对应二维视图，P2代表输入图像，C1和C2分别为P1和P2的全局特征矩阵，S1和S2分别代表二者的局部特征矩阵，则相似性度量由式以下公式计算得出：D(P1，P2)＝w1|C1-C2|+w2|S1-S2|，其中，w1和w2分表代表全局特征矩阵和局部特征矩阵在整个距离中所占的权重；

(5)输出结果：

根据上一步计算所得的相似度，对模型进行排序，并输出最终的三维模型。

进一步，所述步骤二中的(1)中的去噪的方法为：所述均值滤波是用均值来替代原图像中的各个像素值，由式以下公式计算：

其中，g(s,t)表示原始图像，f(x,y)表示均值滤波后得到的图像。

进一步，所述步骤一中的(1)具体为：

1)位置归一化

对三维模型位置的归一化处理是通过对模型进行平移使其质心或几何中心与坐标原点重合的方式来实现，即：

M^*＝M-c

式中，M*和M分别为位置归一化前后的模型，c为模型的质心；

2)尺寸归一化

模型的尺寸归一化是采用最大半径缩放法进行处理，该方法首先计算模型所有顶点到坐标原点的最大半径，然后对最大半径进行单位距离归一化计算，即：

式，M和Ms分别为位置归一化前后的模型，d_E(p_i，o)表示模型M的一个顶点pi与原点o之间的距离。

与现有技术相比，本发明的有益效果为：

1、基于二维视图对3D模型近似匹配，其中，二维视图主要包括草图和图像。到现在为止，图片一直都是最受欢迎的媒介，在网络上无处不在，因为它们很容易被获取以及扩散，并且包含着丰富的视觉信息。但是，图片毕竟是3D世界在二维平面上的投影，缺乏一些关键的语义信息，例如人类看到一张有车侧面信息的图片，我们看一眼就知道图片中物体的种类是车，并且我们还可以立马想象出它在真实世界中的模型，以及相对位置。因此用二维视图进行搜索可以更好更精确地检索相对应的三维模型。

2、可以与检索到的模型直接进行交互，如改变模型的大小，位移，方位以及纹理。从模型库中检索出来的模型可能会在大小，位置和方位上和用户预期有差异。该检索系统支持三维模型和用户的交互，用户可以直接对物体进行位移，缩放和旋转操作。此外，用户还可以实时改变模型的纹理来生成一些更接近真实物体的3D模型。

3、根据二维视图，可以检索出该二维图像中所有物体所对应的近似3D模型。普通的3D检索系统只能根据关键字找出某一类的模型。但是随着用户需求的不断增长，该检索系统可以根据输入的二维视图，检索出多个3D模型。这样，不仅可以使操作更加人性化，还可以大大提升用户的检索时间的效率。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合具体实施例对本发明作进一步描述，在此发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

本实施例的一种支持三维场景交互的三维模型数据库检索方法，是基于三维模型数据库，三维模型库中不仅包括物体的三维模型，还包含该模型所对应的二维投影视图，首先进行三维模型库的建立，主要分为以下步骤：

(1)模型标准化：

模型的标准化需要对三维物体进行位置和尺寸的归一化；归一化处理的结果是将三维模型置于一个以该模型质心为中心、半径为1的最小包围球内，具体为：

1)位置归一化

对三维模型位置的归一化处理可以通过对模型进行平移使其质心或几何中心与坐标原点重合的方式来实现，即：

M^*＝M-c

式中，M*和M分别为位置归一化前后的模型，c为模型的质心；

2)尺寸归一化

模型的尺寸归一化通常采用最大半径缩放法进行处理。该方法首先计算模型所有顶点到坐标原点的最大半径，然后对最大半径进行单位距离归一化计算，即：

式，M和Ms分别为位置归一化前后的模型，d_E(p_i，o)表示模型M的一个顶点pi与原点o之间的距离；

(2)投影变化

三维物体靠投影来降低维数得到二维平面图形，因此把三维坐标转变为二维坐标的过程称为投影变换，透视投影的特点是所有投影线都从空间一点即视点或投影中心投射，离视点近的物体投影大，离视点远的物体投影小，小到极点消失，透视投影整体变换为：

模型库建立好之后，就可以基于二维图片进行检索。一种支持三维场景交互的三维模型数据库检索方法，此方法输入是一张二维图片，首先会对图片进行预处理，将处理后的图片送进CNN卷积神经网络中，得出这张图片的所属类别；接下来，在三维模型数据库中找到对应类别下的模型，并将该类别下模型的二维投影视图与该图片做相似度比较；最后，根据相似度值进行排序，就可以返回搜索结果。该方法具体包括以下步骤：

(1)图像预处理：

对输入图像进行缩放和裁剪后转换成合适的尺寸，并通过均值滤波对缩放和裁剪后的图像进行去噪，所述均值滤波是用均值来替代原图像中的各个像素值，由式以下公式计算：

其中，g(s,t)表示原始图像，f(x,y)表示均值滤波后得到的图像；

(2)图像识别：

输入图像经过预处理之后，送入卷积神经网络中，使用MobileNets进行图像识别，然后输出图片所对应的分类，通过得到的分类可以缩小模型的检索范围。

(3)特征提取：

通过Canny算子提取图片的边缘特征，获取图像的全局特征；利用SIFT算法检测特征点，并用k-means聚类算法对SIFT特征进行聚类构建词典，获取词频向量对应的直方图,即图片的局部特征，最后，根据Canny和SIFT检测到的特征值，用欧氏距离分别计算输入图片和二维投影图片之间的相似度，并将两个不同特征得到的相似度进行加权相加，得出相似度并进行排序；接下来将分别介绍全局特征提取算法——Canny边缘检测算法和局部特征提取算法——SIFT的实施。

OpenCV已经提供了这两个算法的接口。调用cvCanny()函数就可以使用Canny边缘检测，产生一个mask矩阵(白线代表边缘，黑色代表背景)；同理，调用SiftFeatureDetector就可以提取图片中的尺度不变特征矩阵。

(4)特征融合：

通过提取二维视图的局部特征矩阵和全局特征矩阵，将三维模型相似性度量转化为特征矩阵之间的距离运算，为了反映矩阵所代表的模型间的相似度，采用Manhattan距离，设P1代表模型对应二维视图，P2代表输入图像，C1和C2分别为P1和P2的全局特征矩阵，S1和S2分别代表二者的局部特征矩阵，则相似性度量由式以下公式计算得出：

D(P1，P2)＝w1|C1-C2|+w2|S1-S2|

其中，w1和w2分表代表全局特征矩阵和局部特征矩阵在整个距离中所占的权重；

(5)输出结果

根据上一步计算所得的相似度，对模型进行排序，并输出最终的三维模型。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (3)

1.一种支持三维场景交互的三维模型数据库检索方法，其特征在于，包括以下步骤：

步骤一、三维模型数据库的建立，具体包括以下步骤：

(1)模型标准化：

模型的标准化需要对三维物体进行位置和尺寸的归一化；归一化处理的结果是将三维模型置于一个以该模型质心为中心、半径为1的最小包围球内；

(2)投影变化：

三维物体靠投影来降低维数得到二维平面图形，因此把三维坐标转变为二维坐标的过程称为投影变换，透视投影的特点是所有投影线都从空间一点即视点或投影中心投射，离视点近的物体投影大，离视点远的物体投影小，小到极点消失，透视投影整体变换为：

步骤二、三维模型数据库建立好之后，进行三维模型数据库检索：输入是一张二维图片，首先会对图片进行预处理，将处理后的图片送进CNN卷积神经网络中，得出这张图片的所属类别；接下来，在三维模型数据库中找到对应类别下的模型，并将该类别下模型的二维投影视图与该图片做相似度比较；最后，根据相似度值进行排序，返回搜索结果；具体包括以下步骤：

(1)图像预处理：

对输入二维图片进行缩放和裁剪后转换成合适的尺寸，并通过均值滤波对缩放和裁剪后的图像进行去噪；

(2)图像识别：

输入图像经过预处理之后，送入卷积神经网络中，使用MobileNets进行图像识别，然后输出对应的分类；

(3)特征提取：

通过Canny算子提取图片的边缘特征，获取图像的全局特征；利用SIFT算法检测特征点，并用k-means聚类算法对SIFT特征进行聚类构建词典，获取词频向量对应的直方图,即图片的局部特征，最后，根据Canny和SIFT检测到的特征值，用欧氏距离分别计算输入图片和二维投影图片之间的相似度，并将两个不同特征得到的相似度进行加权相加，得出相似度并进行排序；

(4)特征融合：

通过提取二维视图的局部特征矩阵和全局特征矩阵，将三维模型相似性度量转化为特征矩阵之间的距离运算，为了反映矩阵所代表的模型间的相似度，采用Manhattan距离，设P1代表模型对应二维视图，P2代表输入图像，C1和C2分别为P1和P2的全局特征矩阵，S1和S2分别代表二者的局部特征矩阵，则相似性度量由式以下公式计算得出：D(P1，P2)＝w1|C1-C2|+w2|S1-S2|，其中，w1和w2分表代表全局特征矩阵和局部特征矩阵在整个距离中所占的权重；

(5)输出结果：

根据上一步计算所得的相似度，对模型进行排序，并输出最终的三维模型。

2.根据权利要求1所述的支持三维场景交互的三维模型数据库检索方法，其特征在于：所述步骤二中的(1)中的去噪的方法为：所述均值滤波是用均值来替代原图像中的各个像素值，由式以下公式计算：

其中，g(s,t)表示原始图像，f(x,y)表示均值滤波后得到的图像。

3.根据权利要求1所述的支持三维场景交互的三维模型数据库检索方法，其特征在于：所述步骤一中的(1)具体为：

1)位置归一化

对三维模型位置的归一化处理是通过对模型进行平移使其质心或几何中心与坐标原点重合的方式来实现，即：

M^*＝M-c

式中，M*和M分别为位置归一化前后的模型，c为模型的质心；

2)尺寸归一化

模型的尺寸归一化是采用最大半径缩放法进行处理，该方法首先计算模型所有顶点到坐标原点的最大半径，然后对最大半径进行单位距离归一化计算，即：

式，M和Ms分别为位置归一化前后的模型，d_E(p_i，o)表示模型M的一个顶点pi与原点o之间的距离。

Images