CN106484692B - 一种三维模型检索方法 - Google Patents

Abstract

本发明公开了一种三维模型检索方法：接收用户所绘制的、用于进行三维模型检索的二维草图，生成所述二维草图的形状特征描述符；分别计算预先生成的三维模型数据库中的各三维模型对应的各二维轮廓线图的形状特征描述符与所述二维草图的形状特征描述符之间的相似度，每个三维模型分别对应M幅二维轮廓线图，M为大于1的正整数；按照相似度由大到小的顺序，对各二维轮廓线图进行排序，并将排序后处于前N位的二维轮廓线图展示给用户，N为正整数；当确定用户选中所展示的任一二维轮廓线图时，将所选中的二维轮廓线图对应的三维模型展示给用户。应用本发明所述方案，能够提高三维模型的检索效率。

Description

一种三维模型检索方法

技术领域

本发明涉及计算机应用技术，特别涉及一种三维模型检索方法。

背景技术

虚拟现实场景构建是虚拟现实技术实现的基础，并应用到了虚拟现实领域的各个方面。

伴随着虚拟现实技术的发展，用于共享应用的三维模型越来越多，而三维场景构建技术即利用此优势，在三维模型检索技术基础上提供给用户更加便捷的场景构建过程。此项技术不仅可以给普通用户提供方便地构建三维场景的平台，而且可以供专业用户设计更为复杂的三维场景，提高设计效率。

在实际应用中，可预先建立一个三维模型数据库，这样，在构建三维场景的过程中，当需要使用某一个三维模型时，可通过检索技术，从三维模型数据库中检索出该三维模型。具体检索方式可为：对要检索的三维模型进行文本描述，从三维模型数据库中检索出与所述文本描述相符的三维模型。

上述检索方式虽然实现简单，但文本描述内容和实际的三维模型很可能存在差异，从而导致产生错误的检索结果，这样，用户可能需要重新进行检索等，从而降低了三维模型的检索效率。

发明内容

有鉴于此，本发明提供了一种三维模型检索方法，能够提高三维模型的检索效率。

为了达到上述目的，本发明的技术方案是这样实现的：

一种三维模型检索方法，包括：

接收用户所绘制的、用于进行三维模型检索的二维草图，生成所述二维草图的形状特征描述符；

分别计算预先生成的三维模型数据库中的各三维模型对应的各二维轮廓线图的形状特征描述符与所述二维草图的形状特征描述符之间的相似度，每个三维模型分别对应M幅二维轮廓线图，M为大于1的正整数；

按照相似度由大到小的顺序，对各二维轮廓线图进行排序，并将排序后处于前N位的二维轮廓线图展示给用户，N为正整数；

当确定用户选中所展示的任一二维轮廓线图时，将所选中的二维轮廓线图对应的三维模型展示给用户。

可见，采用本发明所述方案，利用二维草图来进行三维模型的检索，而不是现有技术中所述的文本描述，从而克服了现有技术中存在的问题，进而提高了三维模型的检索效率。

附图说明

图1为本发明三维模型检索方法实施例的流程图。

图2为本发明所述二维草图的示意图。

图3为本发明所述三维模型及其对应的二维深度图像的示意图。

图4为本发明所述包围球的示意图。

图5为本发明所述对二维深度图像进行两种不同尺度下的高斯滤波后得到的两幅二维滤波图像的示意图。

图6为对图5所示两幅二维滤波图像进行差分运算后得到的差分结果的示意图。

图7为本发明所述二维轮廓线图的示意图。

图8为图7所示二维轮廓线图对应的4幅二维滤波图像的示意图。

图9为本发明所述图像局部区域的示意图。

图10为将图9所示图像局部区域平均划分为4个子区域后的示意图。

图11为本发明所述为用户展示二维轮廓线图和三维模型的方式示意图。

具体实施方式

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步的详细说明。

图1为本发明三维模型检索方法实施例的流程图。如图1所示，包括以下步骤11～14。

步骤11：接收用户所绘制的、用于进行三维模型检索的二维草图，生成该二维草图的形状特征描述符。

当用户需要检索某一三维模型时，可首先手动绘制出该三维模型对应的一个二维草图，二维草图可以表现为三维模型的任意方向的结构，但研究显示，用户往往对正面或侧面草图模拟居多，二维草图以简单线条为主，避免出现过多的细节。图2为本发明所述二维草图的示意图。

步骤12：分别计算预先生成的三维模型数据库中的各三维模型对应的各二维轮廓线图的形状特征描述符与该二维草图的形状特征描述符之间的相似度，每个三维模型分别对应M幅二维轮廓线图，M为大于1的正整数。

步骤13：按照相似度由大到小的顺序，对各二维轮廓线图进行排序，并将排序后处于前N位的二维轮廓线图展示给用户，N为正整数。

步骤14：当确定用户选中所展示的任一二维轮廓线图时，将所选中的二维轮廓线图对应的三维模型展示给用户。

以下分别对本发明所述方案实现的各关键点进行详细介绍。

1)预先准备

在进行三维模型检索之前，需要先进行以下处理：生成三维模型数据库中的各三维模型对应的各二维轮廓线图的形状特征描述符，以及，生成各标准形状特征向量。

1.1)生成三维模型数据库中的各三维模型对应的各二维轮廓线图的形状特征描述符

具体地，针对三维模型数据库中的每个三维模型，可分别进行以下处理：

A、分别生成该三维模型在M个不同视角点上的二维深度图像；

B、分别生成每幅二维深度图像对应的二维轮廓线图；

C、分别生成每幅二维轮廓线图的形状特征描述符。

1.1.1)生成二维深度图像

深度图像为三维模型在某一视角点上的深度信息值，能够反映此视角点上三维模型的二维几何形状信息，如图3所示，图3为本发明所述三维模型及其对应的二维深度图像的示意图，其中，中心位置所示为三维模型。

对于相似的二维草图和三维模型，由于事先并不知道二维草图描述的是三维模型哪个方向上的图像，因此为了比较二维草图和三维模型，需要对三维模型进行不同方向的投影，即步骤A中所述的生成三维模型在M个不同视角点上的二维深度图像，M的具体取值可根据实际需要而定。

较佳地，本发明所述方案中，对于任一三维模型，所述M个不同视角点可为：在该三维模型的包围球上均匀分布的102个不同视角点，图4为本发明所述包围球的示意图。各视角点的具体位置可根据实际需要而定，另外，如何生成二维深度图像为现有技术。二维深度图像的像素通常以灰度值来表达，取值范围为[0,255]。

1.1.2)生成二维轮廓线图

步骤A中生成的二维深度图像并不能直接用来和二维草图进行比较，还需要进行进一步的处理，即如步骤B中所述的，分别生成每幅二维深度图像对应的二维轮廓线图。

较佳地，针对每幅二维深度图像，可分别进行以下处理：分别对该二维深度图像进行两种不同尺度下的高斯滤波，得到两幅二维滤波图像；对两幅二维滤波图像进行差分运算，并对差分结果进行多边形拟合和贝塞尔曲线逼近，得到该二维深度图像对应的二维轮廓线图。

其中，二维滤波图像可表示为：

S(x,y,σ)＝f(x,y)*G(x,y,σ)；

表示高斯核，f(x,y)表示二维深度图像。

相应地，对两幅二维滤波图像进行差分运算可表示为：

k为常量，具体取值可根据实际需要而定。

如图5～6所示，图5为本发明所述对二维深度图像进行两种不同尺度下的高斯滤波后得到的两幅二维滤波图像的示意图，不同k值对图像边缘影响较大，图6为对图5所示两幅二维滤波图像进行差分运算后得到的差分结果的示意图。

针对每幅二维深度图像，在得到其对应的差分结果之后，还需要对差分结果进行平滑去噪等处理，即进行多边形拟合和贝塞尔曲线逼近，以得到该二维深度图像对应的二维轮廓线图。多边形拟合和贝塞尔曲线逼近的具体实现均为现有技术。

1.1.3)生成形状特征描述符

如步骤C中所述，在分别生成每幅二维深度图像对应的二维轮廓线图之后，还需要分别生成每幅二维轮廓线图的形状特征描述符。

具体地，针对每幅二维轮廓线图，可分别按照以下步骤a～d所示方式进行处理：

a、分别生成该二维轮廓线图的Y个局部形状特征向量，Y为大于1的正整数；

b、针对每个局部形状特征向量，分别确定预先生成的Y个标准形状特征向量中与该局部形状特征向量最为相似的标准形状特征向量，并将最为相似的标准形状特征向量对应的统计结果加1，各标准形状特征向量对应的初始统计结果均为0；

c、以各标准形状特征向量为横坐标，各标准形状特征向量对应的统计结果为纵坐标，生成一个统计直方图；

d、对该统计直方图进行归一化，将归一化结果作为该二维轮廓线图的形状特征描述符。

其中，步骤a的具体实现可包括：

a1、分别对该二维轮廓线图进行P个预定方向上的Gabor滤波，得到P幅二维滤波图像，P为大于1的正整数；

a2、针对每幅二维滤波图像，分别进行以下处理：按照基于网格均匀采样的方式确定出该二维滤波图像中的Y个采样点，分别以各采样点为中心，得到Y个预定大小的图像局部区域，并针对每个图像局部区域实施层次结构划分，其中下层结构为上层结构的二次细分结果，并按照层次结构分布分别计算出每个层次区域的形状梯度直方图(HOG，Histogramof Gradient)；较佳的，所述层次结构为两层，针对每个图像局部区域，分别计算出该图像局部区域的HOG以及将该图像局部区域平均划分为4个子区域后的每个子区域的HOG，若所述层次结构为三层，那么则将划分出的4个子区域进一步分别划分为4个子区域；

a3、分别将P幅二维滤波图像中的同一图像局部区域对应的各HOG按照预定顺序进行链接，得到各图像局部区域的局部形状特征向量。

步骤a1中，所述P的具体取值可根据实际需要而定，较佳地，可取值为4，所述预定方向具体为何种方向同样可根据实际需要而定。分别对该二维轮廓线图进行P个预定方向上的Gabor滤波，即指对该二维轮廓线图进行P个预定方向上的Gabor变换，具体实现为现有技术。如图7～8所示，图7为本发明所述二维轮廓线图的示意图，图8为图7所示二维轮廓线图对应的4(假设P的取值为4)幅二维滤波图像的示意图。

步骤a2中，针对步骤a1中得到的每幅二维滤波图像，首先需要确定出该二维滤波图像中的Y个采样点，Y的具体取值可根据实际需要而定，较佳地，Y的取值可为625。本发明所述方案中，可按照基于网格均匀采样的方式确定出该二维滤波图像中的Y个采样点，即将该二维滤波图像均匀划分为Y个区域，并将每个区域的中心点作为一个采样点，在此基础上，可以各采样点为中心，得到Y个预定大小的图像局部区域，所述预定大小的具体取值同样可根据实际需要而定，较佳地，可为该二维滤波图像大小的10％，之后，可针对每个图像局部区域，分别计算出该图像局部区域的HOG以及将该图像局部区域平均划分为4个子区域后的每个子区域的HOG，如何计算HOG为现有技术，如图9～10所示，图9为本发明所述图像局部区域的示意图，图10为将图9所示图像局部区域平均划分为4个子区域后的示意图。

在按照步骤a2所示方式对P幅二维滤波图像均处理完毕后，即可如步骤a3中所述，分别将P幅二维滤波图像中的同一图像局部区域对应的各HOG按照预定顺序进行链接，得到各图像局部区域的局部形状特征向量，所述预定顺序具体为何种顺序同样可根据实际需要而定。

举例说明：

假设P的取值为4，Y的取值为625，另外，为了便于说明，将625个图像局部区域分别称为图像局部区域1～图像局部区域625，将4幅二维滤波图像分别称为二维滤波图像1～二维滤波图像4；

那么，针对图像局部区域1，可按照以下顺序对各HOG进行链接，以得到图像局部区域1的局部形状特征向量：二维滤波图像1中的图像局部区域1的HOG+对二维滤波图像1中的图像局部区域1进行划分后得到的左上角子区域的HOG+对二维滤波图像1中的图像局部区域1进行划分后得到的右上角子区域的HOG+对二维滤波图像1中的图像局部区域1进行划分后得到的左下角子区域的HOG+对二维滤波图像1中的图像局部区域1进行划分后得到的右下角子区域的HOG+二维滤波图像2中的图像局部区域1的HOG+对二维滤波图像2中的图像局部区域1进行划分后得到的左上角子区域的HOG+对二维滤波图像2中的图像局部区域1进行划分后得到的右上角子区域的HOG+对二维滤波图像2中的图像局部区域1进行划分后得到的左下角子区域的HOG+对二维滤波图像2中的图像局部区域1进行划分后得到的右下角子区域的HOG+二维滤波图像3中的图像局部区域1的HOG+对二维滤波图像3中的图像局部区域1进行划分后得到的左上角子区域的HOG+对二维滤波图像3中的图像局部区域1进行划分后得到的右上角子区域的HOG+对二维滤波图像3中的图像局部区域1进行划分后得到的左下角子区域的HOG+对二维滤波图像3中的图像局部区域1进行划分后得到的右下角子区域的HOG+二维滤波图像4中的图像局部区域1的HOG+对二维滤波图像4中的图像局部区域1进行划分后得到的左上角子区域的HOG+对二维滤波图像4中的图像局部区域1进行划分后得到的右上角子区域的HOG+对二维滤波图像4中的图像局部区域1进行划分后得到的左下角子区域的HOG+对二维滤波图像4中的图像局部区域1进行划分后得到的右下角子区域的HOG；

类似地，可分别得到图像局部区域2～图像局部区域625的局部形状特征向量。

如步骤a～d中所述，针对每幅二维轮廓线图，在分别生成该二维轮廓线图的Y个局部形状特征向量之后，可针对每个局部形状特征向量，分别确定出预先生成的Y个标准形状特征向量中与该局部形状特征向量最为相似的标准形状特征向量，并将最为相似的标准形状特征向量对应的统计结果加1，各标准形状特征向量对应的初始统计结果均为0，之后，可以各标准形状特征向量为横坐标，以各标准形状特征向量对应的统计结果为纵坐标，生成一个统计直方图，再之后，可对该统计直方图进行归一化，并将归一化结果作为该二维轮廓线图的形状特征描述符。

其中，对该统计直方图进行归一化的方式可为：

对于每个标准形状特征向量i，分别按照以下方式计算出其对应的归一化后的统 计结果t_i：

其中，n_id表示归一化之前标准形状特征向量i对应的统计结果；

n_d表示该统计直方图对应的二维轮廓线图中的采样点的总个数，即取值等于Y，N'表示三维模型数据库中的各三维模型对应的二维轮廓线图的总个数，即取值等于三维模型数据库中的三维模型的总个数*M，n_i表示N'个二维轮廓线图中符合以下条件的二维轮廓线图的总个数：对应的统计直方图中、标准形状特征向量i对应的统计结果不为0。

1.2)生成各标准形状特征向量

在进行三维模型检索之前，还需要先生成各标准形状特征向量，具体实现可包括：

确定出Q幅作为样本的二维草图，Q为大于1的正整数，具体取值可根据实际需要而定，较佳地，可为3万；

分别生成每幅作为样本的二维草图的Y个局部形状特征向量；

对得到的Q*Y个局部形状特征向量进行聚类，得到Y个聚类结果；

分别将属于同一类别的各局部形状特征向量的平均值作为一个标准形状特征向量。

作为样本的二维草图通常为手绘草图，且以简单线条为主，避免出现过多的细节，对于每幅作为样本的二维草图，可按照与前述生成二维轮廓线图的Y个局部形状特征向量相同的方式，分别生成每幅二维草图的Y个局部形状特征向量，从而共得到Q*Y个局部形状特征向量，之后，可对得到的Q*Y个局部形状特征向量进行聚类，并得到Y个聚类结果，如何进行聚类为现有技术，再之后，可分别将属于同一类别的各局部形状特征向量的平均值作为一个标准形状特征向量，从而共得到Y个标准形状特征向量。

2)三维模型检索

当用户进行三维模型检索，即当接收到用户所绘制的二维草图时，可首先按照前述介绍生成该二维草图的形状特征描述符(与生成二维轮廓线图的形状特征描述符的方式相同)，之后，可分别计算预先生成的三维模型数据库中的各三维模型对应的各二维轮廓线图的形状特征描述符与该二维草图的形状特征描述符之间的相似度，并按照相似度由大到小的顺序，对各二维轮廓线图进行排序，将排序后处于前N位的二维轮廓线图展示给用户，N为正整数，具体取值可根据实际需要而定，后续，当确定用户选中所展示的任一二维轮廓线图时，可将所选中的二维轮廓线图对应的三维模型展示给用户。

其中，每个二维轮廓线图的形状特征描述符与二维草图的形状特征描述符之间的 相似度为：

Y表示标准形状特征向量数，表示二维草图中标准形状特征向量i对应的归一化后的统计结果，表示二维轮廓线图中标准形状特征向量i对应的归一化后的统计结果。

图11为本发明所述为用户展示二维轮廓线图和三维模型的方式示意图，如图11所示，区域1中显示的为接收到的用户所绘制的二维草图，区域2中显示的为排序后处于前N位的各二维轮廓线图，当用户选中区域2中位于第一行第二列的二维轮廓线图时，将该二维轮廓线图对应的三维模型展示到区域3中。

总之，采用本发明所述方案，利用二维草图来进行三维模型的检索，而不是现有技术中所述的文本描述，从而克服了现有技术中存在的问题，进而提高了三维模型的检索效率，而且，本发明所述方案实现起来简单方便，从而便于进行普及和推广。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种三维模型检索方法，其特征在于，包括：

在进行三维模型检索之前，针对三维模型数据库中的每个三维模型，分别进行以下处理：

分别生成该三维模型在M个不同视角点上的二维深度图像；

分别生成每幅二维深度图像对应的二维轮廓线图；

分别生成每幅二维轮廓线图的形状特征描述符；

其中，针对二维草图和各二维轮廓线图中的每幅二维图像，分别按照以下方式得到其形状特征描述符：

分别生成该二维图像的Y个局部形状特征向量，Y为大于1的正整数；

针对每个局部形状特征向量，分别确定预先生成的Y个标准形状特征向量中与该局部形状特征向量最为相似的标准形状特征向量，并将最为相似的标准形状特征向量对应的统计结果加1，各标准形状特征向量对应的初始统计结果均为0；

以各标准形状特征向量为横坐标，各标准形状特征向量对应的统计结果为纵坐标，生成一个统计直方图；

对该统计直方图进行归一化，将归一化结果作为该二维图像的形状特征描述符；

所述分别生成该二维图像的Y个局部形状特征向量包括：

分别对该二维图像进行P个预定方向上的Gabor滤波，得到P幅二维滤波图像，P为大于1的正整数；

针对每幅二维滤波图像，分别进行以下处理：按照基于网格均匀采样的方式确定出该二维滤波图像中的Y个采样点，分别以各采样点为中心，得到Y个预定大小的图像局部区域，并针对每个图像局部区域实施层次结构划分，其中下层结构为上层结构的二次细分结果，并按照层次结构分布分别计算出每个层次区域的形状梯度直方图HOG；

分别将P幅二维滤波图像中的同一图像局部区域对应的各HOG按照预定顺序进行链接，得到各图像局部区域的局部形状特征向量；

在进行三维模型检索之前，确定出Q幅作为样本的二维草图，Q为大于1的正整数；

分别生成每幅作为样本的二维草图的Y个局部形状特征向量；

对得到的Q*Y个局部形状特征向量进行聚类，得到Y个聚类结果；

分别将属于同一类别的各局部形状特征向量的平均值作为一个标准形状特征向量；

接收用户所绘制的、用于进行三维模型检索的二维草图，生成所述二维草图的形状特征描述符；

分别计算预先生成的三维模型数据库中的各三维模型对应的各二维轮廓线图的形状特征描述符与所述二维草图的形状特征描述符之间的相似度，每个三维模型分别对应M幅二维轮廓线图，M为大于1的正整数；

其中，所述各二维轮廓线图的形状特征描述符与所述二维草图的形状特征描述符之间的相似度为：

其中，Y表示标准形状特征向量数，表示所述二维草图中标准形状特征向量i对应的归一化后的统计结果，表示二维轮廓线图中标准形状特征向量i对应的归一化后的统计结果；

按照相似度由大到小的顺序，对各二维轮廓线图进行排序，并将排序后处于前N位的二维轮廓线图展示给用户，N为正整数；

当确定用户选中所展示的任一二维轮廓线图时，将所选中的二维轮廓线图对应的三维模型展示给用户。

2.根据权利要求1所述的方法，其特征在于，

所述分别生成每幅二维深度图像对应的二维轮廓线图包括：

针对每幅二维深度图像，分别进行以下处理：

分别对该二维深度图像进行两种不同尺度下的高斯滤波，得到两幅二维滤波图像；

对两幅二维滤波图像进行差分运算，并对差分结果进行多边形拟合和贝塞尔曲线逼近，得到该二维深度图像对应的二维轮廓线图。

3.根据权利要求1所述的方法，其特征在于，

所述M个不同视角点包括：在该三维模型的包围球上均匀分布的M个不同视角点。

4.根据权利要求1所述的方法，其特征在于，

所述对该统计直方图进行归一化包括：

对于每个标准形状特征向量i，分别按照以下方式计算出其对应的归一化后的统计结果t_i：

其中，n_id表示归一化之前标准形状特征向量i对应的统计结果；

n_d表示该统计直方图对应的二维图像中的采样点的总个数，N'表示所述三维模型数据库中的各三维模型对应的二维轮廓线图的总个数，n_i表示N'个二维轮廓线图中符合以下条件的二维轮廓线图的总个数：对应的统计直方图中、标准形状特征向量i对应的统计结果不为0。