CN104751511A - 一种三维场景构建方法和装置 - Google Patents

Abstract

本发明公开了一种三维场景构建方法和装置：在三维场景构建过程中，当每次接收到用户所绘制的、用于进行三维模型检索的二维草图时，分别进行如下处理：生成所述二维草图的特征向量；针对三维模型数据库中的每个三维模型，分别计算预先生成的该三维模型的各二维正交投影轮廓线图的特征向量与所述二维草图的特征向量之间的距离，并将计算出的最小距离作为该三维模型与所述二维草图之间的距离；按照与所述二维草图之间的距离由小到大的顺序，对所述三维模型数据库中的各三维模型进行排序，并将排序后处于前X位的三维模型推荐给用户，X为正整数；将所推荐的各三维模型中的一个加载到三维场景中。应用本发明所述方案，能够提高三维场景的构建效率等。

Description

一种三维场景构建方法和装置

技术领域

本发明涉及计算机技术，特别涉及一种三维场景构建方法和装置。

背景技术

虚拟现实场景构建是虚拟现实技术实现的基础，并应用到了虚拟现实领域的各个方面。

伴随着虚拟现实技术的发展，用于共享应用的三维模型越来越多，而三维场景构建技术即利用此优势，在三维模型检索技术基础上提供给用户更加便捷的场景构建过程。此项技术不仅可以给普通用户提供方便地构建三维场景的平台，而且可以供专业用户设计更为复杂的三维场景，提高设计效率。

在实际应用中，可预先建立一个三维模型数据库，这样，在构建三维场景的过程中，当需要使用某一个三维模型时，可通过检索技术，从三维模型数据库中检索出该三维模型。具体检索方式可为：对要检索的三维模型进行文本描述，从三维模型数据库中检索出与所述文本描述相符的三维模型。

上述检索方式虽然实现简单，但文本描述内容和实际的三维模型很可能存在差异，从而导致产生错误的检索结果，这样，用户可能需要重新进行检索等，从而降低了三维场景的构建效率。

发明内容

有鉴于此，本发明提供了一种三维场景构建方法和装置，能够提高三维场景的构建效率。

为了达到上述目的，本发明的技术方案是这样实现的：

一种三维场景构建方法，包括：

在三维场景构建过程中，当每次接收到用户所绘制的、用于进行三维模型检索的二维草图时，分别进行如下处理：

生成所述二维草图的特征向量；

针对三维模型数据库中的每个三维模型，分别计算预先生成的该三维模型的各二维正交投影轮廓线图的特征向量与所述二维草图的特征向量之间的距离，并将计算出的最小距离作为该三维模型与所述二维草图之间的距离；

按照与所述二维草图之间的距离由小到大的顺序，对所述三维模型数据库中的各三维模型进行排序，并将排序后处于前X位的三维模型推荐给用户，X为正整数；

将所推荐的各三维模型中的一个加载到三维场景中。

一种三维场景构建装置，包括：

第一处理模块，用于在三维场景构建过程中，当每次接收到用户所绘制的、用于进行三维模型检索的二维草图时，将所述二维草图发送给第二处理模块；

所述第二处理模块，用于生成所述二维草图的特征向量；针对三维模型数据库中的每个三维模型，分别计算预先生成的该三维模型的各二维正交投影轮廓线图的特征向量与所述二维草图的特征向量之间的距离，并将计算出的最小距离作为该三维模型与所述二维草图之间的距离；按照与所述二维草图之间的距离由小到大的顺序，对所述三维模型数据库中的各三维模型进行排序，并将排序后处于前X位的三维模型推荐给用户，X为正整数；将所推荐的各三维模型中的一个加载到三维场景中。

可见，采用本发明所述方案，利用二维草图来进行三维模型的检索，而不是现有技术中所述的文本描述，从而克服了现有技术中存在的问题，进而提高了三维场景的构建效率等。

附图说明

图1为本发明三维场景构建方法实施例的流程图。

图2为本发明所述二维草图的示意图。

图3为本发明法线方向与视角方向的关系示意图。

图4为本发明三维轮廓线图的生成方式示意图。

图5为本发明一个三维椅子模型及其对应的二十六个二维正交投影轮廓线图的示意图。

图6为本发明确定出的各采样点的示意图。

图7为本发明归一化后的可视词汇值统计直方图示意图。

图8为本发明所展示的用户界面效果示意图。

图9为本发明构建出的三维场景示意图。

图10为本发明三维场景构建装置实施例的组成结构示意图。

具体实施方式

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步的详细说明。

图1为本发明三维场景构建方法实施例的流程图。如图1所示，包括如下步骤11～15。

步骤11：在三维场景构建过程中，当每次接收到用户所绘制的、用于进行三维模型检索的二维草图时，分别按照步骤12～15所示方式进行处理。

在三维场景构建过程中，当用户需要检索某一三维模型时，可首先手动绘制出该三维模型对应的一个二维草图，二维草图可以表现为三维模型的任意方向的结构，但研究显示，用户往往对正面或侧面草图模拟居多。图2为本发明所述二维草图的示意图。

步骤12：生成二维草图的特征向量。

步骤13：针对三维模型数据库中的每个三维模型，分别计算预先生成的该三维模型的各二维正交投影轮廓线图的特征向量与二维草图的特征向量之间的距离，并将计算出的最小距离作为该三维模型与二维草图之间的距离。

步骤14：按照与二维草图之间的距离由小到大的顺序，对三维模型数据库中的各三维模型进行排序，并将排序后处于前X位的三维模型推荐给用户，X为正整数。

步骤15：将所推荐的各三维模型中的一个加载到三维场景中。

以下分别对本发明所述方案实现的各关键点进行详细介绍。

一）预先准备

即在进行三维场景构建之前，需要先进行以下处理：计算可视词汇值和生成三维特征库。

1）计算可视词汇值

具体实现可包括：

确定P个作为样本的三维模型，P为正整数，具体取值可根据实际需要而定，如500；作为样本的三维模型可来自于三维模型数据库，也可来自于其它处，具体实现不作限制；

针对每个作为样本的三维模型，可分别确定出该三维模型在各不同视角方向上的三维轮廓线图，并将该三维模型中的Y个预定位置作为摄像机位置，确定出该Y个预定位置上的二维正交投影轮廓线图；

针对每个二维正交投影轮廓线图，分别确定出该二维正交投影轮廓线图中的采样点；根据所述采样点确定出该二维正交投影轮廓线图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；

对计算出的各局部区域特征值进行聚类，得到K个聚类结果，每个聚类结果作为一个可视词汇，K为正整数，具体取值可根据实际需要而定，如1024，并分别将每个聚类结果中的各局部区域特征值的平均值作为一个可视词汇值。

三维模型在空间中以点和面的形式存在，无法直接与二维草图进行比较，为了寻找二维到三维的共同特征，最直接的方式就是对三维模型进行降维并简化处理，以便提取三维模型和二维草图的共同特征。因此，需要首先对三维模型进行线条化处理，即利用三维轮廓线图来表征三维模型，并根据三维模型在不同视角方向上的投影来获取与二维草图相似的二维线图结构。

1.1）三维轮廓线图

三维轮廓线图的生成方式可分为两种，即与视角相关的方式和与视角无关的方式。由于人类视觉对于光线和阴影信息非常敏感，因此一般来说按照与视角相关的方式能够更好地确定出三维模型的轮廓信息，而且确定出的轮廓线会更加光滑。

从人眼观察视角出发，三维模型上的点的法线方向和曲率微分值的不同反应了其位置的不同，只有具有特定法线方向和曲率微分值的点，才能够在人眼观察区域中被感知为轮廓边缘上的点。

因此，本发明所述方案中，可基于法线方向和曲率微分值来对三维模型上的各点进行过滤，并利用过滤得到的各点构成特定视角下的三维轮廓线图。

具体来说，针对每个三维模型，分别确定出该三维模型在各不同视角方向上的三维轮廓线图的方式可为：

针对每个视角方向，分别进行如下处理：

从该三维模型的各点中选出法线方向与该视角方向相垂直的点，利用选出的点生成第一中间轮廓线图；即有：L＝{p|n_p⊥v}，其中，n_p为点p的法线方向，v为视角方向；图3为本发明法线方向与视角方向的关系示意图，如图3所示，点a的法线方向n_a⊥v，因此点a将会被选出，而点b的法线方向n_b不垂直于v，因此点b不会被选出；

分别计算该三维模型的各点的曲率微分值（每个点均会有多个曲率微分值），并针对每个点p₁，分别确定其与该视角方向上的相邻点p₂之间是否满足以下条件：（判断相邻点之间的曲率微分值的符号变换），且，p₁的最大曲率微分值大于p₁的最小曲率微分值的绝对值，且，p₂的最大曲率微分值大于p₂的最小曲率微分值的绝对值；其中，表示p₁的平均曲率微分值倒数，表示p₂的平均曲率微分值倒数，t表示曲率方向向量；利用满足条件的各点生成第二中间轮廓线图；

利用第一中间轮廓线图和第二中间轮廓线图合成该三维模型在该视角方向上的三维轮廓线图。

图4为本发明三维轮廓线图的生成方式示意图。如图4所示，左上角的图表示原始的三维模型，右上角的图表示第一中间轮廓线图，左下角的图表示第二中间轮廓线图，右下角的图表示利用第一中间轮廓线图和第二中间轮廓线图合成的一幅三维轮廓线图。

1.2）二维正交投影轮廓线图

三维模型在每个视角方向上的投影均会构成一幅二维的图像，而利用每个方向上的投影图像分别来与二维草图进行比较只是一种理想的方式，在实际应用中，通常只会选择部分投影图像来与二维草图进行比较。

另外，通常来说，正常姿态的三维模型的前后视图、左右视图以及上下视图是用户最为关注，而获取这些视图恰恰是计算模型到正八面体的六个顶点位置的正交投影，但仅仅有这六幅投影图像并不能表达非正常姿态的三维模型，即无法达到模型检索的旋转不变性等。

为此，本发明所述方案中提出，选择利用正十二面体的二十个顶点投影获取另外的二十幅投影图像，这是因为正十二面体是欧拉提出的五种正面体中其顶点信息最接近球形信息的一个，其能够保证在投影最少的情况下达到三维模型在球形范围内的投影全覆盖。

相应地，本发明所述方案中的Y的取值为二十六，所述Y个预定位置包括：以三维模型的质心点为中心的十二面体的二十个顶点位置以及以所述质心点为中心的正八面体的六个顶点位置，即在1.1）的基础上，将以三维模型的质心点为中心的十二面体的二十个顶点位置以及正八面体的六个顶点位置作为摄像机位置，确定出该二十六个位置上的二维正交投影轮廓线图。

图5为本发明一个三维椅子模型及其对应的二十六个二维正交投影轮廓线图的示意图。较佳地，每个二维正交投影轮廓线图的大小可为512×512。

1.3）采样点

采样点的确定是后续图像局部区域确定的基础，本发明所述方案中，可利用DSIK（Dense Scale Invariant Keypoints）采样方法，这种采样方法是SIFT（Scale InvariantFeature Transform）采样方法的一种简化方法，相比于之前的方法能够提取出更为稠密的采样点，从而能够获取更多的图像局部特征，进而提高了算法的有效性等。

另外，为了使得采样点对于尺度缩放不变，需要先生成图像的尺度空间信息，本发明所述方案中，可利用高斯（Gauss）函数来对原始图像进行平滑缩放，以得到图像尺度空间中的不同缩放比例图像，即对原始图像进行分层。理论上，图像上所有的点对于特定点的平滑都会有贡献，但实际中离特定点越远的点其贡献值越小，甚至可以忽略，相应地，本发明所述方案中可选择(6σ+1)×(6σ+1)范围内的点的贡献用来计算特定点的平滑后的值，其中σ为高斯分布参数。另外，在具体实现时，可使用两次分离的一维高斯平滑算子分别进行处理，以代替一个二维高斯平滑算子进行处理，从而提高了高斯平滑处理速度。

尺度空间中的极值被认为是局部区域的关键点，也就是本发明所述方案中的采样点。

基于上述介绍，针对每幅二维正交投影轮廓线图，确定出其中的采样点的方式可为：

利用高斯函数对该二维正交投影轮廓线图进行分层，得到该二维正交投影轮廓线图对应的不同缩放比例的图像；

针对每个既存在上层图像又存在下层图像的图像，针对其中的每个像素点，分别将该像素点与其它二十六个预定像素点进行比较，如果该像素点为极值点，则确定出该像素点映射到该二维正交投影轮廓线图上的位置，并将该位置上的像素点确定为采样点；

其中，该像素点为极值点包括：该像素点的取值大于其它全部二十六个预定像素点的取值，或者，该像素点的取值小于其它全部二十六个预定像素点的取值；

所述其它二十六个预定像素点包括：该像素点所在的图像中与该像素点相邻的八个像素点、该像素点所在的图像的上层图像中与该像素点相对应的像素点及与其相邻的八个像素点，以及，该像素点所在的图像的下层图像中与该像素点相对应的像素点及与其相邻的八个像素点。

举例说明：

假设一幅二维正交投影轮廓线图的大小为512×512，那么其对应的各缩放比例的图像的大小可为：64×64、128×128、256×256、1024×1024等；

对于128×128大小的图像来说，其上层图像即为256×256大小的图像，其下层图像即为64×64大小的图像。

图6为本发明确定出的各采样点的示意图。

1.4）图像局部区域及局部区域特征值

在实际应用中，可根据采样点来确定图像局部区域，即针对每幅二维正交投影轮廓线图，可分别进行如下处理：分别将以各采样点为中心、大小大于或等于该二维正交投影轮廓线图大小的1/4的区域作为图像局部区域，对于边界区域可使用对称区域填充的方法。

另外，每个图像局部区域的长和宽均需要为2的指数级，比如，如果每幅二维正交投影轮廓线图的大小为512×512，那么各图像局部区域的大小可为128×128。

针对每个图像局部区域，可分别将其视作一个实矩阵{f_x,y}，其中，x＝1...N,y＝1...M，(x,y)表示图像局部区域中的每个像素点的坐标，f_x,y即表示坐标点的取值，N表示图像局部区域的宽度，M表示图像局部区域的高度；对所述实矩阵进行二维离散傅立叶变换，得到频率空间的傅立叶系数{F_u,v}，即得到一个复数矩阵，其中，u＝1...N,v＝1...M，较佳地，M和N的取值均可为128。

利用傅立叶变换得到的高频系数反映了图像的细节信息，而低频系数则反映了图像的形状信息，因此，本发明所述方案中，可选择部分低频系数作为局部区域特征值，如选择前Z个系数作为局部区域特征值，Z为正整数，具体取值可根据实际需要而定，如384。

1.5）特征聚类

拥有相似形状特征的图像局部区域可以被看作是一类形状区域的集合，并可以使用统一的特征来进行描述，进而用之表征整幅图像的形状描述子。

本发明所述方案中，可利用K-means方法对1.4）中计算出的各局部区域特征值进行聚类，从而在众多图像局部区域中寻找拥有相似形状特征的图像局部区域，并将之划分为一类，每一类代表了一种可视化的形状描述，并可将每一类的平均局部区域特征值作为该类的代表，称为可视词汇值。

较佳地，K的取值为1024，即得到1024个聚类结果，并分别将每个聚类结果中的各局部区域特征值的平均值作为一个可视词汇值，从而得到1024个可视词汇值。

另外，本发明所述方案中还引入了最近邻词汇值的概念，并建立每个可视词汇值与其最近邻词汇值之间的关联，最近邻词汇值即指距离最近的可视词汇值，每个可视词汇值只有一个最近邻词汇值。需要说明的是，当可视词汇值A的最近邻词汇值为可视词汇值B时，可视词汇值B的最近邻词汇值不一定是可视词汇值A，即两者之间并不是双向映射关系。

也就是说，在得到每个可视词汇值之后，还需要分别确定出与该可视词汇值距离最近的可视词汇值，将其作为该可视词汇值的最近邻词汇值，如何确定为现有技术。

最近邻词汇值的引入将会提高后续相似度比较结果的准确性。

2）生成三维特征库

针对三维模型数据库中的每个三维模型，分别确定出该三维模型在各不同视角方向上的三维轮廓线图，并将该三维模型中的Y个预定位置作为摄像机位置，确定出该Y个预定位置上的二维正交投影轮廓线图，Y为正整数。

针对每个二维正交投影轮廓线图，分别确定出该二维正交投影轮廓线图中的采样点；根据所述采样点确定出该二维正交投影轮廓线图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；根据各局部区域特征值生成该二维正交投影轮廓线图的特征向量。

如何得到三维轮廓线图、二维正交投影轮廓线图、采样点、图像局部区域以及局部区域特征值等可参照前述1.1）～1.4）中的相应说明，此处不再赘述。

之后，可根据1.5）中得到的各可视词汇值以及各二维正交投影轮廓线图的各局部区域特征值，生成各二维正交投影轮廓线图的特征向量。

具体来说，针对每幅二维正交投影轮廓线图，可分别进行以下处理：

针对该二维正交投影轮廓线图的每个局部区域特征值，分别计算其与各可视词汇值之间的距离，并用距离最小的可视词汇值代替该局部区域特征值；

分别统计各可视词汇值在该二维正交投影轮廓线图中的累计出现次数；

利用统计结果生成该二维正交投影轮廓线图的可视词汇值统计直方图，假设可视词汇值的总个数为1024，那么可视词汇值统计直方图的维数即为1024维；

对可视词汇值统计直方图进行归一化，根据归一化后的结果生成该二维正交投影轮廓线图的特征向量。

其中，对可视词汇值统计直方图进行归一化的方式可为：

对于每个可视词汇值i，分别按照以下方式计算其归一化后的累计出现次数t_i：

$t_i={\mathrm{tf}}_i\log \frac{N^{\′}}{n_i};$

其中，nid表示归一化之前可视词汇值i在该二维正交投影轮廓线图中的累计出现次数；

n_d表示该二维正交投影轮廓线图中的采样点的总个数，即各可视词汇值i的累计出现次数之和；

N'表示针对三维模型数据库中的各三维模型所生成的二维正交投影轮廓线图的总个数，即N'的取值等于三维模型数据库中包括的三维模型的总个数乘以Y；

n_i表示N'个二维正交投影轮廓线图中可视词汇值i的累计出现次数不为0的二维正交投影轮廓线图的总个数。

图7为本发明归一化后的可视词汇值统计直方图示意图（假设维数为1024）。

基于上述介绍可知，对于每个三维模型，最终均会得到Y个二维正交投影轮廓线图，相应地，则会得到Y个归一化后的可视词汇值统计直方图，进而得到Y个特征向量。

对于每个特征向量来说，其中的每个分量分别对应一个可视词汇值，每个分量的取值即等于对应的可视词汇值的归一化后的累计出现次数；也就是说，每个特征向量中的分量的总个数等于可视词汇值的总个数，如1024。

二）三维场景构建

如前所述，在三维场景构建过程中，当每次接收到用户所绘制的、用于进行三维模型检索的二维草图时，可首先生成该二维草图的特征向量，即：确定出二维草图中的采样点；根据采样点确定出二维草图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；根据各局部区域特征值生成二维草图的特征向量，具体实现可参照一）中的相应说明，此处不再赘述。

相比于每个三维模型均会得到Y个特征向量，每个二维草图均只会得到一个特征向量。

本发明所述方案中，针对三维模型数据库中的每个三维模型，可分别计算预先生成的该三维模型的各二维正交投影轮廓线图的特征向量与二维草图的特征向量之间的距离，并将计算出的最小距离作为该三维模型与二维草图之间的距离。

计算两个特征向量之间的距离不仅仅是两个特征向量对应值之间的距离累计，同时需要考虑最近邻词汇值。在几何上，两个相似的可视词汇值意味着这两个可视词汇值所对应的几何形状非常相似。

对于可视词汇值集合V＝{v_i|i＝1...n}，较佳地，n的取值为1024，每个三维模型的第j个二维正交投影轮廓线图的特征向量可表示为其中，表示可视词汇值w在二维正交投影轮廓线图j中的归一化后的累计出现次数，即二维正交投影轮廓线图j的特征向量中与可视词汇值w对应的分量，表示可视词汇值w的最近邻词汇值在二维正交投影轮廓线图j中的归一化后的累计出现次数，即二维正交投影轮廓线图j的特征向量中与可视词汇值w的最近邻词汇值对应的分量。

相应地，计算每个二维正交投影轮廓线图的特征向量与二维草图的特征向量之间的距离Dis(H_s,H_c)的方式可为：

其中， $d_w^{\mathrm{sc}}=\left\{\begin{array}{cc}{h}_w^s-h_w^c& \mathrm{IF}(h_w^s-h_w^c)\×(h_{\mathrm{wr}}^s-h_{\mathrm{wr}}^c)\≥0\\ (h_w^s-h_w^c)+(h_{\mathrm{wr}}^s-h_{\mathrm{wr}}^c)& \mathrm{Others}\end{array}\right.;;$

表示二维草图的特征向量中与可视词汇值w对应的分量，表示二维正交投影轮廓线图的特征向量中与可视词汇值w对应的分量；

表示二维草图的特征向量中与可视词汇值w的最近邻词汇值对应的分量，表示二维正交投影轮廓线图的特征向量中与可视词汇值w的最近邻词汇值对应的分量；w表示任一可视词汇值。

可以看出，上述公式中，当大于且大于或者，小于且小于时，仅累加和的差值，而当大于且小于或者，小于且大于时，需要同时累加和的差值以及和的差值。

如前所述，针对三维模型数据库中的每个三维模型，可分别计算预先生成的该三维模型的各二维正交投影轮廓线图的特征向量与二维草图的特征向量之间的距离，并将计算出的最小距离作为该三维模型与二维草图之间的距离。

之后，可按照与二维草图之间的距离由小到大的顺序，对三维模型数据库中的各三维模型进行排序，并将排序后处于前X位的三维模型推荐给用户，X为正整数，具体取值可根据实际需要而定，如20。

图8为本发明所展示的用户界面效果示意图。如图8所示，左上角显示的是二维草图，右侧为检索出的各三维模型所对应的与二维草图的距离最小的二维正交投影轮廓线图，左下角为用户所点击的二维正交投影轮廓线图对应的三维模型。

在实际应用中，可自动将排在第一位的三维模型加载到三维场景中，用户可用其它三维模型进行替换等，或者，也可由用户自己进行选择，相应地，将用户所选择的三维模型加载到三维场景中。

三维场景中的三维模型支持平移、旋转、缩放等基本操作，并支持三维场景的漫游功能，即对新构建的三维场景通过摄像机漫游的方式支持用户交互式场景漫游，以便近距离观察场景效果。

图9为本发明构建出的三维场景示意图。

图10为本发明三维场景构建装置实施例的组成结构示意图。如图10所示，包括：

第一处理模块，用于在三维场景构建过程中，当每次接收到用户所绘制的、用于进行三维模型检索的二维草图时，将所述二维草图发送给第二处理模块；

所述第二处理模块，用于生成所述二维草图的特征向量；针对三维模型数据库中的每个三维模型，分别计算预先生成的该三维模型的各二维正交投影轮廓线图的特征向量与所述二维草图的特征向量之间的距离，并将计算出的最小距离作为该三维模型与所述二维草图之间的距离；按照与所述二维草图之间的距离由小到大的顺序，对所述三维模型数据库中的各三维模型进行排序，并将排序后处于前X位的三维模型推荐给用户，X为正整数；将所推荐的各三维模型中的一个加载到三维场景中。

所述第二处理模块确定出所述二维草图中的采样点；根据所述采样点确定出所述二维草图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；根据各局部区域特征值生成所述二维草图的特征向量。

所述第二处理模块针对每个三维模型，分别确定出该三维模型在各不同视角方向上的三维轮廓线图，并将该三维模型中的Y个预定位置作为摄像机位置，确定出该Y个预定位置上的二维正交投影轮廓线图，Y为正整数；针对每个二维正交投影轮廓线图，分别确定出该二维正交投影轮廓线图中的采样点；根据所述采样点确定出该二维正交投影轮廓线图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；根据各局部区域特征值生成该二维正交投影轮廓线图的特征向量。

所述第二处理模块进一步用于，在进行三维场景构建之前，确定P个作为样本的三维模型，P为正整数；针对每个作为样本的三维模型，分别确定出该三维模型在各不同视角方向上的三维轮廓线图，并将该三维模型中的Y个预定位置作为摄像机位置，确定出该Y个预定位置上的二维正交投影轮廓线图；针对每个二维正交投影轮廓线图，分别确定出该二维正交投影轮廓线图中的采样点；根据所述采样点确定出该二维正交投影轮廓线图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；对计算出的各局部区域特征值进行聚类，得到K个聚类结果，K为正整数；分别将每个聚类结果中的各局部区域特征值的平均值作为一个可视词汇值；

所述第二处理模块针对所述二维草图以及所述二维正交投影轮廓线图中的每幅二维图像，根据各可视词汇值以及该二维图像的各局部区域特征值，生成该二维图像的特征向量。

所述Y的取值为二十六，所述Y个预定位置包括：

以三维模型的质心点为中心的十二面体的二十个顶点位置以及以所述质心点为中心的正八面体的六个顶点位置。

所述第二处理模块针对每个三维模型的每个视角方向，分别进行如下处理：从该三维模型的各点中选出法线方向与该视角方向相垂直的点，利用选出的点生成第一中间轮廓线图；分别计算该三维模型的各点的曲率微分值，并针对每个点p₁，分别确定其与该视角方向上的相邻点p₂之间是否满足以下条件：且，p₁的最大曲率微分值大于p₁的最小曲率微分值的绝对值，且，p₂的最大曲率微分值大于p₂的最小曲率微分值的绝对值；其中，表示p₁的平均曲率微分值倒数，表示p₂的平均曲率微分值倒数，t表示曲率方向向量；利用满足条件的各点生成第二中间轮廓线图；利用所述第一中间轮廓线图和所述第二中间轮廓线图合成该三维模型在该视角方向上的三维轮廓线图。

所述第二处理模块针对所述二维草图以及所述二维正交投影轮廓线图中的每幅二维图像，利用高斯函数对该二维图像进行分层，得到该二维图像对应的不同缩放比例的图像；针对每个既存在上层图像又存在下层图像的图像，针对其中的每个像素点，分别将该像素点与其它二十六个预定像素点进行比较，如果该像素点为极值点，则确定出该像素点映射到该二维图像上的位置，并将该位置上的像素点确定为采样点；

其中，该像素点为极值点包括：该像素点的取值大于其它全部二十六个预定像素点的取值，或者，该像素点的取值小于其它全部二十六个预定像素点的取值；

所述其它二十六个预定像素点包括：该像素点所在的图像中与该像素点相邻的八个像素点、该像素点所在的图像的上层图像中与该像素点相对应的像素点及与其相邻的八个像素点，以及，该像素点所在的图像的下层图像中与该像素点相对应的像素点及与其相邻的八个像素点。

所述第二处理模块针对所述二维草图以及所述二维正交投影轮廓线图中的每幅二维图像，分别将以各采样点为中心、大小大于或等于该二维图像大小的1/4的区域作为图像局部区域，每个图像局部区域的长和宽均为2的指数级；针对每个图像局部区域，分别将其视作一个实矩阵{f_x,y}，其中，x＝1...N,y＝1...M，(x,y)表示图像局部区域中的每个像素点的坐标，N表示图像局部区域的宽度，M表示图像局部区域的高度；对所述实矩阵进行二维离散傅立叶变换，得到频率空间的傅立叶系数{F_u,v}，其中，u＝1...N,v＝1...M；选择前Z个系数作为作为局部区域特征值，Z为正整数。

所述第二处理模块针对该二维图像的每个局部区域特征值，分别计算其与各可视词汇值之间的距离，并用距离最小的可视词汇值代替该局部区域特征值；分别统计各可视词汇值在该二维图像中的累计出现次数；利用统计结果生成该二维图像的可视词汇值统计直方图；对所述可视词汇值统计直方图进行归一化，根据归一化后的结果生成该二维图像的特征向量。

对于每个可视词汇值i，其归一化后的累计出现次数t_i为：

其中，n_id表示归一化之前可视词汇值i在该二维图像中的累计出现次数；

n_d表示该二维图像中的采样点的总个数，N'表示针对所述三维模型数据库中的各三维模型所生成的二维正交投影轮廓线图的总个数，n_i表示所述N'个二维正交投影轮廓线图中可视词汇值i的累计出现次数不为0的二维正交投影轮廓线图的总个数。

所述特征向量中的每个分量分别对应一个可视词汇值，每个分量的取值等于对应的可视词汇值的归一化后的累计出现次数；

所述第二处理模块进一步用于，针对每个可视词汇值，分别确定出与该可视词汇值距离最近的可视词汇值，并将其作为该可视词汇值的最近邻词汇值；

每个二维正交投影轮廓线图的特征向量与所述二维草图的特征向量之间的距离Dis(H_s,H_c)为： $\mathrm{Dis}(H_s,H_c)=\underset{w}{\mathrm{\Σ}}\left|\right|d_w^{\mathrm{sc}}\left|\right|;$

其中， $d_w^{\mathrm{sc}}=\left\{\begin{array}{cc}{h}_w^s-h_w^c& \mathrm{IF}(h_w^s-h_w^c)\×(h_{\mathrm{wr}}^s-h_{\mathrm{wr}}^c)\≥0\\ (h_w^s-h_w^c)+(h_{\mathrm{wr}}^s-h_{\mathrm{wr}}^c)& \mathrm{Others}\end{array}\right.;;$

表示所述二维草图的特征向量中与可视词汇值w对应的分量，所述表示二维正交投影轮廓线图的特征向量中与可视词汇值w对应的分量；

表示所述二维草图的特征向量中与可视词汇值w的最近邻词汇值对应的分量，表示二维正交投影轮廓线图的特征向量中与可视词汇值w的最近邻词汇值对应的分量；w表示任一可视词汇值。

总之，采用本发明所述方案，利用二维草图来进行三维模型的检索，而不是现有技术中所述的文本描述，从而克服了现有技术中存在的问题，进而提高了三维场景的构建效率等；而且，本发明所述方案实现起来简单方便，用户只需要通过简单的画线和简单的拖拽等操作即可完成对三维模型的加载，从而不但能够满足专业用户进行三维场景构建的需求，而且能够满足非专业用户进行三维场景构建的需求。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种三维场景构建方法，其特征在于，包括：

在三维场景构建过程中，当每次接收到用户所绘制的、用于进行三维模型检索的二维草图时，分别进行如下处理：

生成所述二维草图的特征向量；

针对三维模型数据库中的每个三维模型，分别计算预先生成的该三维模型的各二维正交投影轮廓线图的特征向量与所述二维草图的特征向量之间的距离，并将计算出的最小距离作为该三维模型与所述二维草图之间的距离；

按照与所述二维草图之间的距离由小到大的顺序，对所述三维模型数据库中的各三维模型进行排序，并将排序后处于前X位的三维模型推荐给用户，X为正整数；

将所推荐的各三维模型中的一个加载到三维场景中。

2.根据权利要求1所述的方法，其特征在于，

所述生成所述二维草图的特征向量包括：

确定出所述二维草图中的采样点；根据所述采样点确定出所述二维草图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；根据各局部区域特征值生成所述二维草图的特征向量。

3.根据权利要求2所述的方法，其特征在于，

所述生成该三维模型的各二维正交投影轮廓线图的特征向量包括：

分别确定出该三维模型在各不同视角方向上的三维轮廓线图，并将该三维模型中的Y个预定位置作为摄像机位置，确定出该Y个预定位置上的二维正交投影轮廓线图，Y为正整数；

针对每个二维正交投影轮廓线图，分别确定出该二维正交投影轮廓线图中的采样点；根据所述采样点确定出该二维正交投影轮廓线图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；根据各局部区域特征值生成该二维正交投影轮廓线图的特征向量。

4.根据权利要求3所述的方法，其特征在于，

在进行三维场景构建之前，进一步包括：

确定P个作为样本的三维模型，P为正整数；

针对每个作为样本的三维模型，分别确定出该三维模型在各不同视角方向上的三维轮廓线图，并将该三维模型中的Y个预定位置作为摄像机位置，确定出该Y个预定位置上的二维正交投影轮廓线图；

针对每个二维正交投影轮廓线图，分别确定出该二维正交投影轮廓线图中的采样点；根据所述采样点确定出该二维正交投影轮廓线图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；

对计算出的各局部区域特征值进行聚类，得到K个聚类结果，K为正整数；

分别将每个聚类结果中的各局部区域特征值的平均值作为一个可视词汇值；

针对所述二维草图以及所述二维正交投影轮廓线图中的每幅二维图像，生成其特征向量包括：

根据各可视词汇值以及该二维图像的各局部区域特征值，生成该二维图像的特征向量。

5.根据权利要求4所述的方法，其特征在于，

所述Y的取值为二十六，所述Y个预定位置包括：

以三维模型的质心点为中心的十二面体的二十个顶点位置以及以所述质心点为中心的正八面体的六个顶点位置。

6.根据权利要求4所述的方法，其特征在于，

所述分别确定出该三维模型在各不同视角方向上的三维轮廓线图包括：

针对每个视角方向，分别进行如下处理：

从该三维模型的各点中选出法线方向与该视角方向相垂直的点，利用选出的点生成第一中间轮廓线图；

分别计算该三维模型的各点的曲率微分值，并针对每个点p₁，分别确定其与该视角方向上的相邻点p₂之间是否满足以下条件：且，p₁的最大曲率微分值大于p₁的最小曲率微分值的绝对值，且，p₂的最大曲率微分值大于p₂的最小曲率微分值的绝对值；其中，表示p₁的平均曲率微分值倒数，表示p₂的平均曲率微分值倒数，t表示曲率方向向量；利用满足条件的各点生成第二中间轮廓线图；

利用所述第一中间轮廓线图和所述第二中间轮廓线图合成该三维模型在该视角方向上的三维轮廓线图。

7.根据权利要求4所述的方法，其特征在于，

针对所述二维草图以及所述二维正交投影轮廓线图中的每幅二维图像，确定出其中的采样点包括：

利用高斯函数对该二维图像进行分层，得到该二维图像对应的不同缩放比例的图像；

针对每个既存在上层图像又存在下层图像的图像，针对其中的每个像素点，分别将该像素点与其它二十六个预定像素点进行比较，如果该像素点为极值点，则确定出该像素点映射到该二维图像上的位置，并将该位置上的像素点确定为采样点；

其中，该像素点为极值点包括：该像素点的取值大于其它全部二十六个预定像素点的取值，或者，该像素点的取值小于其它全部二十六个预定像素点的取值；

所述其它二十六个预定像素点包括：该像素点所在的图像中与该像素点相邻的八个像素点、该像素点所在的图像的上层图像中与该像素点相对应的像素点及与其相邻的八个像素点，以及，该像素点所在的图像的下层图像中与该像素点相对应的像素点及与其相邻的八个像素点。

8.根据权利要求4所述的方法，其特征在于，

针对所述二维草图以及所述二维正交投影轮廓线图中的每幅二维图像，根据所述采样点确定出其中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值包括：

分别将以各采样点为中心、大小大于或等于该二维图像大小的1/4的区域作为图像局部区域，每个图像局部区域的长和宽均为2的指数级；

针对每个图像局部区域，分别将其视作一个实矩阵{f_x,y}，其中，x＝1...N,y＝1...M，(x,y)表示图像局部区域中的每个像素点的坐标，N表示图像局部区域的宽度，M表示图像局部区域的高度；

对所述实矩阵进行二维离散傅立叶变换，得到频率空间的傅立叶系数{F_u,v}，

$F_{u,v}=\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{M-1}{\mathrm{\Σ}}}{f}_{x,y}{e}^{-i2\mathrm{\π}(\frac{\mathrm{ux}}{N}+\frac{\mathrm{vy}}{M})},$ 其中，u＝1...N,v＝1...M；

选择前Z个系数作为作为局部区域特征值，Z为正整数。

9.根据权利要求8所述的方法，其特征在于，

所述M和N的取值均为128；所述Z的取值为384；所述K的取值为1024。

10.根据权利要求4所述的方法，其特征在于，

所述根据各可视词汇值以及该二维图像的各局部区域特征值，生成该二维图像的特征向量包括：

针对该二维图像的每个局部区域特征值，分别计算其与各可视词汇值之间的距离，并用距离最小的可视词汇值代替该局部区域特征值；

分别统计各可视词汇值在该二维图像中的累计出现次数；

利用统计结果生成该二维图像的可视词汇值统计直方图；

对所述可视词汇值统计直方图进行归一化，根据归一化后的结果生成该二维图像的特征向量。

11.根据权利要求10所述的方法，其特征在于，

所述对所述可视词汇值统计直方图进行归一化包括：

对于每个可视词汇值i，分别按照以下方式计算其归一化后的累计出现次数t_i：

$t_i={\mathrm{tf}}_i\log \frac{N^{\′}}{n_i};$

其中，表示归一化之前可视词汇值i在该二维图像中的累计出现次数；

n_d表示该二维图像中的采样点的总个数，N'表示针对所述三维模型数据库中的各三维模型所生成的二维正交投影轮廓线图的总个数，n_i表示所述N'个二维正交投影轮廓线图中可视词汇值i的累计出现次数不为0的二维正交投影轮廓线图的总个数。

12.根据权利要求11所述的方法，其特征在于，

所述特征向量中的每个分量分别对应一个可视词汇值，每个分量的取值等于对应的可视词汇值的归一化后的累计出现次数；

该方法进一步包括：针对每个可视词汇值，分别确定出与该可视词汇值距离最近的可视词汇值，并将其作为该可视词汇值的最近邻词汇值；

每个二维正交投影轮廓线图的特征向量与所述二维草图的特征向量之间的距离Dis(H_s,H_c)为： $\mathrm{Dis}(H_s,H_c)=\underset{w}{\mathrm{\Σ}}\left|\right|d_w^{\mathrm{sc}}\left|\right|;$

其中， $d_w^{\mathrm{sc}}=\left\{\begin{array}{cc}{h}_w^s-h_w^c& \mathrm{IF}(h_w^s-h_w^c)\×(h_{\mathrm{wr}}^s-h_{\mathrm{wr}}^c)\≥0\\ (h_w^s-h_w^c)+(h_{\mathrm{wr}}^s-h_{\mathrm{wr}}^c)& \mathrm{Others}\end{array}\right.;;$

表示所述二维草图的特征向量中与可视词汇值w对应的分量，所述表示二维正交投影轮廓线图的特征向量中与可视词汇值w对应的分量；

表示所述二维草图的特征向量中与可视词汇值w的最近邻词汇值对应的分量，表示二维正交投影轮廓线图的特征向量中与可视词汇值w的最近邻词汇值对应的分量；w表示任一可视词汇值。

13.根据权利要求1～12中任一项所述的方法，其特征在于，

所述将所推荐的各三维模型中的一个加载到三维场景中包括以下之一：

自动将排在第一位的三维模型加载到三维场景中；

将用户所选择的三维模型加载到三维场景中。

14.一种三维场景构建装置，其特征在于，包括：

第一处理模块，用于在三维场景构建过程中，当每次接收到用户所绘制的、用于进行三维模型检索的二维草图时，将所述二维草图发送给第二处理模块；

所述第二处理模块，用于生成所述二维草图的特征向量；针对三维模型数据库中的每个三维模型，分别计算预先生成的该三维模型的各二维正交投影轮廓线图的特征向量与所述二维草图的特征向量之间的距离，并将计算出的最小距离作为该三维模型与所述二维草图之间的距离；按照与所述二维草图之间的距离由小到大的顺序，对所述三维模型数据库中的各三维模型进行排序，并将排序后处于前X位的三维模型推荐给用户，X为正整数；将所推荐的各三维模型中的一个加载到三维场景中。

15.根据权利要求14所述的装置，其特征在于，

所述第二处理模块确定出所述二维草图中的采样点；根据所述采样点确定出所述二维草图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；根据各局部区域特征值生成所述二维草图的特征向量。

16.根据权利要求15所述的装置，其特征在于，

所述第二处理模块针对每个三维模型，分别确定出该三维模型在各不同视角方向上的三维轮廓线图，并将该三维模型中的Y个预定位置作为摄像机位置，确定出该Y个预定位置上的二维正交投影轮廓线图，Y为正整数；针对每个二维正交投影轮廓线图，分别确定出该二维正交投影轮廓线图中的采样点；根据所述采样点确定出该二维正交投影轮廓线图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；根据各局部区域特征值生成该二维正交投影轮廓线图的特征向量。

17.根据权利要求16所述的装置，其特征在于，

所述第二处理模块进一步用于，在进行三维场景构建之前，确定P个作为样本的三维模型，P为正整数；针对每个作为样本的三维模型，分别确定出该三维模型在各不同视角方向上的三维轮廓线图，并将该三维模型中的Y个预定位置作为摄像机位置，确定出该Y个预定位置上的二维正交投影轮廓线图；针对每个二维正交投影轮廓线图，分别确定出该二维正交投影轮廓线图中的采样点；根据所述采样点确定出该二维正交投影轮廓线图中的各图像局部区域，并分别计算各图像局部区域的局部区域特征值；对计算出的各局部区域特征值进行聚类，得到K个聚类结果，K为正整数；分别将每个聚类结果中的各局部区域特征值的平均值作为一个可视词汇值；

所述第二处理模块针对所述二维草图以及所述二维正交投影轮廓线图中的每幅二维图像，分别根据各可视词汇值以及该二维图像的各局部区域特征值，生成该二维图像的特征向量。

18.根据权利要求17所述的装置，其特征在于，

所述Y的取值为二十六，所述Y个预定位置包括：

以三维模型的质心点为中心的十二面体的二十个顶点位置以及以所述质心点为中心的正八面体的六个顶点位置。

19.根据权利要求17所述的装置，其特征在于，

所述第二处理模块针对每个三维模型的每个视角方向，分别进行如下处理：从该三维模型的各点中选出法线方向与该视角方向相垂直的点，利用选出的点生成第一中间轮廓线图；分别计算该三维模型的各点的曲率微分值，并针对每个点p₁，分别确定其与该视角方向上的相邻点p₂之间是否满足以下条件：且，p₁的最大曲率微分值大于p₁的最小曲率微分值的绝对值，且，p₂的最大曲率微分值大于p₂的最小曲率微分值的绝对值；其中，表示p₁的平均曲率微分值倒数，表示p₂的平均曲率微分值倒数，t表示曲率方向向量；利用满足条件的各点生成第二中间轮廓线图；利用所述第一中间轮廓线图和所述第二中间轮廓线图合成该三维模型在该视角方向上的三维轮廓线图。

20.根据权利要求17所述的装置，其特征在于，

所述第二处理模块针对所述二维草图以及所述二维正交投影轮廓线图中的每幅二维图像，利用高斯函数对该二维图像进行分层，得到该二维图像对应的不同缩放比例的图像；针对每个既存在上层图像又存在下层图像的图像，针对其中的每个像素点，分别将该像素点与其它二十六个预定像素点进行比较，如果该像素点为极值点，则确定出该像素点映射到该二维图像上的位置，并将该位置上的像素点确定为采样点；

其中，该像素点为极值点包括：该像素点的取值大于其它全部二十六个预定像素点的取值，或者，该像素点的取值小于其它全部二十六个预定像素点的取值；

所述其它二十六个预定像素点包括：该像素点所在的图像中与该像素点相邻的八个像素点、该像素点所在的图像的上层图像中与该像素点相对应的像素点及与其相邻的八个像素点，以及，该像素点所在的图像的下层图像中与该像素点相对应的像素点及与其相邻的八个像素点。

21.根据权利要求17所述的装置，其特征在于，

所述第二处理模块针对所述二维草图以及所述二维正交投影轮廓线图中的每幅二维图像，分别将以各采样点为中心、大小大于或等于该二维图像大小的1/4的区域作为图像局部区域，每个图像局部区域的长和宽均为2的指数级；针对每个图像局部区域，分别将其视作一个实矩阵{f_x,y}，其中，x＝1...N,y＝1...M，(x,y)表示图像局部区域中的每个像素点的坐标，N表示图像局部区域的宽度，M表示图像局部区域的高度；对所述实矩阵进行二维离散傅立叶变换，得到频率空间的傅立叶系数{F_u,v}，其中，u＝1...N,v＝1...M，选择前Z个系数作为作为局部区域特征值，Z为正整数。

22.根据权利要求17所述的装置，其特征在于，

所述第二处理模块针对该二维图像的每个局部区域特征值，分别计算其与各可视词汇值之间的距离，并用距离最小的可视词汇值代替该局部区域特征值；分别统计各可视词汇值在该二维图像中的累计出现次数；利用统计结果生成该二维图像的可视词汇值统计直方图；对所述可视词汇值统计直方图进行归一化，根据归一化后的结果生成该二维图像的特征向量。

23.根据权利要求22所述的装置，其特征在于，

对于每个可视词汇值i，其归一化后的累计出现次数t_i为：

其中，表示归一化之前可视词汇值i在该二维图像中的累计出现次数；

n_d表示该二维图像中的采样点的总个数，N'表示针对所述三维模型数据库中的各三维模型所生成的二维正交投影轮廓线图的总个数，n_i表示所述N'个二维正交投影轮廓线图中可视词汇值i的累计出现次数不为0的二维正交投影轮廓线图的总个数。

24.根据权利要求23所述的装置，其特征在于，

所述特征向量中的每个分量分别对应一个可视词汇值，每个分量的取值等于对应的可视词汇值的归一化后的累计出现次数；

所述第二处理模块进一步用于，针对每个可视词汇值，分别确定出与该可视词汇值距离最近的可视词汇值，并将其作为该可视词汇值的最近邻词汇值；

每个二维正交投影轮廓线图的特征向量与所述二维草图的特征向量之间的距离Dis(H_s,H_c)为： $\mathrm{Dis}(H_s,H_c)=\underset{w}{\mathrm{\Σ}}\left|\right|d_w^{\mathrm{sc}}\left|\right|;$

其中， $d_w^{\mathrm{sc}}=\left\{\begin{array}{cc}{h}_w^s-h_w^c& \mathrm{IF}(h_w^s-h_w^c)\×(h_{\mathrm{wr}}^s-h_{\mathrm{wr}}^c)\≥0\\ (h_w^s-h_w^c)+(h_{\mathrm{wr}}^s-h_{\mathrm{wr}}^c)& \mathrm{Others}\end{array}\right.;;$

表示所述二维草图的特征向量中与可视词汇值w对应的分量，所述表示二维正交投影轮廓线图的特征向量中与可视词汇值w对应的分量；

表示所述二维草图的特征向量中与可视词汇值w的最近邻词汇值对应的分量，表示二维正交投影轮廓线图的特征向量中与可视词汇值w的最近邻词汇值对应的分量；w表示任一可视词汇值。