CN101477529B - 一种三维对象的检索方法和装置 - Google Patents

Abstract

本发明提供了一种三维对象的检索方法和装置，其中，所述检索方法包括：获取三维对象的特征视图，并提取所述特征视图的第一Shock图骨架描述符和第一傅立叶描述符；提取输入图的第二Shock图骨架描述符和第二傅立叶描述符；计算第一、二Shock图骨架描述符的第一相似度度量值；计算第一、二傅立叶描述符的第二相似度度量值；依据第一相似度度量值和第二相似度度量值获得混合相似度度量值，并确定最大的混合相似度度量值所对应的特征视图为与输入图最为相似的视图，进而确定该特征视图对应的三维对象为待检索三维对象。本发明将Shock图骨架描述符和傅立叶描述符进行了有效融合，达到了很好的3D对象检索性能。

Description

一种三维对象的检索方法和装置

技术领域

本发明涉及三维(3D，Three-Dimensional)目标处理领域，特别是一种基于特征视图和形状描述符融合的3D对象检索方法。

背景技术

随着3D技术的发展，一种新型的多媒体数据——3D模型得到了广泛地应用。3D模型不同于传统的文本、音频等多媒体数据，它具有生动、形象、逼真等突出特点，这些特点使3D模型在计算机辅助设计(CAD)、娱乐游戏、生物化学、电子商务、艺术欣赏、考古应用以及虚拟现实等众多领域中有了长足的发展。计算机图形学和模型数字化工具的进步为构造高质量的3D模型创造了条件，而因特网为传播这些模型提供了手段。现在，3D模型的应用正在渗透到人们工作和生活的各个方面。为了能够高效获取和重复使用网络上已有的3D模型数据资源，节省花费在构建3D模型过程中的大量时间和精力，于是针对3D模型的检索方法应运而生。更进一步地，为了适应当前数字模型和数字视频领域的快速发展以及光场理论的进一步应用，需要将针对3D模型的检索方法拓展为能够同时应用于3D模型以及光场实际3D物体的检索方法。

现有的3D模型检索机制，总体来说分为4大类，分别是基于几何模型的检索机制、基于统计分析的检索机制、基于拓扑结构的检索机制及基于视图的检索机制。其中，对于应用于3D模型以及光场实际3D物体的检索而言，最为优选的是基于视图的检索机制。

在基于视图的检索机制中，光场描述符(LD，Lightfield Descriptor)是基于视图的3D模型检索的主要描述符之一。在基于LD的检索过程中，应用多个不同视角模型联合表达光场信息，借此以增强LD对于旋转、平移、变形的鲁棒性能。但是，随着视角模型数量的增加，和其对应的二进制图像数量也会急剧上升，进而导致了检索速度的下降、检索效率的降低。

鉴于此种原因，在其他一些基于视图的3D模型检索算法中，都尽可能应用少量的观测图像来描述3D模型。例如，一篇名为“采用自适应视图聚类的贝叶斯三维搜索引擎”来源于“IEEE(美国电气及电子工程师学会，Institute of Electrical and Electronics Engineers)多媒体汇刊”2007年第二卷9(1)：78-88页的文章(A Bayesian 3-D Search Engine Using Adaptive Views Clustering.IEEE Trans on multimedia，2007，9(1)：78-88)中通过自适应聚类算法从大量的二进制视图(320幅视图)中寻找包含最大信息量的“特征视图(CV，Characteristic View)”，这不失为一种在降低视图数量前提下保持有用信息的有效方法。但是，通过选取CV进行的检索机制虽然节省了时间，却由于目标视图的减少而在一定程度上降低了检索的精度。

因此，需要本领域技术人员迫切解决的一个技术问题就是：如何根据不同的情况，提供一种综合的形状描述方法，以提高检索精度，进而实现更好的3D对象检索性能。

发明内容

本发明所要解决的技术问题是提供一种较为综合的形状描述方法，能够根据不同的目标情况来完成3D对象检索，以提高检索精度，进而实现更好的3D对象检索性能。

为了解决上述问题，本发明实施例提供了一种三维对象的检索方法，所述三维对象包括三维模型和光场实际三维物体，所述方法包括：

获取三维对象不同视角的多幅视图；

从所述多幅视图中选取包含最大信息量的特征视图，进一步包括以下三个子步骤：

第一子步骤，任选所述多幅视图中的一幅视图作为初始特征视图，并对距离度量最远的两幅视图进行均值聚类，根据信息度量值判断所述初始特征视图是否需要替换，若需要，则用所述距离度量最远的两幅视图替换初始特征视图，得到新的特征视图；

第二子步骤，以所有新的特征视图作为聚类中心，运用全局均值聚类算法进行全局聚类，得到多个视图类；

第三子步骤，对每一个视图类的类内，距离度量最远的两幅视图使用局部均值聚类算法，并进行各自类内视图信息量度量，将信息度量值较高的视图作为新的特征视图；之后，返回第二子步骤，依次迭代，直到得到的特征视图的 数目达到了预设的上限；

将当前视图转换为对应的平面二进制图形，并构建平面二进制图形的骨架；

应用Shock图语法的基本原则，将所述二进制图形的骨架转化为对应的Shock图，进而得到当前视图的第一Shock图骨架描述符和第二Shock图骨架描述符；

提取当前视图边界序列，计算所述边界序列的傅立叶描述符，并归一化傅立叶描述符，得到第一傅立叶描述符和第二傅立叶描述符；

约简所述第一Shock图骨架描述符和所述第二Shock图骨架描述符，以获得二者的约简图；

所述约简图按层节点进行匹配，在约简图中逐个寻找特征视图和输入图的相应节点的权值，以获得所述相应节点之间的相似度，确定所有节点相似度的平均值为第一相似度度量值；

依据三维对象的区域面积与轮廓周长的比值、调整分布类型的参数以及模糊规则，调整第一权重系数和第二权重系数；

采用欧式距离计算归一化的第一傅立叶描述符和第二傅立叶描述符之间的轮廓形状差异，以获取第二相似度度量值；

确定最大的混合相似度度量值所对应的特征视图为与输入图最为相似的视图，该特征视图对应的三维对象为待检索三维对象。

优选的，所述当前视图为特征视图时，所得的Shock图骨架描述符为特征视图的第一Shock图骨架描述符；所述当前视图为输入图时，所得的Shock图骨架描述符为第二Shock图骨架描述符。

优选的，所述当前视图为特征视图时，所得的傅立叶描述符为第一傅立叶描述符；所述当前视图为输入图时，所得的傅立叶描述符为第二傅立叶描述符。

本发明实施例还提供了一种三维对象的检索装置，所述三维对象包括三维模型和光场实际三维物体，所述装置包括：

特征视图模块，用于获取三维对象的特征视图；所述特征视图模块进一步包括以下子模块：

获取图像子模块，用于获取三维对象不同视角的多幅视图；

选取特征视图子模块，用于从所述多幅视图中选取包含最大信息量的特征 视图；进一步的包括以下子模块：

第一子模块，用于任选所述多幅视图中的一幅视图作为初始特征视图，并对距离度量最远的两幅视图进行均值聚类，根据信息度量值判断所述初始特征视图是否需要替换，若需要，则用所述距离度量最远的两幅视图替换初始特征视图，得到新的特征视图；

第二子模块，用于以所有新的特征视图作为聚类中心，运用全局均值聚类算法进行全局聚类，得到多个视图类；

第三子模块，用于对每一个视图类的类内，距离度量最远的两幅视图使用局部均值聚类算法，并进行各自类内视图信息量度量，将信息度量值较高的视图作为新的特征视图；之后，返回第二子模块，依次迭代，直到得到的特征视图的数目达到了预设的上限；

第一提取模块，用于提取所述特征视图的第一Shock图骨架描述符和第一傅立叶描述符；所述第一提取模块进一步包括以下子模块：

提取第一Shock图骨架描述符子模块，用于将当前视图转换为对应的平面二进制图形，并构建平面二进制图形的骨架；应用Shock图语法的基本原则，将所述二进制图形的骨架转化为对应的Shock图，进而得到当前视图的第一Shock图骨架描述符；

提取第一傅立叶描述符子模块，用于提取当前视图边界序列，计算所述边界序列的傅立叶描述符，并归一化傅立叶描述符，得到第一傅立叶描述符；

第二提取模块，用于提取输入图的第二Shock图骨架描述符和第二傅立叶描述符；所述第二提取模块进一步包括以下子模块：

提取第二Shock图骨架描述符子模块，用于将当前视图转换为对应的平面二进制图形，并构建平面二进制图形的骨架；应用Shock图语法的基本原则，将所述二进制图形的骨架转化为对应的Shock图，进而得到当前视图的第二Shock图骨架描述符；

提取第二傅立叶描述符子模块，用于提取当前视图边界序列，计算所述边界序列的傅立叶描述符，并归一化傅立叶描述符，得到第二傅立叶描述符；

第一相似度度量模块，用于计算所述第一Shock图骨架描述符和第二Shock图骨架描述符的相似度度量值为第一相似度度量值；所述第一相似度度量模块进一步包括以下子模块：

约简子模块，用于约简所述第一Shock图骨架描述符和所述第二Shock图骨 架描述符，以获得二者的约简图；

计算第一相似度度量值子模块，用于将所述约简图按层节点进行匹配，逐个寻找特征视图和查询条件的相应节点的权值，以获得所述相应节点之间的相似度，确定所有节点相似度的平均值为第一相似度度量值；

第二相似度度量模块，用于计算所述第一傅立叶描述符和第二傅立叶描述符的相似度度量值为第二相似度度量值；所述第二相似度度量模块进一步包括以下子模块：

表示轮廓形状差异子模块，用于采用欧式距离表示归一化的第一傅立叶描述符和第二傅立叶描述符之间的轮廓形状差异；

计算第二相似度度量值子模块，选取欧式距离中的参数，计算第二相似度度量值；

混合相似度度量模块，用于依据所述第一相似度度量值和第二相似度度量值获得混合相似度度量值，并确定最大的混合相似度度量值所对应的特征视图为与输入图最为相似的视图，该特征视图对应的三维对象为待检索三维对象；所述混合度相似度度量模块进一步包括以下子模块：

调整权重系数子模块，用于依据三维对象的区域面积与轮廓周长的比值、调整分布类型的参数以及模糊规则，调整第一权重系数和第二权重系数；

计算混合相似度度量值子模块，用于依据所述第一相似度度量值与调整后的第一权重系数之积，和第二相似度度量值与调整后的第二权重系数之积相加，获得混合相似度度量值。

与现有技术相比，本发明具有以下优点：

首先，Shock图骨架描述符在计算机视觉领域的成功应用，已经表明所述Shock骨架描述符图在物体某一视角认知领域是非常成功的工具。而且，在一篇名为“对象识别中的曲率与骨架比较”来源于“信号处理”85卷第2期(2005年2月)247-263页的文章(Curves vs.Skeletons in Object Recognition.Signal Processing，2005，85：247-263)中进行了大量的对比实验，结果表明：基于Shock图的骨架描述符的检索性能，在很多情况下优于基于曲线的轮廓描述符。若将Shock图骨架描述符移植到3D对象多视角检索领域，必将使得3D对象的检索精度进一步提高。

另一方面，当3D对象物体的内部区域特性不显著时，使用傅立叶描述符来描述和识别物体的轮廓形状特征，可以得到较好的效果，而且，当傅立叶描述符中的系数项取到足够阶次时，它可以将物体的形状信息完全提取并恢复出来。例如，一篇名为“二维形状分类中的自回归和傅立叶描述符的实验比较”来源于“IEEE模式分析和机器智能汇刊”2007年第17卷第2期(1995年2月)201-207页的文章(An Experimental Comparison of Autoregressive andFourier-Based Descriptors in 2D Shape Classification.IEEE Transactions onPattern Analysis and Machine Intelligence，Vol.17，No.2，Feb.1995，pp.201-207)比较了各种典型形状识别方法的性能，实验表明：在不考虑物体内部区域特性情况下，而仅基于物体的边界轮廓时，傅立叶描述符较之其他一些曲线轮廓描述符，具有最佳的形状识别性能。

由上述可知，根据不同的情况，运用基于模糊规则的非线性方法，将上述两种形状描述符进行融合，在一定程度上弥补了各自的不足，达到了更好的3D对象检索性能。

此外，通过自适应聚类算法从大量视图总选取包含最大信息量的CV，有效降低了视图数量，与此同时保持了有用信息；而且，可以把二维手绘草图作为查询条件来表示检索目标的形状，达到交互友好、操作直观易用等效果。

附图说明

图1为本发明的一种3D对象检索方法的优选实施例一的步骤流程图；

图2为本发明的一种3D对象检索方法的优选实施例二的步骤流程图；

图3为本发明所述方法优选实施例二的特征视图的选取算法的示意图；

图4a为一幅特征视图的二值图；

图4b为采用Hamilton-Jacobi骨架构建算法和比较算法的示意图；

图4c为构建Shock图骨架描述符的示意图；

图5a为本发明所述方法的优选实施例二的实验结果A的示意图；

图5b为本发明所述方法的优选实施例二的实验结果B的示意图；

图6为本发明所述装置的优选实施例一的结构示意图；

图7为本发明所述装置的优选实施例二的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明的总体检索机制思想是：首先，采集数据库中每一幅3D对象的不同视角的相关信息，并采用自适应聚类算法寻找CV，建立每一幅CV各自对应的Shock图骨架描述符和傅立叶描述符；其次，要求客户端输入查询条件，如输入的手绘图，与提取CV的形状描述符的方法相同，提取手绘图对应的两种形状描述符；根据这两种形状描述符分别度量数据库中所有3D对象与输入图x_Q间的相似度；然后计算3D对象区域面积(用S表示)与轮廓周长(用C表示)的比值，将该比值作为模糊系统的输入，并通过系统的两个输出系数调整两种形状描述符相似度度量值的权重，进而最终输出检索结果。

参照图1，示出了本发明的3D对象的检索方法的优选实施例一的步骤流程图。所述3D对象包括3D模型和光场实际3D物体，具体步骤如下：

步骤S101，获取3D对象的CV，并提取所述CV的第一Shock图骨架描述符和第一傅立叶描述符；

在计算3D对象与输入图之间的相似度之前，首先要对3D对象的目标视图集进行CV提取。CV提取是找出所有原始目标视图集中对三维对象最有代表性的子集，从而更简洁、更显著地描述三维对象。例如，通过自适应聚类算法选取包含最大信息量的CV，可以只在选取到的CV库中寻找与查询条件匹配的目标，进而减少了信息量，减少了检索时间。

本发明的优选实施例用Shock图骨架描述符作为相似度度量的一个主要因子，因为当3D对象物体的轮廓特性和内部区域特性都十分明显，即3D对象轮廓所包围的区域面积和3D对象的轮廓周长的比值较小，Shock图骨架描述符相似度的比较结果为理想。

本发明的优选实施例采用傅立叶描述符作为相似度度量的另一个主要因子。当所述傅立叶描述符中的系数项取到足够阶次时，就可以将物体的形状信息完全提取并恢复出来，因此使用所述傅立叶描述符来描述和识别物体的轮廓 形状特征，可以得到较好的效果。此外，归一化的傅立叶描述符具有旋转、平移和尺度不变性，还具有对噪声不敏感和简单易于实现的特性。当3D对象物体的内部区域特性不显著(如很接近球形)，即3D对象轮廓所包围的区域面积和3D对象的轮廓周长的比值相对较大时，此时需要考虑对物体的轮廓形状特性比较敏感的傅立叶描述符。

步骤S102，提取输入图的第二Shock图骨架描述符和第二傅立叶描述符；

步骤S103，约简所述第一Shock图骨架描述符和第二Shock图骨架描述符，并计算约简后的第一Shock图骨架描述符和第二Shock图骨架描述符相似度度量值，将所得结果记为第一相似度度量值；

本发明的优选实施例采用的形状描述符是有向无环图光场描述符(DLF，Directed Acyclic Graph Lightfield Feature)，DLF通过一系列的有向无环图(DAG，Directed Acyclic Graph)描述CV。而Shock图约简的基本思想是：按照Shock图语法(SGG，Shock Graphics Grammar)的基本原则，可以将Shock骨架转化成DAG(即Shock图)，进而比较两个DAG之间的异同，即寻找两个DAG中的最小子图，并逐个约简，直到无法约简为止。在此化简基础上，两个DAG的距离已等价于最终约简图距离。

另外，约简图相似度度量算法基本思想是：在约简图中，逐个寻找输入图与匹配目标的相应节点的权值，所述权值表示约简图中输入图与匹配目标之间的相似度，其值为1表示完全相同，反之为0。由于约简图按层节点进行匹配，所以计算所有权值的平均值，以得到Shock图骨架描述符的相似度度量值，在本实施例中将得到的Shock图骨架描述符的相似度度量值记为第一相似度度量值。

步骤S104，计算所述第一傅立叶描述符和第二傅立叶描述符的相似度度量值为第二相似度度量值；

本优选实施例采用欧式距离计算归一化的傅立叶描述符之间的轮廓形状差异，以进行所述归一化的傅立叶描述符之间的相似度度量。

步骤S105，依据所述第一相似度度量值和第二相似度度量值获得混合相似度度量值，并确定最大的混合相似度度量值所对应的CV为与输入图最为相似 的视图，该CV对应的三维对象为待检索三维对象。

依据三维对象的区域面积与轮廓周长的比值、调整分布类型的参数以及模糊规则，调整第一权重系数和第二权重系数；依据所述第一相似度度量值与调整后的第一权重系数之积，和第二相似度度量值与调整后的第二权重系数之积相加，获得混合相似度度量值。在所获得的混合相似度度量值中，选取一个最大的混合相似度度量值，该最大的混合相似度度量值所对应的CV为与输入图最为相似的视图，该CV对应的三维对象为待检索三维对象。

其中，所述第一、二权重系数可以借由模糊系统来设置及调整，将3D对象轮廓所包围的区域面积和3D对象的轮廓周长的比值作为模糊系统的输入，通过模糊规则输出两个系数，分别作为第一权重系数和第二权重系数。

本发明优选实施例采用模糊规则的方法来融合不同的形状描述符。基于模糊规则的模式识别方法是一类可理解性好、精度比较高的非线性方法，其融合规则可以用符号化的语言描述，符合人的思维习惯。

更为优选的，本发明的优选实施例二在优选实施例一的基础上进一步地给出本发明所述方法的一种具体实施方式。下面结合图2，详细说明本发明的基于形状描述符融合的3D对象检索方法的优选实施例二。参照图2，示出了本发明的3D对象的检索方法的优选实施例二的步骤流程图，具体步骤如下：

步骤S201，获取光场信息，即将所述3D对象置于一个球体中心，沿球面均匀的布置若干个摄像头；

步骤S202，获取三维对象不同视角的多幅视图；

本发明的优选实施例将高逼真度3D模型以及光场中的实际物体统称为3D对象，并用V_k表示第k个3D对象。将3D对象V_k置于某一球体中心，沿球面均匀的布置若干个摄像头，调整好摄像头的拍摄角度后，从不同视角拍摄物体，进而得到若干幅彩色视图，本发明的优选实施例采集了320幅不同视角彩色视图。当然，本领域技术人员可采用任意熟知的方法以获得3D对象不同视角的多幅视图，如可将摄像头围绕3D对象排列成环状等，本发明无须对此作出限制。

步骤S203，采用自适应聚类算法从320幅不同视角的彩色图像中选取M(用 M表示预设上限)个的CV；

步骤S204，所获得的M个CV组成检索目标的数据库；

步骤S205，提取已经得到的M个CV的特征轮廓信息；

本发明的优选实施例在处理形状的轮廓信息时，可以采用X-means聚类算法来选取包含最大信息量的CV。所述X-means聚类算法实际是一种全局K均值(Global K-means)和局部K均值(Local K-means)迭代聚类的算法，所述X-means聚类算法具体步骤可以参照图3，具体描述在本优选实施例二之后。

步骤S206，将所得到的M幅CV的轮廓分别转换为各自对应的平面二进制图形，并对应构建所述平面二进制图形的骨架；

将所得到的每一幅CV都转化为相应的二进制图形，再应用哈密顿-雅可比(Hamilton-Jacobi)骨架构建算法构建平面二进制图形的骨架，所述二进制图形的骨架相当于轮廓边界曲线的最大内接圆的圆心集合。

步骤S207，应用Shock图语法的基本原则，将所述二进制图形的骨架转化为各自对应的Shock图，得到每一幅CV对应的第一Shock图骨架描述符；

下面结合一个依据平面二进制图形的骨架构建Shock图骨架描述符的示例来说明步骤S207。首先给出如图4a所示的一幅特征视图的二值图，将所述特征视图转化为一幅平面二进制图形，采用Hamilton-Jacobi骨架构建和比较算法构建所述平面二进制图形的骨架，如图4b所示，所得的平面二进制图形的骨架相当于轮廓边界曲线的最大内接圆的圆心集合；通过Shock图的语法SGG规则直接构建出DAG，即Shock图，如图4c所示，为所构建的Shock图骨架描述符的示意图。

本优选实施例采用Shock图语法SGG的基本原则直接构建出DAG，即Shock图骨架描述符，若任一幅CV对应Shock图骨架描述符用S表示，则对于整个三维对象，其Shock图骨架描述符H_SD可以表示为：

H_SD＝{S₁，S₂，...S_K}

步骤S208，提取特征视图的边界总数，并依据所述边界总数设定循环，提取边界序列，计算所述边界序列的傅立叶描述符以及归一化傅立叶描述符，进而得到第一傅立叶算符；

计算所得到的若干幅CV各自对应的归一化傅立叶描述符，首先提取目标物体的边界总数，除以256取整数部分Z，以Z作为步长设定循环重新提取边界序列，同时计数；当超过起始点时，停止并舍弃该点，得到新的边界序列s(n)，s(n)＝x(n)+jy(n)，n＝0，1，...，N-1，共N个点。然后对s(n)计算归一化傅立叶描述符d(u)，s(n)的傅立叶描述符为：

$a\left(u\right)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}s\left(n\right)e^{-j2\mathrm{\πun}/N},$ u＝0，1，...，N-1

归一化的傅立叶描述符d(u)定义为：

$d\left(u\right)=\frac{\left|\right|a\left(u\right)\left|\right|}{\left|\right|a\left(1\right)\left|\right|},$ u＝1，2，...，N-1

步骤S209，提取输入图的特征轮廓信息；

本发明优选实施例的检索时的输入图可以是输入的一幅或若干幅手绘草图(用x_Q表示)。

步骤S210，构建输入图的平面二进制骨架；

步骤S211，将所述输入图的平面二进制骨架转换为第二Shock图骨架描述符；

步骤S211所采用的提取方法，与步骤S207中提取第一Shock图骨架描述符的方法基本相同，可以参见步骤S207的具体描述，此处不再赘述。

步骤S212，提取输入图的第二傅立叶描述符；

步骤S212所采用的提取方法，与步骤S208中提取第一傅立叶描述符的方法基本相同，可以参见步骤S208的具体描述，此处不再赘述。

步骤S213，约简所述第一Shock图骨架描述符和第二Shock图骨架描述符，以获得二者的约简图；所述约简图按层节点进行匹配，逐个寻找CV和输入图的相应节点的权值，以获得所述相应节点之间的相似度，确定所有节点相似度的平均值为第一相似度度量值；

约简所述第一Shock图骨架描述符和第二Shock图骨架描述符基本过程：比较所述第一Shock图骨架描述符和第二Shock图骨架描述符之间的异同，即寻找两者的最小子图，并逐个约简，直到无法约简为止，在此化简基础上，所述第 一Shock图骨架描述符和第二Shock图骨架描述符的距离已等价于最终约简图距离。

然后，在约简图中，逐个寻找输入图与匹配目标的相应节点的权值：

$W(q,m)=\frac{(1-\mathrm{\ω})\left|\right|\mathrm{\χ}\left(q\right)\left|\right|}{{\mathrm{\Σ}}_Q(1+||\mathrm{\χ}\left(m\right)-\mathrm{\χ}\left(q\right)|\left|\right)}+\frac{\mathrm{\ω}\left|\right|\mathrm{\χ}\left(m\right)\left|\right|}{{\mathrm{\Σ}}_m(1+||\mathrm{\χ}\left(m\right)-\mathrm{\χ}\left(q\right)|\left|\right)}$

其中，q，m分别是约简图中输入图x_Q与匹配目标(用M表示)中的任一节点，W(q，m)表示查寻条件和匹配目标之间的相似度，其值为1表示完全相同，其值为0则反之。约简图按层节点进行匹配，最后求所有权值的平均值，得到Shock图骨架描述符的相似度度量值：

${\mathrm{Score}}_{\mathrm{SD}}=\frac{1}{N}\underset{i=1}{\overset{X}{\mathrm{\Σ}}}\underset{j=1}{\overset{Y}{\mathrm{\Σ}}}W(q_i,m_j)$

其中，假设检索时的输入图x_Q共有X个节点，匹配目标M共有Y个节点，N表示所有W(q_i，m_j)中不为0的个数。

步骤S214，采用欧式距离计算归一化的第一傅立叶描述符和第二傅立叶描述符之间的轮廓形状差异，进而获取第二相似度度量值；

采用欧式距离计算归一化的第一傅立叶描述符和第二傅立叶描述符之间的轮廓形状差异的公式如下：

${\mathrm{Score}}_{\mathrm{FD}}=1-\sqrt{\underset{u=2}{\overset{M}{\mathrm{\Σ}}}{\left|\right|d_i\left(u\right)-d_j\left(u\right)\left|\right|}^2}$

可以根据经验取M＝12，进而可以得到傅立叶描述符的相似度度量值，其值为1表示完全相同，其值为0则反之。

步骤S215，设置权重系数，所述权重系数包括第一权重系数和第二权重系数，通过计算所述3D对象的区域面积与轮廓周长的比值、调整分布类型的参数以及模糊规则获得；

计算每一幅CV中目标的区域面积(用S表示)与轮廓周长(用C表示)，通过计算S与C的比值、设置模糊系统的参数以及模糊规则，调整Shock图骨架描述符和傅立叶描述符的相似度度量值的权重系数。

其中，将模糊系统的模糊规则定为：如果S/C的值较大，则k₁越小，k₂越大；反之则k₁越大，k₂越小。那么，将3D对象的区域面积S与轮廓周长C的比 值(即S/C)作为模糊系统的输入。而模糊系统输出的k₁和k₂可以作为两种形状描述符相似度度量值的权重系数。另外，模糊系统的参数设置需要根据实际3D对象CV的大小和前景所占整体CV的大致面积比等情况具体设置。

步骤S216，计算混合相似度度量值，所述第一相似度度量值与第一权重系数之积，和所述第二相似度度量值与第二权重系数之积相加，得到所述混合相似度度量值。

通过调整Shock图骨架描述符和傅立叶描述符的相似度度量值的权重系数即第一权重系数和第二权重系数，最终得到融合以后的混合相似度度量值，可以采用如下的公式计算：

SCORE＝k₁·Score_SD+k₂·Score_FD

最大的混合相似度度量值所对应的CV就是与输入图x_Q最为相似的视图，从而可以确定需要检索的3D对象。

参照图3，示出了本发明的所述方法优选实施例二的特征视图的选取算法示意图，主要步骤如下：

步骤S301，任选一幅图像作为CV；

步骤S302，判断CV的个数是否达到预设上限M，若未达到，则执行步骤S303；

步骤S303，对所有视图运用全局K均值迭代聚类算法进行全局聚类；之后执行步骤S304；

其中，全局K均值迭代聚类算法中的K为当前特征视图的数目。

步骤S304，对每一个视图类的类内距离度量最远的两幅视图使用局部K均值聚类算法(K＝2)，并进行各自类内视图信息量度量，将信息度量值较高的视图作为新的特征视图。

本实施例采用贝叶斯信息度量准则进行各自类内视图信息量度量，并将贝叶斯信息度量值较高的视图作为新的特征视图。本领域技术人员也可采用其它任意适合的规则进行类内视图信息量度量，本发明无须对此作出限制。

步骤S305，修改CV的个数，返回步骤S302；

若CV的数目仍未达到预设上限M，则依次迭代，直到得到的CV的数目达到了预设上限M；

若CV的数目达到了预设上限M，则输出M个CV：CV₁，CV₂，...，CV_M；之后，执行步骤S306；

步骤S306，结束本次CV的选取。

参照图5a，示出了本发明所述方法的优选实施例二的一个较为典型的实验结果示意图。如图5所示，当3D对象视图的内部区域特性不显著(较接近圆形)时，即3D对象区域面积S与轮廓周长C的比值相对较大，此时单纯的Shock图骨架描述符相似度出现了误差，而傅立叶描述符对于物体的轮廓形状特性比较敏感，因此通过调节系数k₁和k₂，降低了Shock图骨架描述符相似度度量值Score_SD的权重，更多地考虑了对于物体的轮廓形状特性比较敏感的傅立叶描述符相似度，从得到的两个混合相似度度量值中选出较高的混合相似度度量值所对应的CV作为本次检索的3D对象，实验结果显示较为理想。这说明了本发明所述的形状描述符融合的方法克服了单纯的Shock图骨架描述符的不足，并受益于模糊规则的理论基础。

参照图5b，示出了本发明所述方法的优选实施例二的另一个较为典型的实验结果示意图。如图5b所示，当3D对象物体的轮廓特性和内部区域特性都十分明显，即目标区域面积S与轮廓周长C的比值较小，此时Shock图骨架描述符相似度的比较已较为理想，而傅立叶描述符相似度的差别不够显著，通过调节系数k₁和k₂，加重了Shock图骨架描述符相似度度量值Score_SD的权重，进而从得到的两个混合相似度度量值中选出较高的混合相似度度量值所对应的CV作为本次检索的3D对象，实验结果显示较为理想。这说明了这种形状描述符融合的方法克服了单纯的傅立叶描述符在某些情况下的不足，并受益于模糊规则的理论基础。

需要强调的是，对于前述的各方法实施例，为了简单描述，故将其都表述 为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

相应的，本发明还提供一种三维目标的检索装置，参照图6，示出了本发明所述装置的优选实施例一的结构示意图。其中所述三维对象包括3D模型和光场实际3D物体，如图6所示，所述装置包括：

特征视图模块601，用于获取3D对象的CV；

第一提取模块602，用于提取所述CV的第一Shock图骨架描述符和第一傅立叶描述符；

第二提取模块603，用于提取输入图的第二Shock图骨架描述符和第二傅立叶描述符；

第一相似度度量模块604，用于计算所述第一Shock图骨架描述符和第二Shock图骨架描述符的相似度度量值为第一相似度度量值；

第二相似度度量模块605，用于计算所述第一傅立叶描述符和第二傅立叶描述符的相似度度量值为第二相似度度量值；

混合相似度度量模块606，用于依据所述第一相似度度量值和第二相似度度量值获得混合相似度度量值，并确定最大的混合相似度度量值所对应的特征视图为与输入图最为相似的视图，该特征视图对应的三维对象为待检索三维对象。

更为优选的，参照图7所示，本发明所述装置的优选实施例二的结构示意图，在装置优选实施例一的基础上，更进一步地介绍了本发明所述装置的优选实施例的内部结构。

特征视图模块701，用于获取三维对象的特征视图，可以进一步包括：

获取图像子模块7011，用于将所述3D对象置于一个球体中心，沿球面均匀的布置若干个摄像头；获取所述3D对象不同视角的光场信息，得到若干幅 视图；

选取特征视图子模块7012，用于从若干幅视图中选取出CV；

第一提取模块702，用于提取所述特征视图的第一Shock图骨架描述符和第一傅立叶描述符，可以进一步包括：

提取第一Shock图骨架描述符子模块7021，用于将CV转换为对应的平面二进制图形，并构建平面二进制图形的骨架；应用Shock图语法的基本原则，将所述二进制图形的骨架转化为对应的Shock图，进而得到该CV的第一Shock图骨架描述符；

提取第一傅立叶描述符子模块7022，用于提取边界序列，计算所述边界序列的傅立叶描述符，并归一化傅立叶描述符，得到第一傅立叶描述符。

另外，第二提取模块703，用于提取输入图的第二Shock图骨架描述符和第二傅立叶描述符，可以进一步的包括：

提取第二Shock图骨架描述符子模块7031，用于将输入图转换为对应的平面二进制图形，并构建平面二进制图形的骨架；应用Shock图语法的基本原则，将所述二进制图形的骨架转化为对应的Shock图，进而得到第二Shock图骨架描述符；

提取第二傅立叶描述符子模块7032，用于提取边界序列，计算所述边界序列的傅立叶描述符，并归一化傅立叶描述符，得到第二傅立叶描述符；

第一相似度度量模块704，用于计算所述第一Shock图骨架描述符和第二Shock图骨架描述符的相似度度量值为第一相似度度量值，可以更进一步地包括：

约简子模块7041，用于约简所述第一Shock图骨架描述符和所述第二Shock图骨架描述符，以获得二者的约简图；

计算第一相似度度量值子模块7042，用于将所述约简图按层节点进行匹配，在约简图中逐个寻找CV和输入图的相应节点的权值，以获得所述相应节点之间的相似度，确定所有节点相似度的平均值为第一相似度度量值。

第二相似度度量模块705，用于计算所述第一傅立叶描述符和第二傅立叶描述符的相似度度量值为第二相似度度量值，可以进一步包括：

表示轮廓形状差异子模块7051，用于采用欧式距离表示归一化的第一傅立叶描述符和第二傅立叶描述符之间的轮廓形状差异；

计算第二相似度度量值子模块7052，选取欧式距离中的参数，计算第二相似度度量值；

混合相似度度量模块706，用于依据所述第一相似度度量值和第二相似度度量值获得混合相似度度量值，并确定最大的混合相似度度量值所对应的特征视图为与输入图最为相似的视图，该特征视图对应的三维对象为待检索三维对象，可以进一步包括：

调整权重系数子模块7061，用于调整Shock图骨架描述符和傅立叶描述符的相似度度量值的权重系数；基于模糊规则的非线性方法，通过计算三维对象的区域面积与轮廓周长，将区域面积和轮廓周长的比值作为模糊系统的输入；所述模糊系统所输出的两个参数值分别为第一相似度度量值的权重系数和第二相似度度量值的权重系数；

计算混合相似度度量值子模块7062，用于计算所述混合相似度度量值，其结果取决于第一相似度度量值及其权重系数和第二相似度度量值及其权重系数。

综上所述，本发明在3D模型基于视图检索机制基础上，发展了一种3D对象Vk的有效检索方法，即基于3D对象的CV和输入图的形状描述符融合进行检索的机制。

另外，本发明应用大量的彩色图像来表现一个V_k，因为彩色图像能够提供较多的颜色和纹理特征，因此这种方式可以更加精确、更加全面的表现V_k，并且有益于噪声鲁棒性。但由于采用大量彩色图像，必然在检索时间上存在问题，因此为了进一步最大可能的减少检索时间，本发明应用CV的方式解决这一问题，即通过自适应聚类算法寻找CV，进而减少了信息量。

由于以二维手绘草图来表示检索目标的形状，符合人的使用习惯，普通用户不受任何训练，即可用鼠标在屏幕上粗略地画出检索目标的几何形状，因此，利用二维手绘草图来检索3D对象成为一种友好的3D对象检索方式，具有交互 友好、操作直观易用的特点，因此，本发明在客户端采用手绘图输入进行检索的方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种三维对象的检索方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，只要根据本发明的权利要求书所作的等效变化与修饰，均仍属于本发明所涵盖的范围内。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种三维对象的检索方法，其特征在于，所述三维对象包括三维模型和光场实际三维物体，所述方法包括：

获取三维对象不同视角的多幅视图；

从所述多幅视图中选取包含最大信息量的特征视图，进一步包括以下三个子步骤：

第一子步骤，任选所述多幅视图中的一幅视图作为初始特征视图，并对距离度量最远的两幅视图进行均值聚类，根据信息度量值判断所述初始特征视图是否需要替换，若需要，则用所述距离度量最远的两幅视图替换初始特征视图，得到新的特征视图；

第二子步骤，以所有新的特征视图作为聚类中心，运用全局均值聚类算法进行全局聚类，得到多个视图类；

第三子步骤，对每一个视图类的类内，距离度量最远的两幅视图使用局部均值聚类算法，并进行各自类内视图信息量度量，将信息度量值较高的视图作为新的特征视图；之后，返回第二子步骤，依次迭代，直到得到的特征视图的数目达到了预设的上限；

将当前视图转换为对应的平面二进制图形，并构建平面二进制图形的骨架；

应用Shock图语法的基本原则，将所述二进制图形的骨架转化为对应的Shock图，进而得到当前视图的第一Shock图骨架描述符和第二Shock图骨架描述符；

提取当前视图边界序列，计算所述边界序列的傅立叶描述符，并归一化傅立叶描述符，得到第一傅立叶描述符和第二傅立叶描述符；

约简所述第一Shock图骨架描述符和所述第二Shock图骨架描述符，以获得二者的约简图；

所述约简图按层节点进行匹配，在约简图中逐个寻找特征视图和输入图的相应节点的权值，以获得所述相应节点之间的相似度，确定所有节点相似度的平均值为第一相似度度量值；

采用欧式距离计算归一化的第一傅立叶描述符和第二傅立叶描述符之间的轮廓形状差异，以获取第二相似度度量值；

依据三维对象的区域面积与轮廓周长的比值、调整分布类型的参数以及模糊规则，调整第一权重系数和第二权重系数；

依据所述第一相似度度量值与调整后的第一权重系数之积，和第二相似度度量值与调整后的第二权重系数之积相加，获得混合相似度度量值；

确定最大的混合相似度度量值所对应的特征视图为与输入图最为相似的视图，该特征视图对应的三维对象为待检索三维对象。

2.根据权利要求1所述的方法，其特征在于，所述当前视图为特征视图时，所得的Shock图骨架描述符为特征视图的第一Shock图骨架描述符；所述当前视图为输入图时，所得的Shock图骨架描述符为第二Shock图骨架描述符。

3.根据权利要求2所述的方法，其特征在于，所述当前视图为特征视图时，所得的傅立叶描述符为第一傅立叶描述符；所述当前视图为输入图时，所得的傅立叶描述符为第二傅立叶描述符。

4.一种三维对象的检索装置，其特征在于，所述三维对象包括三维模型和光场实际三维物体，所述装置包括：

特征视图模块，用于获取三维对象的特征视图；所述特征视图模块进一步包括以下子模块：

获取图像子模块，用于获取三维对象不同视角的多幅视图；

选取特征视图子模块，用于从所述多幅视图中选取包含最大信息量的特征视图；进一步的包括以下子模块：

第一子模块，用于任选所述多幅视图中的一幅视图作为初始特征视图，并对距离度量最远的两幅视图进行均值聚类，根据信息度量值判断所述初始特征视图是否需要替换，若需要，则用所述距离度量最远的两幅视图替换初始特征视图，得到新的特征视图；

第二子模块，用于以所有新的特征视图作为聚类中心，运用全局均值聚类算法进行全局聚类，得到多个视图类；

第三子模块，用于对每一个视图类的类内，距离度量最远的两幅视图使用局部均值聚类算法，并进行各自类内视图信息量度量，将信息度量值较高的视图作为新的特征视图；之后，返回第二子模块，依次迭代，直到得到的特征视图的数目达到了预设的上限；

第一提取模块，用于提取所述特征视图的第一Shock图骨架描述符和第一傅立叶描述符；所述第一提取模块进一步包括以下子模块：

提取第一Shock图骨架描述符子模块，用于将当前视图转换为对应的平面二进制图形，并构建平面二进制图形的骨架；应用Shock图语法的基本原则，将所述二进制图形的骨架转化为对应的Shock图，进而得到当前视图的第一Shock图骨架描述符；

提取第一傅立叶描述符子模块，用于提取当前视图边界序列，计算所述边界序列的傅立叶描述符，并归一化傅立叶描述符，得到第一傅立叶描述符；

第二提取模块，用于提取输入图的第二Shock图骨架描述符和第二傅立叶描述符；所述第二提取模块进一步包括以下子模块：

提取第二Shock图骨架描述符子模块，用于将当前视图转换为对应的平面二进制图形，并构建平面二进制图形的骨架；应用Shock图语法的基本原则，将所述二进制图形的骨架转化为对应的Shock图，进而得到当前视图的第二Shock图骨架描述符；

提取第二傅立叶描述符子模块，用于提取当前视图边界序列，计算所述边界序列的傅立叶描述符，并归一化傅立叶描述符，得到第二傅立叶描述符；

第一相似度度量模块，用于计算所述第一Shock图骨架描述符和第二Shock图骨架描述符的相似度度量值为第一相似度度量值；所述第一相似度度量模块进一步包括以下子模块：

约简子模块，用于约简所述第一Shock图骨架描述符和所述第二Shock图骨架描述符，以获得二者的约简图；

计算第一相似度度量值子模块，用于将所述约简图按层节点进行匹配，逐个寻找特征视图和查询条件的相应节点的权值，以获得所述相应节点之间的相似度，确定所有节点相似度的平均值为第一相似度度量值；

第二相似度度量模块，用于计算所述第一傅立叶描述符和第二傅立叶描述符的相似度度量值为第二相似度度量值；所述第二相似度度量模块进一步包括以下子模块：

表示轮廓形状差异子模块，用于采用欧式距离表示归一化的第一傅立叶描述符和第二傅立叶描述符之间的轮廓形状差异；

计算第二相似度度量值子模块，选取欧式距离中的参数，计算第二相似度度量值；混合相似度度量模块，用于依据所述第一相似度度量值和第二相似度度量值获得混合相似度度量值，并确定最大的混合相似度度量值所对应的特征视图为与输入图最为相似的视图，该特征视图对应的三维对象为待检索三维对象；所述混合度相似度度量模块进一步包括以下子模块：

调整权重系数子模块，用于依据三维对象的区域面积与轮廓周长的比值、调整分布类型的参数以及模糊规则，调整第一权重系数和第二权重系数；

计算混合相似度度量值子模块，用于依据所述第一相似度度量值与调整后的第一权重系数之积，和第二相似度度量值与调整后的第二权重系数之积相加，获得混合相似度度量值。

Images