CN101593205B - 基于视频的三维模型检索方法 - Google Patents

Abstract

本发明提出了一种基于视频的三维模型检索方法，包括以下步骤：对三维模型数据库进行预处理，生成二维轮廓数据库；从视频信息中提取物体的代表轮廓；将所述代表轮廓与所述二维轮廓数据库进行匹配，根据匹配结果确定所述物体对应的三维模型。本发明所提出的基于视频的三维模型检索方法降低了检索的复杂度，提高了检索精度。

Description

基于视频的三维模型检索方法

技术领域

本发明涉及多媒体信息检索技术，尤其涉及三维模型检索方法。

背景技术

随着多媒体技术的普及和发展，各种三维模型不断地出现并应用在社会生产生活的各个方面。因此，如何从已有的各种三维模型数据库中快速准确地检索到自己需要的三维模型，成为目前需要解决的一个问题。

目前已经存在一些三维模型的检索方法，如基于三维草图匹配、基于二维草图匹配、基于三维模型匹配、基于文本关键字匹配等。但是这些方法各自存在不足：基于三维草图的匹配算法绘制操作相对复杂，缺乏较好的交互性；基于二维草图的匹配丢失了过多的信息，造成检索的精度下降。

因此，目前需要一种操作简单并且高精确度的三维模型的检索方法。

发明内容

为了解决上述问题之一，本发明提出了一种基于视频的三维模型检索方法，包括以下步骤：对三维模型数据库进行预处理，生成二维轮廓数据库；从视频信息中提取物体的代表轮廓；将所述代表轮廓与所述二维轮廓数据库进行匹配，根据匹配结果确定所述物体对应的三维模型。

根据本发明的实施例，所述对三维模型数据库进行预处理，生成二维轮廓数据库的步骤包括：从多个角度对所述三维模型数据库中的三维模型进行投影，得到多个投影图片；提取所述投影图片的外边缘，对所述外边缘进行采样，获得多个采样点作为所述三维模型的一个二维轮廓；提取所述二维轮廓的特征向量，将所述三维模型的所有所述二维轮廓所提取出的特征向量组成所述三维模型的特征向量集；将所述特征向量集进行分类，对于每个所述特征向量集类确定代表特征向量；将每个所述代表特征向量所对应的二维轮廓保存到所述二维轮廓数据库中；将所有二维轮廓的代表特征向量组成代表特征向量集，将所述代表特征向量集进行逐层分类，构成树型结构的所述二维轮廓数据库。

根据本发明的实施例，所述从视频信息中提取物体的代表轮廓的步骤包括：对所述视频信息的各帧进行处理，得到每帧关注物体的二值化图像；分别对所述二值化图像进行边缘检测，得到所述关注物体的二维轮廓；提取所述二维轮廓的特征向量，构成所述关注物体的特征向量集；对所述特征向量集进行分类，对于每个所述特征向量集类确定代表特征向量，得到所述关注物体的代表轮廓。

根据本发明的实施例，所述提取二维轮廓的特征向量的步骤包括：在所述二维轮廓中选取num个采样点，计算每个所述采样点到所述二维轮廓上其它采样点的距离，取所述距离的平均值作为所述采样点的特征值，其中num为正整数；计算num个所述特征值的平均值，然后依次将num个所述特征值除以所述特征值的平均值得到规范化的特征值；将所述二维轮廓的所述规范化的特征值按顺序排列，构成num维向量，将所述num维向量作为所述二维轮廓的特征向量。

根据本发明的实施例，所述逐层分类构建树型结构的所述二维轮廓数据库的步骤包括：将所述三维模型数据库中的所有三维模型的二维轮廓的特征向量进行初步聚类，确定所述三维模型数据库的第一层聚类；分别对上一层的每个所述聚类中的所述特征向量进行聚类；重复进行聚类操作，直至所述聚类不能再细分。

根据本发明的实施例，所述聚类不能再细分的标准为：所述聚类内的特征向量数n＜k，或所述聚类内的距离的总和 $S=\underset{i=1,j=i+1}{\overset{i=n,j=n}{\mathrm{\&Sigma;}}}(a_i-a_j)<\stackrel{\&OverBar;}{S},$ 其中n为所述聚类内的特征向量数，S为所述聚类内的距离的总和，(a_i-a_j)为所述聚类内特征向量i到特征向量j的距离，k，S为设定值。

根据本发明的实施例，所述对所述视频信息的各帧进行处理包括：利用背景差分法对所述视频信息的各帧进行处理。

根据本发明的实施例，将所述代表轮廓与所述二维轮廓数据库进行匹配，根据匹配结果确定所述物体对应的三维模型的步骤包括：将所述代表轮廓与所述二维轮廓数据库进行比较，在所述二维轮廓数据库中选择与所述代表轮廓相似度高的二维轮廓；将所述物体的每幅代表轮廓匹配的二维轮廓所对应的三维模型的相似度进行评分累加得到每个所述三维模型的匹配，根据所述匹配评分确定与所述物体匹配的三维模型。

根据本发明的实施例，所述相似度由轮廓之间的距离确定，距离越小，相似度越高，距离越大，相似度越低，其中所述距离由轮廓之间的形状距离和弯曲能量确定。

根据本发明的实施例，所述分类通过K-medoids聚类算法完成。

本发明所提出的基于视频的三维模型检索方法降低了检索的复杂度，提高了检索精度。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明的一个实施例的基于视频的三维模型检索方法的流程图；

图2为根据本发明的一个实施例的对三维模型数据库进行预处理的流程图；

图3为根据本发明的一个实施例的提取特征向量的流程图；

图4为根据本发明的一个实施例的二维轮廓数据库的树型结构示意图；

图5为根据本发明的一个实施例的检索匹配输出过程的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示为根据本发明的一个实施例的基于视频的三维模型检索方法的流程图。作为本发明的一个实施例，三维模型存储在服务器端的三维模型数据库中，所述方法从客户端得到一段关于物体在特定条件下刚体运动的视频，从视频各帧中提取物体不同角度的轮廓信息，通过聚类算法选出物体多个角度的代表轮廓，再综合各轮廓信息与服务器端进行匹配，从所述数据库中输出满足要求的三维模型。作为本发明的一个实施例，该方法包括以下步骤：

在服务器端，将服务器端的三维模型数据库进行预处理，构成一个具有树型结构的二维轮廓数据库；

在客户端，对用户提供的物体视频进行处理，跟踪提取视频中的关注物体，例如通过背景差分法，再提取得到物体的轮廓信息，并通过聚类方法产生视频中关注物体多个角度的代表轮廓；

将从客户端得到的多幅代表轮廓分别与所述二维轮廓数据库中的二维轮廓进行匹配，根据匹配结果确定物体所对应的三维模型。

如图2所示为根据本发明的一个实施例的对三维模型数据库进行预处理的流程图。作为本发明的一个实施例，在预处理过程中，对服务器端的三维模型数据库中的每一个三维模型，通过投影提取外轮廓信息，对轮廓进行采样获得相应的特征向量，对各轮廓根据特征向量进行分类，再从每类中选出代表轮廓保存。作为本发明的一个实施例，该方法包括以下步骤：

对于服务器端的三维模型数据库中的每一个三维模型，按一定的间隔，如五度的间隔，从各个角度对该三维模型进行投影，得到一幅幅投影图片，在具体实施过程中也可以根据需要采用其他适合的间隔度；

提取每一幅投影图片的外边缘，例如，采用canny检测算法，对所述外边缘进行等距离采样，获得设定数目的采样点，所述采样点作为相应三维模型的一个二维轮廓；

从所述二维轮廓中提取特征向量，同一三维模型的所有投影图片所对应的特征向量构成该三维模型所对应的特征向量集；

对于服务器端的三维模型数据库中的每一个三维模型，将其所对应的特征向量集分类，获得k个代表特征向量，例如，可以通过K-medoids聚类算法；

将每一个类对应的代表特征向量所对应的轮廓保存到所述二维轮廓数据库中；

对所述二维轮廓数据库中的每一个二维轮廓计算特征向量，所有二维轮廓所对的特征向量构成特征向量集，采用逐层聚类的算法构建数据库的树型结构。

作为本发明的一个实施例，对物体视频的各帧进行处理，得到物体的代表轮廓的步骤可以包括：

对用户提供的物体视频的各帧进行处理，例如，通过背景差分法，得到每帧关注物体的二值化图像；

分别对二值化图像进行边缘检测以得到关注物体的外轮廓，例如，通过canny边缘检测方法，再对轮廓进行等距离采样并提取出代表特征向量，从各帧图像提取的特征向量构成关注物体的特征向量集；

对该特征向量集分类，例如采用K-medoids聚类算法，获得K个代表特征向量，即得到关注物体的K个代表轮廓。

如图3所示为根据本发明的一个实施例的提取特征向量的流程图。在对三维模型的预处理过程中以及提取关注物体的二维轮廓过程中均可以采用该方法。该实施例首先对轮廓进行采样，再分别计算采样点之间的距离，取每点到其他各点距离的均值作为该点的特征值，经过规范化处理再按特征值从小到大顺序排列构成特征向量。具体步骤如下：

所述二维轮廓由设定数目为num的采样点表示，对于所述二维轮廓上的每一点，计算该点到轮廓上其它点的距离，取距离的平均值作为该点的特征值；

对计算得到的num个点的特征值进行规范化处理：首先计算出这num个特征值的平均值Mean，然后依次将num个特征值除以Mean以得到规范化后的特征值；

将轮廓上经规范化得到的特征值按顺序排列，如按照从小到大或从大到小的顺序，构成一个num维向量，将该向量作为所述二维轮廓的特征向量。

如图4所示为根据本发明的一个实施例的二维轮廓数据库的树型结构示意图。其中，☆表示代表轮廓。其中由基类开始，每一大类都有自己的代表轮廓。检索时，检索过程中只需与代表轮廓进行比较，直至找到最底层时才与类内所有轮廓进行比较。作为本发明的一个实施例，构造数据库的树型结构具体步骤如下：

对模型库中所有模型代表图片的特征向量进行初步聚类，例如采用K-medoids聚类算法，以确定模型库的各大类，设定为N；

在N大类中分别采用聚类算法进行聚类，以得到更加细分的类别；

在细分类别中重复聚类操作，直至该类不能再细分为止，作为本发明的一个实施例，不再细分标准可以为：类内特征向量数n＜k或类内距离的总和 $S=\underset{i=1,j=i+1}{\overset{i=n,j=n}{\mathrm{\&Sigma;}}}(a_i-a_j)<\stackrel{\&OverBar;}{S},$ 其中，n为所述聚类内的特征向量数，S为所述聚类内的距离的总和，(a_i-a_j)为所述聚类内特征向量i到特征向量j的距离，k，S为设定值。

作为本发明的一个实施例，将特征向量集分类，获得k个代表特征向量的步骤可以包括：

k1代表分类的类数，将其初始化为2，max代表最大分类数，s代表分类的准确度，将其初始化为-1；

从所述特征向量集中任意选取k1个特征向量分别作为每一类的代表特征向量；

特征向量之间的距离由公式‖W_x-W_y‖计算，对于所述特征向量集中的每一个未分类特征向量，分别计算该特征向量与每一类的代表特征向量之间的距离，按距离最小原则将该特征向量划分到对应的类中，其中，W_x为未分类特征向量，W_y为所在类的代表特征向量，‖W_x-W_y‖表示W_x与W_y之间的距离；

当未分类特征向量W_x加入某一类后，更新该类的代表特征向量：计算该类中每一个特征向量到同一类中其他特征向量的距离，并平均，按平均距离最小原则将所对应的特征向量作为该类的代表特征向量；

重复上述两个步骤，直至每一个特征向量都归入到相应的类中；

计算此次循环得到的分类的合理性；将类数k1加1，重复上述步骤，直至达到最大分类数，再综合比较确定一个合理的分类。

作为本发明的一个实施例，计算分类合理性的方法可以包括以下步骤：

对于所述特征向量集中的每一个特征向量，a代表该特征向量与它所对应类的代表特征向量之间的距离，b代表该特征向量与其他类的代表特征向量之间距离的最小值；

用公式1-a/(max(a，b))计算此次分类的正确性，用s1表示；

选择最大的s1所代表的分类方案即为最合理的聚类。

如图5所示为根据本发明的一个实施例的检索匹配输出过程的流程图。该实施例包括以下步骤：

将待检索的视频的代表轮廓分别与所述二维轮廓数据库中第一层的二维轮廓进行匹配；

初步确定与从客户端输入的轮廓最接近的分类；

将待匹配轮廓与该分类逐层比较以最终确定相似度高的轮廓；

将每幅代表轮廓匹配的三维模型按相似度由高到低进行排序并进行评分，例如，选取前20个进行评分，相似度最高的20分，以后依次按1分间隔递减，第20位得1分；

统计所有代表轮廓匹配的三维模型，进行评分累加，再从高到低排序，由评分高低依次输出相似的三维模型。

作为本发明的一个实施例，两个轮廓之间的距离由它们的形状距离和弯曲能量组合而成，所述形状距离与弯曲能量的计算还包括以下步骤：

轮廓中心的坐标为轮廓上所有点的坐标平均，对于轮廓上的每一点，计算轮廓上的其他点到该点的距离，用轮廓上的点与所述轮廓中心之间距离的最大值归一化，并按距离和角度等分成60个象限，统计各个象限内的点数，从而构成该点的特征向量h；

由公式 $\frac{1}{2}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_j\left(k\right)+h_j\left(k\right)}$ 计算两点之间的形状距离；对于两个轮廓A和B，分解计算轮廓上的每一点的特征向量，从而构成两个距离矩阵。利用匈牙利算法求得轮廓A和B的最佳匹配，再将对应点的形状距离求和取均值即得到两轮廓的形状距离E1。

利用薄板样条插值算法，根据轮廓A、B以及它们之间的最佳匹配，就可求得轮廓A变换到与轮廓B重合所经过的弹性变换程度对应的弯曲能量E2；两个轮廓之间的距离由公式a*E1+b*E2计算，a+b＝1，且0＜a＜1，0＜b＜1；详细算法可参见Serge Belongie、Jitendra Malik、Jan Puzicha的《Shape Matching and Object Recognition Using Shape Contexts》。

本发明的实施例提出了一种基于视频的三维模型检索方法，克服了现有技术的不足。该方法不仅可以根据用户提供的物体在特定条件下刚体运动的视频检索出三维模型，还能对视频进行预处理以提取代表性的轮廓信息，从而能够快速准确地检索到符合要求的三维模型，避免了多帧差异很小的图片重复检索造成的时间浪费。本发明的实施例对已经存在的三维模型数据库进行投影处理，得到各个角度下的视图，提取视图的轮廓，采用聚类方法对轮廓进行分类，只保存每一类中的代表轮廓，在视频预处理、三维模型投影、构建数据库等阶段都采用了聚类算法，从而大大减少了检索时需要匹配的轮廓数目；在检索时与数据库中的二维轮廓进行匹配，从而提高了检索的效率；而采用多幅物体轮廓进行匹配，极大地提高检索的精度。本发明所提出的基于视频的检索不仅具有获取简单的优点，而且能够相对全面地得到物体的信息，并且避免了手工绘制的任意性和不准确性，从而能够较好地进行三维模型的检索。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由所附权利要求及其等同限定。

Claims (9)

1.一种基于视频的三维模型检索方法，其特征在于，包括以下步骤：

对三维模型数据库进行预处理，生成二维轮廓数据库；

从视频信息中提取物体的代表轮廓；

将所述代表轮廓与所述二维轮廓数据库进行匹配，根据匹配结果确定所述物体对应的三维模型；

所述对三维模型数据库进行预处理，生成二维轮廓数据库的步骤包括：

从多个角度对所述三维模型数据库中的三维模型进行投影，得到多个投影图片；

提取所述投影图片的外边缘，对所述外边缘进行采样，获得多个采样点作为所述三维模型的一个二维轮廓；

提取所述二维轮廓的特征向量，将所述三维模型的所有所述二维轮廓所提取出的特征向量组成所述三维模型的特征向量集；

将所述特征向量集进行分类，对于每个所述特征向量集类确定代表特征向量；

将每个所述代表特征向量所对应的二维轮廓保存到所述二维轮廓数据库中；

将所有二维轮廓的代表特征向量组成代表特征向量集，将所述代表特征向量集进行逐层分类，构成树型结构的所述二维轮廓数据库。

2.根据权利要求1所述的基于视频的三维模型检索方法，其特征在于，所述从视频信息中提取物体的代表轮廓的步骤包括：

对所述视频信息的各帧进行处理，得到每帧关注物体的二值化图像；

分别对所述二值化图像进行边缘检测，得到所述关注物体的 二维轮廓；

提取所述二维轮廓的特征向量，构成所述关注物体的特征向量集；

对所述特征向量集进行分类，对于每个所述特征向量集类确定代表特征向量，得到所述关注物体的代表轮廓。

3.根据权利要求1或2所述的基于视频的三维模型检索方法，其特征在于，所述提取二维轮廓的特征向量的步骤包括：

在所述二维轮廓中选取num个采样点，计算每个所述采样点到所述二维轮廓上其它采样点的距离，取所述距离的平均值作为所述采样点的特征值，其中num为正整数；

计算num个所述特征值的平均值，然后依次将num个所述特征值除以所述特征值的平均值得到规范化的特征值；

将所述二维轮廓的所述规范化的特征值按顺序排列，构成num维向量，将所述num维向量作为所述二维轮廓的特征向量。

4.根据权利要求1所述的基于视频的三维模型检索方法，其特征在于，所述逐层分类构建树型结构的所述二维轮廓数据库的步骤包括：

将所述三维模型数据库中的所有三维模型的二维轮廓的特征向量进行初步聚类，确定所述三维模型数据库的第一层聚类；

分别对上一层的每个所述聚类中的所述特征向量进行聚类；

重复进行聚类操作，直至所述聚类不能再细分。

5.根据权利要求4所述的基于视频的三维模型检索方法，其特征在于，所述聚类不能再细分的标准为：所述聚类内的特征向量数n＜k，或所述聚类内的距离的总和 

其中n为所述聚类内的特征向量数，S为所述聚类内的距离的总和，(a_i-a_j)为所述聚类内特征向量i到特征向量j的距离， 

为设定值。

6.根据权利要求2所述的基于视频的三维模型检索方法，其 特征在于，所述对所述视频信息的各帧进行处理包括：利用背景差分法对所述视频信息的各帧进行处理。

7.根据权利要求1所述的基于视频的三维模型检索方法，其特征在于，将所述代表轮廓与所述二维轮廓数据库进行匹配，根据匹配结果确定所述物体对应的三维模型的步骤包括：

将所述代表轮廓与所述二维轮廓数据库进行比较，在所述二维轮廓数据库中选择与所述代表轮廓相似度高的二维轮廓；

将所述物体的每幅代表轮廓匹配的二维轮廓所对应的三维模型的相似度进行评分累加得到每个所述三维模型的匹配，根据所述匹配评分确定与所述物体匹配的三维模型。

8.根据权利要求7所述的基于视频的三维模型检索方法，其特征在于，所述相似度由轮廓之间的距离确定，距离越小，相似度越高，距离越大，相似度越低，其中所述距离由轮廓之间的形状距离和弯曲能量确定。

9.根据权利要求1或2所述的基于视频的三维模型检索方法，其特征在于，所述分类通过K-medoids聚类算法完成。 

Images