CN110083715B - 一种基于核稀疏表示的三维模型分类检索方法 - Google Patents

Abstract

本发明公开了一种基于核稀疏表示的三维模型分类检索方法。本发明步骤如下：1、运用一种基于二次误差作为度量代价的边收缩算法对以点云形式表示的三维模型进行顶点简化处理；2、计算顶点简化后三维模型的方向，保证同类模型在方向上能够对齐，通过计算得到了三维模型的三个特征方向向量；3、基于三个特征方向向量对三维模型进行渲染，得到相应不同方向上的多张不同渲染图像；4、针对不同数据集中三维模型的特点，综合考虑数据特征与描述符特征，选定特征描述符提取渲染图像的特征；5、利用改进的核稀疏表示分类器对提取的特征向量进行匹配，进而实现对三维模型的分类检索工作。本发明具有一定的鲁棒性，取得了较为高效、可靠的优越性能。

Description

一种基于核稀疏表示的三维模型分类检索方法

技术领域

该基于核稀疏表示的三维模型分类检索方法属于计算机视觉领域，特别是利用核技巧在新特征空间中执行稀疏表示分类器，并将其适用场景从二维数据扩展到了三维数据。

背景技术

近些年来，计算机技术飞速发展，三维建模技术日趋成熟。伴随着这股热潮，三维模型渐渐的发展成为继声音、图像和视频之后的第四代多媒体数据类型。目前，网络上的三维模型以指数的方式爆炸性增长，同时在许多方面都获得了普遍的应用，如科研、工业和医学等领域。其在我们的生活中也随处可见，如在虚拟环境、计算机辅助设计、3D游戏、影视动画、分子生物学、地理信息系统等领域均发挥着重要的作用，甚至一些购物网站也推出了3D试衣间。

随着三维模型在越来越多的领域扮演着越来越重要的角色，越来越成为我们生活中不可或缺的一部分，开展三维模型分类检索技术的研究具有重要的理论意义和广泛的实用价值。相比于二维视图，三维模型更符合人类的视觉感知和思维模式规律。对三维模型的分类检索已然成为计算机视觉领域中一个新兴起的研究热点。因此，如何能够快速而高效的从网络上大量的三维模型数据资源中分类检索到所需要的三维模型，已经成为当前信息检索领域中急需解决的问题。

在模式识别中，分类是不可或缺的步骤，也是数据挖掘的一种非常重要的方法，分类器设计是最流行的技术之一。在过去的几十年中，已经提出了几种分类方法，如支持向量机、决策树、逻辑回归、朴素贝叶斯、神经网络等。其中，支持向量机是针对二值分类问题提出的，但实际应用中的大量多值分类问题也进一步要求将支持向量机推广到多分类问题上，比如通常将支持向量机和二叉决策树结合起来，构成多类别的分类器。如何从训练样本中找到一个支持向量，能够建构出最好的分类超平面，这是支持向量机的核心内容，它是从线性可分情况下的最优分类超平面发展而来的。最初研究的支持向量机问题都是线性可分的，但在实际应用中多数为线性不可分的情况，为了解决这一难题，我们将输入的数据通过非线性变换将其映射到高维特征空间中去。在高维特征空间中，原空间输入的非线性分类就转化为线性问题。

我们将这种非线性映射的过程称为核方法。基于核方法的算法引起了人们对模式识别和机器学习的浓厚兴趣，如核主成分分析(KPCA)和核Fisher判别分析(KFD)等。这些基于核方法的算法提高了线性算法的计算能力。他们通过非线性映射将数据映射到高维特征空间，并使用内积在高维特征空间中执行线性算法。在高维特征空间中，内积可以通过核函数计算。核方法可以通过非线性映射改变样本的分布，原始特征空间中的一些线性不可分的样本可以在高维特征空间中变得线性可分。

稀疏表示分类器(SRC)是一种非参数学习方法，不需要训练过程，但需要训练数据，可以直接给测试样本分配一个类别标签。SRC也可以被认为是机器学习和压缩感知的完美结合。SRC采用压缩感知中的稀疏信号重构方法实现数据的稀疏表示，并根据重构误差对数据进行分类。通常，SRC将样本矩阵作为稀疏表示矩阵，并采用一些变换矩阵来降低输入空间的维数。样本矩阵的每一列都包含一个训练样本。然而，SRC将失去对同一方向分布数据的分类能力。换句话说，如果测试样本与两个或多个类的训练样本具有相同的向量方向，则SRC不能对测试样本进行分类。这时，就需要在SRC中引入核方法以实现不同类别的特征在高维空间是线性可分的，进而实现对原始数据的分类。

核稀疏表示分类器(KSRC)具有更加优越的性能。一方面，通过核方法将原始特征空间中的一些线性不可分样本在高维特征空间中变为线性可分的；另一方面，在高维特征空间中使得测试样本可以表示为来自相同类别的训练样本的线性组合。由此可见，KSRC可以有效地解决SRC中出现的问题，从而能够更好地实现分类任务。

发明内容

本发明提出了一种基于核稀疏表示的三维模型分类检索方法。

本发明包括以下步骤：

步骤1、对于某个以点云形式表示的三维模型，为了减少后续的计算量，降低计算成本，在保证保留三维模型主要特征的前提下，运用一种基于二次误差作为度量代价的边收缩算法对模型进行顶点简化处理；

步骤2、与二维图像不同的是三维模型具有空间上的方向性，因此需要计算顶点简化后三维模型的方向，保证同类模型在方向上能够对齐，本方法中通过计算得到了三维模型的三个特征方向向量；

步骤3、在上述计算所得特征方向上对三维模型进行渲染，得到相应不同方向上的多张不同渲染图像；

步骤4、针对不同数据集中三维模型的特点，综合考虑数据特征与描述符特征，选用合适的特征描述符提取渲染图像的特征；

步骤5、利用改进过的核稀疏表示分类器对提取的特征向量进行匹配，进而实现对三维模型的分类检索工作。

本发明有益效果如下：

该方法可以有效地实现对于三维模型的分类检索工作。本方法的一个最大好处是避免了训练神经网络所需要的巨大样本量及高额的时间成本，只需要较少的训练样本即可以实现对三维模型的分类检索。本方法的一个特点是将稀疏表示分类器的应用范围由二维图像推广到了三维模型，同时引入核函数解决了原本稀疏表示分类器的缺陷问题，进一步提高了分类结果的准确性。

具体实施方式

本发明提出了一种基于核稀疏表示的三维模型分类检索方法，下面结合相关步骤进行详细说明：

步骤1、对于以三维点云形式表示的三维模型，为了减少后续的计算量，避免维数灾难，降低计算成本，在保证保留三维模型主要特征的前提下，运用一种基于二次误差作为度量代价的边收缩算法对模型进行顶点简化。

二次误差度量(Quadric Error Metrics，QEM)算法计算速度快且简化质量较高，对于模型中的每个顶点，预先定义一个对称误差矩阵，那么顶点的误差为其二次项形式。对于一条收缩边，如何计算收缩后顶点的位置至关重要，一种策略就是计算选择收缩边上两顶点及中点中的一个，使得收缩代价最小，但这往往并不能保证新顶点所在位置是收缩边上收缩代价最小的点；还有一种策略就是在收缩边上计算选择一个使得收缩代价最小的位置，这就弥补了前一种策略的遗憾，本方法中选择使用该策略。在原始三维模型中，每个顶点可以认为是其周围三角片所在平面的交集，也就是说这些平面的交点就是顶点的位置，这里定义顶点的误差为顶点到这些平面的距离平方和，因此原始三维模型中顶点的初始误差为0。当边收缩后，计算新顶点的误差，依次选取收缩后新顶点误差最小的边进行迭代收缩直到满足要求为止。

步骤2、与二维图像不同的是三维模型具有空间上的方向性，因此需要计算顶点简化后三维模型的方向，保证同类模型在方向上能够对齐，本方法中通过独立成分分析(Independent Component Analysis，ICA)计算得到了三维模型的三个特征方向向量。

ICA是非常有效的数据分析工具，主要用来从混合数据中提取出原始的独立信号。对于三维模型数据X，按列计算其均值X_m，然后令X_n＝X-X_m；求解矩阵X_n的协方差矩阵，并将其记为Cov；计算协方差矩阵Cov的特征值和相应的特征向量；记上述特征值对角矩阵为D，单位特征向量矩阵为P，则白化变换矩阵

数据经白化处理后，最终通过迭代求解出相互独立的方向特征向量。如此计算得到的三个特征向量即为该三维模型的三个特征方向向量，需注意的是三者之间未必相互正交。

在上述计算所得方向上对三维模型进行渲染，得到相应方向上的不同渲染图像，从不同的角度展现了三维模型的不同面貌，从而能够更好地描述三维模型的细节特征。特别需要注意的是，考虑到三维模型可能存在的不对称性，这里在特征方向向量所指示的方向上从不同的两端分别对三维模型进行渲染，这样每个三维模型就对应着六张渲染得到的特征图像。

步骤3、针对不同数据集中三维模型的特点，综合考虑数据特征与描述符特征，选用方向梯度直方图特征描述符提取渲染图像的特征。

尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)是一种用于图像处理领域的局部特征描述符，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；方向梯度直方图(Histogram of OrientedGradient，HOG)通过计算和统计图像局部区域的梯度方向来构成特征，对图像几何的和光学的形变都能保持很好的不变性；局部二值模式(Local Binary Pattern，LBP)是一种用来描述图像局部纹理特征的描述符，它具有旋转不变性和灰度不变性等显著的优点。在我们的实验中，基于所选用数据集的特征，经过比对，以HOG作为模型的特征描述符。

步骤4、利用改进过的核稀疏表示分类器对提取的特征向量进行匹配，进而实现对三维模型的分类检索工作。

本发明方法中对所改进的核稀疏表示分类器作进一步说明：

稀疏表示分类器(SRC)的基本思想是通过能够最佳线性表示测试样本的某一类训练样本来预测相应测试样本的隶属度。给定t类训练样本A＝[A⁽¹⁾A⁽²⁾…A^(t)]，其中

表示此训练样本属于第i类，s是样本的维数。设Y∈R^s为测试样本，则接下来SRC的优化问题变为计算稀疏系数

用以通过训练样本表示测试样本。优化计算表达式如(式1)所示：

s.t.||AX-Y||₂≤ε

这里用ε表示阈值，ε是一个趋向于0的极小数，||·||₀表示

范数，计算向量中非零元素的数目。然而，求解(式1)优化问题的解是NP难的。因此，SRC试图寻求另一种优化问题的解决方案，优化计算表达式如(式2)所示：

s.t.||AX-Y||₂≤ε

其中||·||₁表示

范数，计算向量中所有元素的绝对值之和。已有研究表明，如果

足够稀疏，那么(式1)和(式2)的解是等价的。由于(式2)可以通过标准线性规划方法有效地求解，所以SRC可以通过求解(式2)得到测试样本Y的最稀疏表示

在获得最稀疏的表示

之后，通过解

的非零项，可以容易地确定测试样本Y的分类。将

表示为：

SRC通过找到Y和

之间的最小残差来预测Y的隶属度m，其中

也就是说，SRC通过最小化以下残差来对测试样本Y进行分类：

SRC将优化问题(式3)的结果视为Y的隶属度m。

虽然SRC在人脸识别等领域取得了不错的效果，但是仍存在一定的局限性。从根本上来说，SRC依赖于以下假设：属于同一类的特征向量至少近似地属于相同的线性子空间，而属于不同类别的特征向量对应于不同的线性子空间。因此，如果属于不同类别的特征向量是共线的，则SRC将会产生混淆，失去作用。鉴于此种情况的存在，提出了基于核函数的SRC(KSRC)来弥补SRC的这一缺点。KSRC的关键思想是将样本映射到更高维度的空间，并在高维空间中对样本进行分类。KSRC的优化问题与SRC中的相似，但加入了相应的核函数进行高维映射，可表述如(式4)所示：

其中，

和

是将样本映射到更高维空间的函数。将

表示为

和

的内积，则

同样，可以通过最小化残差来预测测试样本Y的隶属度m_Y：

注意，

不必明确定义，因为计算残差所需的两个项B^TB和

仅依赖于核函数k(·，·)。也就是说，针对不同的任务要求，我们需要找到一个合适的核函数k(·，·)来实现对原空间的高维映射，比如说高斯核函数

就是一种比较常用的核函数，其中σ是可变参数。

Claims (1)

1.一种基于核稀疏表示的三维模型分类检索方法，其特征在于包括以下步骤：

步骤1、对于某个以点云形式表示的三维模型，在保证保留三维模型主要特征的前提下，运用一种基于二次误差作为度量代价的边收缩算法对模型进行顶点简化处理；

步骤2、计算顶点简化后三维模型的方向，保证同类模型在方向上能够对齐，通过计算得到了三维模型的三个特征方向向量；

步骤3、基于三个特征方向向量对三维模型进行渲染，得到相应不同方向上的多张不同渲染图像；

步骤4、针对不同数据集中三维模型的特点，综合考虑数据特征与描述符特征，选定特征描述符提取渲染图像的特征；

步骤5、利用改进的核稀疏表示分类器对提取的特征向量进行匹配，进而实现对三维模型的分类检索工作；

步骤1具体实现如下：

对于模型中的每个顶点，预先定义一个对称误差矩阵，那么顶点的误差为其二次项形式；定义顶点的误差为顶点到三角片所在平面的距离平方和，因此原始三维模型中顶点的初始误差为0；当边收缩后，计算新顶点的误差，依次选取收缩后新顶点误差最小的边进行迭代收缩直到满足要求为止；

步骤2和3具体实现如下：

通过独立成分分析计算得到了三维模型的三个特征方向向量；对于三维模型数据X，按列计算其均值X_m，然后令X_n＝X-X_m；求解矩阵X_n的协方差矩阵，并将其记为Cov；计算协方差矩阵Cov的特征值和相应的特征向量；记上述特征值对角矩阵为D，单位特征向量矩阵为P，则白化变换矩阵

数据经白化处理后，最终通过迭代求解出相互独立的方向特征向量；如此计算得到的三个特征向量即为该三维模型的三个特征方向向量；

在上述计算所得方向上对三维模型进行渲染，得到相应方向上的不同渲染图像，从不同的角度展现了三维模型的不同面貌，考虑到三维模型可能存在的不对称性，这里在特征方向向量所指示的方向上从不同的两端分别对三维模型进行渲染，这样每个三维模型就对应着六张渲染得到的特征图像；

步骤4具体实现如下：

选用方向梯度直方图特征描述符提取渲染图像的特征；

步骤5所述的改进的核稀疏表示分类器具体描述如下：

给定t类训练样本A＝[A⁽¹⁾A⁽²⁾…A^(t)]，其中

表示此训练样本属于第i类，s是样本的维数；设Y∈R^s为测试样本，则接下来SRC的优化问题变为计算稀疏系数

用以通过训练样本表示测试样本；优化计算表达式如(式1)所示：

s.t.||AX-Y||₂≤ε

其中，ε表示阈值，ε是一个趋向于0的极小数，||·||₀表示l₀范数，计算向量中非零元素的数目；然而，求解(式1)优化问题的解是NP难的；因此，SRC试图寻求另一种优化问题的解决方案，优化计算表达式如(式2)所示：

s.t.||AX-Y||₂≤ε

其中||·||₁表示l₁范数，计算向量中所有元素的绝对值之和；已有研究表明，如果

足够稀疏，那么(式1)和(式2)的解是等价的；由于(式2)可以通过标准线性规划方法有效地求解，所以SRC可以通过求解(式2)得到测试样本Y的最稀疏表示

在获得最稀疏的表示

之后，通过解

的非零项确定测试样本Y的分类；将

表示为：

SRC通过找到Y和

之间的最小残差来预测Y的隶属度m，其中

也就是说，SRC通过最小化以下残差来对测试样本Y进行分类：

SRC将式3的结果视为Y的隶属度m；

提出了基于核函数的SRC，即KSRC；KSRC的关键思想是将样本映射到更高维度的空间，并在高维空间中对样本进行分类；KSRC的优化问题与SRC中的相似，但加入了相应的核函数进行高维映射，可表述如(式4)所示：

其中，

和

是将样本映射到更高维空间的函数；将

表示为

和

的内积，则

同样，通过最小化残差来预测测试样本Y的隶属度m_Y：

其中，

不必明确定义，因为计算残差所需的两个项B^TB和

仅依赖于核函数k(·，·)；也就是说，针对不同的任务要求，我需要找到一个合适的核函数k(·，·)来实现对原空间的高维映射，比如说高斯核函数

就是一种比较常用的核函数，其中σ是可变参数。