CN110070626A - 一种基于多视角分类的三维物体检索方法 - Google Patents

Abstract

本发明公开了一种基于多视角分类的三维物体检索方法，包括：获取原始图像；对所述原始图像进行处理得到多视角图像；对所述多视角图像进行处理得到特征描述子；对所述特征描述子进行处理得到词汇树；将待检索图像在所述词汇树中检索得到所述原始图像的序列号。本发明采用多视角分类算法，得到全方位的三维物体在二维平面的多视角特征图像，并可以直接对三维物体进行检索，简单方便，易于实现，解决了三维图像检索中由于用户拍摄物体视角变化引起的检索性能下降的问题。

Description

一种基于多视角分类的三维物体检索方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于多视角分类的三维物体检索方法。

背景技术

计算机视觉技术作为人类认知世界的重要手段，一直受到研究者们的广泛关注。由于摄像技术的迅速发展与普及，人们通过手机等多媒体设备接触各种爆炸式增长的图像信息。现今二维图像被广泛应用在交通、医疗、军事等领域，图像检索作为对图像信息处理的一门信息处理技术，研究者们已做了相当多的工作，取得了丰富的成果。现实生活中，人们面对的是一个三维立体物体，真实三维场景才是人们每天接触到的，随着三维扫描技术和计算机图形学的发展以及计算机性能的提高，三维物体模型已成为继声音、图像和视频之后的第四种多媒体数据类型。由于在一幅二维图像中，三维物体的外观取决于其形状、反射特性、姿态和环境亮度等，即使是最简单的物体，其不同视点的二维视图差异也会很大，所以用户拍摄物体时产生的视角变化会引起三维图像检索性能下降。

目前，三维物体检索技术主要有以下几种：一是基于外观或视图的方法，二是基于模型或几何的方法，三是光学三维物体检索方法。然而，第一种方法得到的三维物体图像视角特征不全面；第二种方法三维模型的建立和描述比较困难；第三种方法不能直接对三维物体进行检索，必须进行三维信息的转换，将其变成二维信息用于描述、分类和识别。

综上所述，现有技术在三维物体检索时，无法实现对三维物体全方位多视角的图像描述，无法直接对三维物体进行检索，且需要进行复杂的三维建模。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于多视角分类的三维物体检索方法。本发明要解决的技术问题通过以下技术方案实现：

一种基于多视角分类的三维物体检索方法，包括：

S1：获取原始图像；

S2：对所述原始图像进行处理得到多视角图像；

S3：对所述多视角图像进行处理得到特征描述子；

S4：对所述特征描述子进行处理得到词汇树；

S5：将待检索图像在所述词汇树中检索得到所述原始图像的序列号。

在本发明的一个实施例中，所述对所述原始图像进行处理得到多视角图像包括：

对所述原始图像做旋转得到第一图像；

对所述第一图像进行垂直方向上的高斯滤波得到第二图像；

对所述第二图像进行倾斜变换得到多视角图像。

在本发明的一个实施例中，所述对所述原始图像做旋转得到第一图像包括：

根据旋转变换矩阵公式对所述原始图像做旋转得到第一图像；

其中，所述旋转变换矩阵公式为：

其中，I'(x,y)为旋转后图像的像素点坐标，θ为旋转的角度，x、y为旋转之前图像对应的像素点坐标。

在本发明的一个实施例中，所述高斯滤波的高斯标准偏差因子参数为：其中，c＝0.8，1≤t≤7。

在本发明的一个实施例中，所述对所述第二图像进行倾斜变换得到多视角图像包括：

对所述第二图像的高进行1/t的因子乘积得到第三图像；

对所述第三图像采用至少三次样条插值法进行仿射变换得到多视角图像。

在本发明的一个实施例中，所述对所述多视角图像进行处理得到特征描述子，包括：

对所述多视角图像进行训练得到第一特征点；

对所述第一特征点进行描述得到特征描述子。

在本发明的一个实施例中，对所述多视角图像进行训练得到第一特征点包括：

对所述多视角图像进行高斯滤波得到第四图像；

对所述第四图像进行DOG算法得到第五图像；

在所述第五图像中寻找极值点、极值点定位、极值点方向赋值得到第一特征点。

在本发明的一个实施例中，所述对所述特征描述子进行处理得到词汇树包括：

构建一棵K层L个分支的树型数据结构；

对所述特征描述子进行K-means聚类得到聚类中心；

将所述聚类中心作为视觉词汇放入所述树型数据结构的节点中得到词汇树。

在本发明的一个实施例中，所述将待检索图像在所述词汇树中检索得到所述原始图像的序列号包括：

对所述词汇树的每个节点加入词频向量权值；

对所述待检索图像进行特征提取得到第二特征点；

将第二特征点与词汇树进行对比计算得到相似图像的序列号；

对所述相似图像的序列号进行序列号变换得到所述原始图像的序列号。

本发明的有益效果：

1、本发明采用多视角分类算法解决了由用户拍摄物体时视角变化引起三维图像检索性能下降的问题。

2、本发明采用多视角概念，对三维物体进行全方位的描述，能够得到全方位的三维物体在二维平面的多视角特征图像；

3、本发明采用的多视角分类算法无需对三维物体精准的建立模型，简便易实现。

4、本发明采用多视角图像可直接对三维物体进行检索，得到原图像的序列号。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种基于多视角分类的三维物体检索方法流程图；

图2a～2b是本发明实施例提供的不同视角下的样本图像；

图3a～3b是本发明实施例提供的不同视角下的样本图像生成的多视角图像。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

三维物体由于立体模型的特殊性，在真实场景中受环境因素较大，比如光照、阴影、遮挡等，同时一体多面，特征多样性较多，不如二维平面的相对单一性，故本发明将二维平面与三维物体联系在一起，将三维物体用二维平面表示出来。

本发明通过对三维物体进行二维平面多视角采样来构造图像数据库，并对数据库内的图像提取适当特征，并将其送入BOW(bag of word)词袋模型进行训练，构建词汇树，以提高对三维物体的检索精度。

请参见图1，图1是本发明实施例提供的一种基于多视角分类的三维物体检索方法流程图。

本发明提出的一种基于多视角分类的三维物体检索方法包括：

S1：获取原始图像；

在本实施例中，先对三维物体进行二维图像的采集，得到三维物体的原始图像。

S2：对所述原始图像进行处理得到多视角图像；

三维物体采集多视角的二维图像的过程，由于采集时拍摄的俯仰角、倾斜角的不同，拍摄到的图像会产生一定的形变，类似于仿射变换。本发明采用旋转加倾斜变换来进行这类仿射变换的模拟。

在本实施例中，多视角图像生成包括以下步骤：

首先，采用双线性插值法对图像做旋转，模拟水平方向摄像机的偏移。

图像的旋转指图像绕一定点旋转一定角度，将图像上的所有像素都旋转一个相同的角度。旋转后图像的的大小一般会改变，即可以把转出显示区域的图像截去，或者扩大图像范围来显示所有的图像。

对将要进行视角变换的图像乘以一个旋转变换的矩阵，公式如下：

其中，I'(x,y)为旋转后图像的像素点坐标，θ为旋转的角度，x、y为旋转之前图像对应的像素点坐标。

接着，对旋转后的图像进行垂直方向上的高斯滤波，减少图像失真。

对旋转后的图像采用高斯标准偏差因子进行卷积，其中，c的值为0.8，以保证无错误滤波，t表示倾斜的程度值，取值为1≤t≤7。

高斯模板矩阵中间值最大，相邻模板的值随着距离中心越来越远，其值也越来越小。用一个卷积模块扫描图像中的每一个像素，再用模块确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。这种方法比其他的均衡模糊滤波器更好地保留了边缘效果，减少了图像的失真。

最后，对滤波后的图像进行倾斜变换，模拟垂直方向上摄像机的移动。

先对图像的高进行1/t(t的倒数)的因子乘积，t因子受垂直方向上角度变化的影响，再采用三次样条插值的方法实现仿射变，完成图像的倾斜变换。

将上述两类变换复合就完成了多视角图像变换，得到了多视角图像。

S3：对所述多视角图像进行处理得到特征描述子。

特征是图像表示的关键，是对图像特性的描述，通过对特征的检测与描述可以唯一的表示一幅图像，它直接决定了图像的检索效果。对于提取的特征要求能尽可能强的表示出图像的特性，如颜色、纹理、边缘等。

在本实施例中，采用的是SIFT(Scale Invariant Feature Transform，尺度不变特征转换)算法进行特征检测。

SIFT算法由于其对旋转、尺度缩放和光照条件的高鲁棒性，在图像检索领域有广泛的应用。其可用于解决光照产生的阴影影响、目标的部分遮挡和噪声产生的误差等问题。其特征提取的步骤如下：

对变换后得到的多视角图像进行高斯滤波。高斯滤波对图像进行了模糊处理，使用高斯函数与原图像做卷积运算，很好的保留了图像的边缘效果，减少了图像的失真。

对滤波后的图像进行DOG(Difference of Gauss，高斯差分)训练处理，在处理后的图像中寻找极值点，看每一个像素点与其所有相邻点的比较结果，当像素值高于或低于相邻像素时，此为极值点。再对极值点进行定位，由于DOG检测到的极值点是离散空间的极值点，需要利用三维二次函数进行拟合，确定极值点的位置和尺度，同时去除低对比度的极值点和不稳定的边缘相应点，以此提高匹配稳定性以及抗噪能力。接着进行极值点方向赋值，方向赋值就是利用图像的局部特征对每一个极值点分配一个主方向，为了获得图像描述符的旋转不变性。使用图像梯度的方法求取主方向，计算像素的梯度模值与方向，对像素的梯度模值和方向做直方图统计，直方图将0-360度方向平均分成36个方向，每个方向相差10度，而直方图的峰值方向就代表了极值点的主方向。

最后对极值点进行描述，使其更好地应用在检索中。极值点描述就是对特征点用不同的表达式描述，在本实施例中，采用的是SIFT描述子，由此得到SIFT描述子集合。

S4：对所述特征描述子进行处理得到词汇树；

将所有特征点通过聚类的方法划分到不同类别里，每个类别用一个词汇表示，统计特征点落到每个词汇的数量，构建词汇直方图，再用直方图向量表述这一图像。完成图像BOW模型的表述。这类方法可以简化特征匹配的过程，加快检索速度。

首先构建一棵K层L个分支的树型数据结构，然后对这些SIFT特征描述子进行K-means(K均值聚类算法)聚类，最后将聚类中心作为视觉词汇放入树型数据结构的节点中得到词汇树。

S5：将待检索图像在所述词汇树中检索得到原图序列号；

在检索之前，先为构建好的词汇树的每一个节点加入词频向量权值，代表特征向量的独特程度，完善词汇的特征信息。

采集待检索的三维物体的二维图像作为待检索图像，并将待检索图像的特征提取出来。然后将提取出来的特征与词汇树中的特征进行相似性度量，可利用向量间的距离计算对比，从词汇树的根节点到达最后的叶子节点，最终得到相似图像的序列号。

最后对检索到的相似图像进行序列号变换后得到原始图像的序列号。

实施例二

请参见图2a～2b，图2a～2b是本发明实施例提供的不同视角下的样本图像，其中，图2a是左上方采样的样本图像，图2b是右上方采样的样本图像。通过多视角变换之后，得到了一系列样本。

请参见图3a～3b，图3a～3b是本发明实施例提供的不同视角下的样本图像生成的多视角图像，其中，图3a是图2a左上方采样的样本图像生成的多视角图，图3b是图2b右上方采样的样本图像生成的多视角图。

从图中可看出，对每一个三维物体都做了相应的图像变换，包含了图像的旋转、倾斜形变，将两种变换加在一起构成了类比于摄像机采样点不同产生的视角成像差异，类似于图像的仿射变换，对三维物体进行了全方位的描述，得到三维物体在二维平面的特征图像，从生成的图像上看，这些是我们正常采样得不到的视角图，通过程序的模拟，使得多视角图像得到极大的丰富，便于后续采用多视角的二维图像进行对三维物体的检索。

本发明提出了一种基于多视角分类的三维物体检索方法，采用多视角分类算法，得到全方位的三维物体在二维平面的多视角特征图像，并可以直接对三维物体进行检索，简单方便，易于实现，解决了三维图像检索中由于用户拍摄物体视角变化引起的检索性能下降的问题。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于多视角分类的三维物体检索方法，其特征在于，包括：

获取原始图像；

对所述原始图像进行处理得到多视角图像；

对所述多视角图像进行处理得到特征描述子；

对所述特征描述子进行处理得到词汇树；

将待检索图像在所述词汇树中检索得到所述原始图像的序列号。

2.根据权利要求1所述的一种基于多视角分类的三维物体检索方法，其特征在于，所述对所述原始图像进行处理得到多视角图像包括：

对所述原始图像做旋转得到第一图像；

对所述第一图像进行垂直方向上的高斯滤波得到第二图像；

对所述第二图像进行倾斜变换得到多视角图像。

3.根据权利要求2所述的一种基于多视角分类的三维物体检索方法，其特征在于，所述对所述原始图像做旋转得到第一图像包括：

根据旋转变换矩阵公式对所述原始图像做旋转得到第一图像；

其中，所述旋转变换矩阵公式为：

其中，I'(x,y)为旋转后图像的像素点坐标，θ为旋转的角度，x、y为旋转之前图像对应的像素点坐标。

4.根据权利要求2所述的一种基于多视角分类的三维物体检索方法，其特征在于，所述高斯滤波的高斯标准偏差因子参数为：其中，c＝0.8，1≤t≤7。

5.根据权利要求2所述的一种基于多视角分类的三维物体检索方法，其特征在于，所述对所述第二图像进行倾斜变换得到多视角图像包括：

对所述第二图像的高进行1/t的因子乘积得到第三图像；

对所述第三图像采用至少三次样条插值法进行仿射变换得到多视角图像。

6.根据权利要求1所述的一种基于多视角分类的三维物体检索方法，其特征在于，所述对所述多视角图像进行处理得到特征描述子，包括：

对所述多视角图像进行训练得到第一特征点；

对所述第一特征点进行描述得到特征描述子。

7.根据权利要求6所述的一种基于多视角分类的三维物体检索方法，其特征在于，对所述多视角图像进行训练得到第一特征点包括：

对所述多视角图像进行高斯滤波得到第四图像；

对所述第四图像进行DOG算法得到第五图像；

在所述第五图像中寻找极值点、极值点定位、极值点方向赋值得到第一特征点。

8.根据权利要求1所述的一种基于多视角分类的三维物体检索方法，其特征在于，所述对所述特征描述子进行处理得到词汇树包括：

构建一棵K层L个分支的树型数据结构；

对所述特征描述子进行K-means聚类得到聚类中心；

将所述聚类中心作为视觉词汇放入所述树型数据结构的节点中得到词汇树。

9.根据权利要求1所述的一种基于多视角分类的三维物体检索方法，其特征在于，所述将待检索图像在所述词汇树中检索得到所述原始图像的序列号包括：

对所述词汇树的每个节点加入词频向量权值；

对所述待检索图像进行特征提取得到第二特征点；

将第二特征点与词汇树进行对比计算得到相似图像的序列号；

对所述相似图像的序列号进行序列号变换得到所述原始图像的序列号。