CN105930497B

CN105930497B - 基于图像边缘和线条特征的三维模型检索方法

Info

Publication number: CN105930497B
Application number: CN201610297402.1A
Authority: CN
Inventors: 刘志; 尹世超; 潘翔
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2016-05-06
Filing date: 2016-05-06
Publication date: 2019-05-24
Anticipated expiration: 2036-05-06
Also published as: CN105930497A

Abstract

本发明涉及基于图像边缘和线条特征的三维模型检索方法，首先，通过爬取互联网中发布的三维模型数据及上下文图像，建立原始数据库；然后通过提取上下文图像的色彩特征和三维模型形状特征，对原始库进行聚类预处理并定义初步类别权值；在此基础上，为图像提取边缘线条及局部Zernike矩特征、Gabor滤波特征，以加权形式组成上下文图像原始特征库。同样，采用视觉词袋方法，从编码和权重计算后的特征库中检索出经过相似度排序的上下文图像，实现三维模型检索。解决了视图冗余、视点选择困难的问题。

Description

基于图像边缘和线条特征的三维模型检索方法

技术领域

本发明涉及计算机图形领域，尤其涉及基于图像边缘和线条特征的三维模型检索方法。

背景技术

在三维模型检索领域，图像是最为简单自然的检索接口。采用图像进行三维模型检索的核心难题是如何评价图像和三维模型的相似性。理论上讲，通过图像的形态和三维模型视图进行相似性匹配就可以得到检索结果，但是这种研究思路存在如下两个问题：

(1)对于任意一个三维模型需要多个视图来保证检索准确率，极大地降低了检索效率。三维模型各视图分别表现不同视点下同一个三维模型的姿态。已有的方法中，通常将为三维模型提取均匀的数十甚至数百幅视图以保证足够全面的检索范围。

(2)如何选择视点；对于一个三维模型，可以得到数十上百幅视图。应该如何选择视图？通过比较三维模型已有视点选择算法得到的最优渲染视图和用户感知所设计的渲染图像，发现最优视图和用户感知所设计的渲染方法存在非常明显的差异：包含最丰富信息的视图并非是用户偏好的角度；仅通过视点选择和程序渲染的视图只包含基本光照和线条。

发明内容

本发明为克服上述的不足之处，目的在于提供基于图像边缘和线条特征的三维模型检索方法，本方法首先依据图像颜色矩和三维模型投影轮廓形状特征的对原始模型库进行聚类预处理，然后为三维模型上下文图像提取图像线条、Zernike矩特征和Gabor边缘特征，以加权特征建立原始特征库；最后，采用视觉词袋方法，将输入源与上下文图像依据加权特征进行相似性排序，实现三维模型检索。解决了三维模型视图提取中的冗余和视点选择困难问题。

本发明是通过以下技术方案达到上述目的：基于图像边缘和线条特征的三维模型检索方法，包括如下步骤：

(1)爬取并存储网络发布的三维模型及其上下文图像集；

(2)分别为上下文图像集和三维模型提取颜色矩和形状上下文特征，建立相近特征三维模型间的预关联，对上下文图像集作聚类预处理；

(3)对预处理后的上下文图像集中的上下文图像分别提取图像特征线条，基于图像特征线条计算八阶以内的Zernik矩，以上下文图像的八方向Gabor边缘滤波响应作为其边缘特征，以加权混合特征作为上下文图像特征，生成上下文图像特征库；

(4)以上下文图像均匀网格点的局部邻域特征为块建立原始上下文图像特征链；

(5)根据视觉词袋方法对模型与上下文图像特征库生成的所有原始局部特征进行聚类生成词袋，利用原始上下文图像特征链依据词袋进行词频编码，并进行权重计算，生成新的上下文图像特征库；

(6)对输入的自然图像提取线条特征的Zernike矩和Gabor边缘滤波响应，将该自然图像的特征链根据词袋进行编码和权重计算，在新的上下文图像特征库中遍历进行相似度计算，获得三维模型排序。

作为优选，所述步骤(1)以单一对应方式爬取网络发布的三维模型及其上下文图像集。

作为优选，所述步骤(2)建立相近特征三维模型间的预关联的步骤如下：

1)为三维模型提取最优视点，并在最优视点下利用固定光场进行正交投影提取模型形状轮廓；

2)利用模型形状轮廓的形状采样特征实现三维模型的细分聚类，形成模型类别权重。

作为优选，所述步骤(2)对上下文图像集作聚类预处理的方法为利用k-means算法对上下文图像集的颜色矩特征进行初步聚类，形成图像类别权重。

作为优选，所述步骤(3)提取的图像特征线条包括Canny边缘和二值化外轮廓；图像特征线条的提取方法如下：

(a)对上下文图像进行二值化，利用快速连通区域标记法优化二值化阈值；

(b)对二值化阈值图采用均匀射线法提取外轮廓，利用Canny算子提取上下文图像的边缘，取两者或操作的结果；

(c)基于步骤(b)的结果利用形态学膨胀融合细碎边缘。

作为优选，所述步骤(3)的Zernik矩的计算公式如下：

Z＝{|Z_nm||n∈[0,8],m∈[0,n]}

其中，|Z_nm|为幅值。

作为优选，所述步骤(5)中进行权重计算的方法如下：

(i)以每个原始局部特征单元邻域为单位，使用k-means算法对上下文图像特征库中的特征单位进行聚类，以产生1000个聚类中心作为单元词汇表生成词袋；

(ii)利用原始上下文图像特征链将特征链的所有单位以1000个中心词汇为横轴，将其统计为词频直方图；

(iii)利用权重计算公式对词频直方图进行词汇权重计算。

作为优选，所述权重计算公式为

f_i为词汇i在整个上下文图像特征库中出现的频率；N表示原始上下文图像特征库中的特征链总数；h_i为上下文图像特征链的词频直方中第i个词汇聚类后的真实权值；h_j为上下文图像特征链的词频直方中第j个词汇聚类后的真实权值；i,j分别为词汇表中词汇的序号。

作为优选，所述步骤(6)中相似度计算采用夹角函数衡量输入图像特征H_i与上下文图像特征库中特征H_j的相似度。

本发明的有益效果在于：(1)本发明解决了对于任意一个三维模型需要多个视图来保证检索准确率的问题，极大地提高了检索效率；(2)解决了三维模型的视点选择困难问题。

附图说明

图1是本发明方法的流程示意图；

图2是本发明实施例三维模型和图像聚类预处理的流程示意图；

图3是本发明实施例三维模型与最大可见面积比视图；

图4是本发明实施例光场投影与形状线条对比图；

图5是本发明实施例两个类别的图像抽样示意图；

图6是本发明实施例图像边缘线条提取示意图；

图7是本发明实施例图像边缘特征提取示意图；

图8是本发明实施例的局部邻域示意图；

图9是本发明实施例Zernik矩方差对比示意图；

图10是本发明实施例基于上下文图像的模型检索示例图1；

图11是本发明实施例基于上下文图像的模型检索示例图2；

图12是本发明实施例基于上下文图像的模型检索示例图3。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：如图1所示，基于图像边缘和线条特征的三维模型检索方法，包括如下步骤

步骤一，首先以直观的单一对应方式，爬取三维模型与单幅上下文图像共同构成了三维模型及其上下文图像集。

步骤二，如图2所示，利用颜色矩初步为模型上下文图像进行粗聚类。和颜色直方图相似，颜色矩是一种更为有效的颜色特征表示，利用线性代数中矩的概念，将图像中的颜色分布用其矩表示。利用颜色一阶矩(平均值)、颜色二阶矩(方差)和颜色三阶矩(偏斜度)来描述颜色分布，有

其中，p_i,j为图像第i个颜色通道中灰度值为j的像素出现概率，N为像素总数。与颜色直方图不同的是，利用颜色矩进行图像描述无需量化图像特征。由于每个像素具有颜色空间的三个颜色通道，因此图像的颜色矩有9个分量来描述。由于颜色矩的维度较少，本发明将其用于初步的图像聚类。

三维模型及其上下文图像集聚类预处理中，加权特征的第二部分为三维模型的形状特征。本发明采用三维模型最优视点下的二值投影轮廓特征表示该三维模型的形状特征。其中，考虑聚类预处理的效率与有效性，最优视点选择方法采用可见面积比。可见面积比由当前视点下可见面片的数量衡量视点的信息量，即特定视点v下的可见面积比为S_i是可见面片i的面积，S_a为模型总表面积，如图3所示。

在获得特定模型的最优视点后，对三维模型在该方向上进行投影和轮廓提取。使用光场描述符(light field descriptor)对固定光场进行正交投影，获得模型投影视图。轮廓提取使用稠密射线对投影图像进行扫描，取阈值变化点进行连接。

本发明采用形状上下文(shape context，SC)描述模型投影形状特征，即对模型的投影轮廓进行采样，用有限边界点集D＝{d₁,d₂,…,d_m}表示模型视图，并使采样点集尽可能均匀地分布于整个边界，以保留完善的形状信息，如图4所示。

采样点集中任意点d_i与其余所有点构成的向量组刻画了其在整个形状中的相对位置，D中所有点构成的向量组集合将能够表述视图完整的轮廓形状。其中，离散化采样密度越高点集维度越高，自然就越能精确的描述一个形状。对连接任意两个采样点d_i、d_j的线段进行评价，若完全落入形状区域内部，则将其加入图G(V,E)中，有

其中，取权重||d_i-d_j||为根据G(V,E)各采样点距离关系，以最短路径法计算采样点d_i到d_j的内在距离。l_ij＝d_i→d_j,(i≠j)，有

最后，对内在距离矩阵规范化处理后，为边界点集D建立特征矩阵，有

T＝{S(d_i):norm{l_i1,…,l_ij,…,l_im},j≠i,d_i∈D}.

其中，S(d_i)为采样点d_i到其余所有点内在距离的归一化结果，取s(d_i)∈[0,10]，如图5所示。

最后，使用k-means对三维模型上下文图像集颜色矩特征进行初步聚类，将聚类结果以权重形式计入依据三维模型形状特征的细分聚类中完成二次权值划分。

步骤三，完成三维模型及其上下文图像集的预聚类后，需要将模型上下文图像集中的上下文图像分别进行加权混合特征提取，以建立上下文图像特征库。为覆盖图像的整体形状特征，本方法引入了Zernike矩特征，低阶矩描述了图像目标的整体形状，而高阶矩加强了图像目标的细节描述。

1)Zernike矩，即对密度函数f(x,y)的图像，n阶m重的复数泽尼克矩为

其中，f(r,θ)为灰度图像极坐标表示，n＝0,1,…,∞，|m|＝0,1,…,n并满足n-|m|为偶数，*为复数共轭，V_nm(x,y)为泽尼克多项式，有

V_nm(x,y)＝V_nm(r,θ)＝R_nm(r)e^jmθ.

V_nm(x,y)是基于x²+y²≤1的一组完备正交函数，即满足

其中，δ_np为克罗内克符，有

R_nm(r)是实值径向多项式

满足正交关系

Zernike矩对目标形状具有良好的表述能力，为像素点领域N_z×N_z求取Zernike矩局部特征时，离散计算中使用求和代替积分

其中

Zernike矩为复数矩，记为为相位，|Z_nm|为幅值；本发明将幅值作为特征提取。

2)计算图像块的Zernike矩时需将图块中心平移至坐标原点，将图块像素映射至单位圆内，Zernike矩具备旋转不变性，可将幅值|Z_nm|作为图像不变特征，图像低频特征由中r值较小的部分提取，高频特征有r值较大部分提取，上述可见，Zernike矩可构造任意高阶矩。

为进一步规避Zernike矩的弱势，即不具备平移和尺度不变性，本发明采用标准矩的方法对图块在特征提取前进行了归一化，令M_ij＝∑∑xⁱy^jf₀(x,y),有像素和为s＝M₀₀，图像重心为

将图块重心取代图块中心平移至坐标原点使其具备平移不变性，将图块密度函数f₀(x,y)变换为

最终，将图像g₀(x,y)的Zernike矩作为其旋转、平移和尺度不变特征。

边缘线条提取中，本方法首先对三维模型的上下文图像(图6的a)进行二值化，使用快速连通区域标记法优化了二值化阈值；然后对图6的a图采用与和图4相同的射线法提取外轮廓，利用Canny算子提取上下文图像的边缘，取两者或操作的结果；最后，利用形态学膨胀融合了细碎边缘，如图6的b图所示。本方法在侧重图像形状的Zernike矩特征提取中，首先为图像提取边缘线条后进行网格采样划分，然后为图块单独提取n阶内Zernike矩。

本发明进一步对提取后的边缘线条图像以及原图进行了特征提取对比，如图7所示；效果显示，直接滤波特征相对于混合边缘将自然图像边缘特征保留得更为完整，也避免了高耗时的阈值优化过程。

特征加权与存储中，为保证尺度一致性，局部邻域采用全局百分比形式。如图8所示，令图像尺度规范后长宽比1:1,宽为W。则，若局部邻域尺度为p×p时，表示图块(红蓝矩形)宽度占图像宽度的p％，以W＝400像素，p＝4为例，此时整图将有25×25个规格为4×4像素的局部邻域图块b_ij组成。

Zernike矩特征提取中，本发明首先对比了形状、纹理存在差异两类模型上下文图像进行了实验论证，椅子、汽车模型上下文图10副，如图5所示；本发明将图像依次编号后，取S＝{s²(i,j)|i,j∈[1,20]}。其中i,j∈N，s²(i,j)为图像i、j边缘线条图的8阶以内Zernike矩的方差，有

Z＝{|Z_nm||n∈[0,8],m∈[0,n]}.

其中，n,m∈N，方差分布如图9所示。不难看出，相同的上下文图像类别内的Zernike矩特征明显相似，而属于不同类别的特征均值存在较大的差异。但是，从个例看，异类模型上下文图像的Zernike矩特征相似性存在波动，也暴露出Zernike在整幅图像的特征描述中仍然存在一定弊端。本发明在纹理特征描述中加入Zernike矩特征，避免了单一特征的局限也有利于从检索评价结果来逆向调整各自的特征权重，提高检索系统中特征提取的灵活性。

步骤四，本发明检索匹配算法以视觉词袋为模型，以上下文图像特征链预编码的形式大幅降低检索匹配耗时。词袋建立过程中，使用k-means对上下文图像特征库中的数量庞大的特征单位进行聚类，以产生K个聚类中心组成视觉词袋。词频编码中，利用词袋量化上下文图像特征链，以K个中心词汇为横轴，将其统计为词频直方图。最后采用权重计算公式进行词频直方的权重计算。其中，f_i为词汇i在整个上下文图像特征库中出现的频率；N为整个上下文图像特征库中上下文图像特征链总数。

步骤五，对输入的自然图像提取线条特征的Zernike矩和Gabor边缘滤波响应，将该自然图像的特征链根据词袋进行编码和权重计算，使用夹角函数衡量归一化后的词频直方H_i与H_j的相似度：最终获得三维模型排序。如图10-图12所示。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims

1.基于图像边缘和线条特征的三维模型检索方法，其特征在于包括如下步骤：

(1)爬取并存储网络发布的三维模型及其上下文图像集；

2.根据权利要求1所述的基于图像边缘和线条特征的三维模型检索方法，其特征在于：所述步骤(1)以单一对应方式爬取网络发布的三维模型及其上下文图像集。

3.根据权利要求1所述的基于图像边缘和线条特征的三维模型检索方法，其特征在于：所述步骤(2)建立相近特征三维模型间的预关联的步骤如下：

4.根据权利要求1所述的基于图像边缘和线条特征的三维模型检索方法，其特征在于：所述步骤(2)对上下文图像集作聚类预处理的方法为利用k-means算法对上下文图像集的颜色矩特征进行初步聚类，形成图像类别权重。

5.根据权利要求1所述的基于图像边缘和线条特征的三维模型检索方法，其特征在于：所述步骤(3)提取的图像特征线条包括Canny边缘和二值化外轮廓；图像特征线条的提取方法如下：

(c)基于步骤(b)的结果利用形态学膨胀融合细碎边缘。

6.根据权利要求1所述的基于图像边缘和线条特征的三维模型检索方法，其特征在于：所述步骤(3)的Zernik矩的计算公式如下：

Z＝{|Z_nm||n∈[0,8],m∈[0,n]}

其中，|Z_nm|为幅值。

7.根据权利要求1所述的基于图像边缘和线条特征的三维模型检索方法，其特征在于：所述步骤(5)中进行权重计算的方法如下：

(iii)利用权重计算公式对词频直方图进行词汇权重计算。

8.根据权利要求7所述的基于图像边缘和线条特征的三维模型检索方法，其特征在于：所述权重计算公式为

9.根据权利要求1所述的基于图像边缘和线条特征的三维模型检索方法，其特征在于：所述步骤(6)中相似度计算采用夹角函数衡量输入图像特征H_i与上下文图像特征库中特征H_j的相似度。