CN101281545A - 一种基于多特征相关反馈的三维模型检索方法 - Google Patents

一种基于多特征相关反馈的三维模型检索方法 Download PDF

Info

Publication number
CN101281545A
CN101281545A CNA2008101137699A CN200810113769A CN101281545A CN 101281545 A CN101281545 A CN 101281545A CN A2008101137699 A CNA2008101137699 A CN A2008101137699A CN 200810113769 A CN200810113769 A CN 200810113769A CN 101281545 A CN101281545 A CN 101281545A
Authority
CN
China
Prior art keywords
dimensional model
sketch
dimensional
dimension
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101137699A
Other languages
English (en)
Other versions
CN100593785C (zh
Inventor
戴琼海
肖秦琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Shengyang Information Technology Industry Co., Ltd.
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN200810113769A priority Critical patent/CN100593785C/zh
Publication of CN101281545A publication Critical patent/CN101281545A/zh
Application granted granted Critical
Publication of CN100593785C publication Critical patent/CN100593785C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种基于多特征相关反馈的三维模型检索方法,该方法包括:服务器端对三维模型数据库中的每个三维模型进行处理,获取三维模型的彩色视图阵列;再获取三维模型特征,合并所有三维模型特征生成特征数据库;计算客户端提供的二维草图的特征,并和特征数据库中特征进行匹配,计算该二维草图与每个三维模型的距离,对所有三维模型按照距离值排序并输出,生成检索结果;由客户端对每次检索结果进行“相关”及“不相关”的标注,将标注后的三维模型信息返回服务器端,服务器端对该信息进行学习,采取多SVM融合方法对所述三维模型库进行分类,根据分类结果对所有三维模型进行排序并输出,作为检索结果;重复步骤,最终输出用户满意的三维模型检索结果。

Description

一种基于多特征相关反馈的三维模型检索方法
技术领域
本发明属于多媒体信息检索领域,特别是一种基于相关反馈学习的三维复杂模型检索方法。
背景技术
三维模型检索是基于内容的多媒体信息检索领域的热点问题,具有广泛的应用前景,国内外很多机构正致力于这一方向的研究。随着计算机图形学的快速发展及光场理论的进一步应用,更加复杂、逼真的三维模型出现在互联网上,由于复杂模型具有与实际物体更加接近的信息,如更加细致的纹理,更加丰富的高层语义以及绚丽的色彩信息,故发展一种有效快速的高逼真度三维模型检索方法是必要的。现行的三维模型检索机制,总体来说分为2大类:以三维模型为中心的方法及以三维模型视图为中心的方法。以三维模型为中心的方法在复杂模型检索领域很难应用,这主要因为:由于复杂模型几何元素的海量数据,使得计算机处理速度变慢,难以满足实时模型检索的要求。故针对复杂模型检索,应用基于三维模型视图的检索方法相对可行,其中主要原因之一为:无论三维模型几何造型的复杂度如何,其各个不同角度的视图信息占用较少的字节数,这对于大规模三维模型数据库检索系统是必要的。
目前国外公开的文献中,台湾大学咨询工程系的研究小组在相关国际会议上的论文:[1]D.Y.Chen,X.P.Tian,Y.T.Shen.On Visual Similarity Based 3D Model Retrieval.ComputerGraphics Forum 2003,22(3):223-232.首次提出了通过大规模视图方式进行三维模型检索的方法;文献:[2]T.F.Ansary,M.Daoudi,and J.P.Vandeborre et al.A Bayesian 3-D Search EngineUsing Adaptive Views Clustering.IEEE Transaction on multimedia,2007,9(1):78-88.提出了通过自适应聚类方法从视图阵列中选择典型视图的方法;文献:[3]Leifman George,MeirRon,Tal Ayellet.Semantic-oriented 3D shape retrieval using relevance feedback.VisualComputer,2005,21(8):865-875.提出了相关反馈检索三维模型的方法。
但上述文献的解决思路有几点不足:
(1)文献[1][2][3]在关于三维模型特征表达方面,仅仅考虑轮廓描述符信息,未考虑模型的纹理特征信息及颜色特征信息,这对于复杂模型检索是不充分的,即丢失了相当的有用信息;
(2)文献[1]没有考虑应用学习方法对三维模型视图信息进行处理,该文献中使用20幅视图表达一个三维模型,这种表达方式称为“光场描述符(lightfield descriptor,LD)”,为了增加LD对于三维模型旋转、平移不变性,该文献使用10个LD表示一个三维模型,即应用200幅视图表示一个三维模型,其表达形式冗余度高,为大规模三维模型数据库的检索增加了难度。
(3)文献[2]使用自适应聚类方法从三维模型视图阵列中选择贝叶斯信息度量值较高的视图,这些通过自适应方法挑选出来的视图被称为:“典型视图(characters views,CV)”,这种方法对于几何造型简单的三维模型可以大大地减少了在检索过程中视图的计算数量,但由于其“典型视图”的数量随着三维模型几何造型复杂度的提高而增多,对于复杂三维模型的检索而言,这种方法的计算量依然很大,不利于实时复杂三维模型检索。
(4)文献[3]应用反馈学习进行模型检索的过程中,仅仅使用单分类器进行学习分类,对于复杂三维模型而言,没有考虑多分类器特征融合的方式进一步提高检索精度,而这对于复杂三维模型的检索是有必要的。
下面对与本发明中相关的已有技术进行简单介绍:
(1)系统聚类分析:聚类分析又称群分析,它是研究(样品或指标)分类问题的一种统计分析方法,本发明提到的系统聚类方法是其中的一种,其主要原理是应用紧邻法将属性相似的向量分类成多个集合,是一种无监督的分类方法。系统聚类的步骤一般是首先根据一批数据或指标找出能度量这些数据或指标之间相似程度的统计量;然后以统计量作为划分类型的依据,把一些相似程度大的站点(或样品)首先聚合为一类,而把另一些相似程度较小的站点(或样品)聚合为另一类,直到所有的站点(或样品)都聚合完毕,最后根据各类之间的亲疏关系,逐步画成一张完整的分类系统图,又称谱系图。其相似程度由距离或者相似系数定义。进行类别合并的准则是使得类间差异最大,而类内差异最小。
(2)主元素分析(Principal component analysis,缩写PCA):它是一种对数据进行分析的技术,最重要的应用是对原有数据进行简化。正如它的名字:主元素分析,这种方法可以有效的找出数据中最“主要”的元素和结构,去除噪音和冗余,将原有的复杂数据降维,揭示隐藏在复杂数据背后的简单结构。它的优点是简单,而且无参数限制,可以方便的应用与各个场合。因此应用极其广泛,从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最价值的结果之一。本发明采用的改进连续PCA方法是在原有PCA基础上,提出的一种快速方法,不仅提高了主元分析中的计算速度,同时提高了计算精度。
(3)多支持向量机融合:支持向量机(SVM)是近年来在统计学习理论的基础上发展起来的一种新的模式识别方法,SVM的主要可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射方法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性方法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上,在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。多SVM数据融合方法是在单一SVM机制基础上发展起来的,通过多个SVM串联或并联形式,并结合贝叶斯融合方法进行分类。本发明具体采用文献[4](刘明,袁保宗,苗振江,唐晓芳.“基于模糊规则的多分类器融合”.电子与信息学报.29(7):1707-1712.)提出的基于模糊规则的多分类器融合方法融合分类结果。
(4)贝叶斯网络信息度量:信息是个很抽象的概念,1948年,香农提出了″信息熵″(shāng)的概念,解决了对信息的量化度量问题。贝叶斯网络信息度量信息度量的一种方法,该技术的基本思想是将贝叶斯理论和信息论中信息量和相对熵([5]Cettolo,Mauro,Vescovi,Michele;Rizzi,Romeo.Evaluation of BIC-based algorithms for audiosegmentation.Computer Speech and Language,2005,19(2):147-170)的概念结合起来,引入到信息系统中,用“比特”(bit)这个概念来度量信息量的大小。
(5)贝叶斯网络:数学图论中的一种模型,表现形式为有向无环图,是不确定性事件的有效表达形式。([6]Heng,Xing-Chen,Qin,Zheng;Tian,Lei;Shao,Li-Ping.Learningbayesian network structures with discrete particle swarm optimization algorithm.FOCI2007,2007,p47-52)
(6)线性组合方法:将多目标优化问题转化为单目标优化问题的一种方法,假设有A和B两个优化目标,组合两个优化目标:J=k1A+k2B,将A和B两个优化目标的优化转化为目标J的优化,。k1k2为常系数,且和值为1。
发明内容
本发明的目的是为克服现有三维模型检索方法对于复杂高逼真度三维模型检索的不足,提出一种基于多特征相关反馈的三维模型检索方法,本方法保证了信息获取的完整性及可靠性,并大大减少了颜色及轮廓特征的数量,保证了实时检索的速度;在增强了纹理特征的鲁棒性的同时,提高了复杂三维模型检索精度。
本发明的技术解决方案为:一种基于多特征相关反馈的三维模型检索方法,其特征在于:
(1)服务器端对三维模型数据库中的每个三维模型进行处理,获取三维模型的彩色视图阵列;
(2)服务器端将每个三维模型的彩色视图阵列进行处理,获取三维模型特征,合并所有三维模型特征生成特征数据库;
(3)服务器端计算客户端提供的二维草图的特征;
(4)将该二维草图特征和特征数据库中特征进行匹配,计算该二维草图与每个三维模型的距离,将数据库中所有三维模型按照距离值排序并输出,生成第1次检索结果并返回客户端;
(5)由客户端对检索结果进行“相关”及“不相关”的标注,将标注后的三维模型信息返回服务器端,服务器端对该信息进行学习,采取多SVM融合方法对所述三维模型库进行分类,根据分类结果对所有三维模型进行排序并输出,作为检索结果;
(6)重复步骤(5),最终输出用户满意的三维模型检索结果。
本发明的特点及效果:
本发明通过两个关键技术提高复杂三维模型检索精度,一是通过贝叶斯网络学习方法将模型图像纹理特征阵列信息学习成为单一纹理特征网络,这种方式完整的体现了视图纹理阵列信息,与三维模型的“典型视图”轮廓描述符及颜色特征结合,提高了检索精度,并在反馈学习阶段提高了支持向量机分类器组的学习效率;二是通过多特征反馈学习融合方法将多个特征融合处理,完善了简单几何造型三维模型检索中对于高层语义处理不足的问题,进一步提高了基于内容的三维模型检索精度。
本发明与现有技术相比的优点在于:
(1)针对以往技术中应用视图表达三维模型鲁棒性差的问题,采用大规模多彩色视图阵列表达三维模型,保证了信息获取的完整性及可靠性。
(2)采用系统聚类及贝叶斯信息度量方法获取典型视图,在最大限度保留有用信息的前提下,大大减少了颜色及轮廓特征的数量,保证了实时检索的速度。
(3)采用贝叶斯网络学习方法将大量视图纹理特征归结为一个贝叶斯网络,大大的减少了纹理特征表达的字节数,保证了纹理信息描述的完整性,并更加深入的挖掘了纹理阵列的内涵信息,增强了纹理特征的鲁棒性。
(4)在描述目标对象的特征时,采用多特征表达的方法,不丢失信息。
(5)应用颜色特征与轮廓描述符组合进行检索,比以往仅依据轮廓描述符进行检索提高了检索的针对性;应用多SVM融合方法进行反馈学习,更进一步增强了检索的准确度。本发明对于复杂高逼真度三维模型的检索更为有效,尤其对于不同轮廓、颜色但具有相同高层语义三维模型检索。
附图说明
图1为本发明方法总体流程图;
图2为本发明方法的步骤(1)和步骤(2)的具体流程框图;
图3为本发明的步骤(2)中应用聚类方法对纹理矩阵降维(25)的具体流程框图;
图4为本发明的步骤(3)、(4)和步骤(5)(6)的具体流程框图;
具体实施方式
本发明为一种基于多特征相关反馈的三维模型检索方法,结合附图及具体实施,详细说明如下。
本发明提出的一种基于多特征相关反馈的三维模型检索方法,其总体流程如图1所示,该方法包括以下步骤:
(1)服务器端对三维模型数据库中的每个三维模型进行处理,获取三维模型的彩色视图阵列;
(2)服务器端将每个三维模型的彩色视图阵列进行处理,获取三维模型特征,合并所有三维模型特征生成特征数据库;
(3)服务器端计算客户端提供的二维草图的特征;
(4)将该二维草图特征和特征数据库中特征进行匹配,计算该二维草图与每个三维模型的距离,将数据库中所有三维模型按照距离值排序并输出,生成第1次检索结果并返回客户端;
(5)由客户端对检索结果进行“相关”及“不相关”的标注,将标注后的三维模型信息返回服务器端,服务器端对该信息进行学习,采取多SVM融合方法对所述三维模型库进行分类,根据分类结果对所有三维模型进行排序并输出,作为检索结果;
(6)重复步骤(5),最终输出用户满意的三维模型检索结果。
上述各步骤具体实施方式分别详细说明如下:
上述步骤(1)中获取三维模型的彩色视图阵列,具体流程如图2所示,包括以下步骤:
(11)设三维模型数据库包含P个三维模型(P为正整数,为三维模型数据库所有三维模型的数目),对每个三维模型进行坐标标准化处理:首先计算三维模型的质心,将质心平移到光场的坐标原点(平移标准化);然后采用改进的PCA方法来确定三维模型的三个主轴,绕光场坐标原点旋转三维模型,使三维模型的主坐标轴与光场的主坐标轴重合;
(12)沿球面(球的半径R取值可为三维模型最小包围球半径的2-4倍,具体实施例可为:2.5倍)均匀布置W(W为正整数,取值范围可为:60-500个,可根据三维模型的结构复杂程度进行调整,具体实施例可为:320个)个摄像头,并使得每个摄像头视轴线指向光场坐标原点;
(13)从光场Z主轴正方向所对应的摄像头开始,对三维模型每个视角进行拍照,获得W幅彩色视图的视图阵列。
上述步骤(2)中生成特征数据库,具体流程如图2所示,包括以下步骤:
(21)通过图像分割算法得到每幅彩色视图的轮廓,计算该轮廓的傅立叶描述符,得到每幅彩色视图的轮廓描述符;
(22)应用系统聚类方法将W个彩色视图的轮廓描述符进行无监督聚类,获得K(K为正整数,取值范围可为:7-10个,具体实施例可为:7个)个分类;
(23)针对于K个分类中的每个分类,将分类中的每幅彩色视图的轮廓描述符应用贝叶斯信息度量准则(Bayesian Information metric Criterion,BIC)进行度量,从每一分类中挑选出BIC值最大的轮廓描述符,此轮廓描述符对应的彩色视图为该三维模型的“典型视图”之一,最终一个三维模型对应得到K个“典型视图”;
(24)计算K个“典型视图”的颜色特征(已有技术):使用HCD表示K个“典型视图”的颜色特征集合,使用C表示颜色特征,用HSD表示K个“典型视图”的轮廓描述符集合,用FD表示轮廓描述符,则有:
HCD={C1,C2,...CK},HSD={FD1,FD2,...FDK}
(25)计算W幅彩色视图的纹理特征(已有技术),得到纹理特征的矩阵E,应用聚类方法对纹理矩阵降维(具体聚类降维算法流程见图3所示),将纹理特征矩阵E降为g(取值范围可为:7-10维)维矩阵T;
(26)应用结构最大期望方法(Structural Expectation Maximum,SEM)依据g维矩阵T进行贝叶斯网络学习,生成包含参数θ及结构S的贝叶斯网络,即为纹理特征网络HTD,表示为:HTD={S,θ};
(27)将所有三维模型的HCD、HSD和HTD组合成三维模型特征数据库;表示为:
HD(i)={HCD(i),HSD(i),HTD(i)},i=1,...,P
式中用HD表示一个三维模型对应的所有特征的组合,P为三维模型个数。
上述步骤(25)应用聚类方法对纹理矩阵降维,将纹理特征矩阵E降为g维矩阵T,具体流程如图3所示,包括以下步骤:
(251)计算彩色视图阵列的纹理特征(已有技术),获得纹理特征矩阵E,特征矩阵E维数用V表示(V的取值范围:64-200;纹理特征包括多种类型,具体实施例为:104维小波纹理);
(252)对矩阵E进行预处理,首先对E的转制矩阵ET进行系统聚类,将ET分成g个小组矩阵ei:ET=(e1,...,ei,...eg)(用ei表示任意一个小组矩阵,g取值范围可为:7-10个,具体实施例可为:7维);
(253)依据E的维数V选择降维方法(如PCA或流型的方法,具体实施例为:PCA方法),对每个小组矩阵ei,计算矩阵的转制矩阵,后通过降维方法(如PCA或流型的方法,具体实施例:PCA方法)将小组矩阵ei处理成1维序列信号ti
(254)将g个小组的1维序列信号ti组合,生成g维序列信号T:T=[t1,...,ti,...tg];
上述步骤(3)中服务器端计算客户端提供的二维草图的特征,如图4所示,具体包括以下步骤:
(31)采取二值形态滤波中的Bridge操作和Clean操作来尽量保证二维草图的连通性,Bridge操作将二维草图中接近但不连通的区域连接起来,Clean操作可以将二维草图中孤立的亮点去除;
(32)如果二维草图中区域连通,则首先跟踪二维草图的外轮廓,依次计算外轮廓边缘每个象素到区域中心的距离,再对该距离进行傅立叶变换,最后对傅立叶变换后得到一组复数系数进行标准化,作为二维草图的轮廓描述符(具体实施例:应用傅立叶描述符作为二维草图的轮廓描述符,则二维草图的轮廓描述符表示为FDQ);
(33)计算该二维草图的颜色特征(具体实施例:应用HSV空间256维颜色直方图作为颜色特征,则二维草图的颜色特征表示为CQ),最终由FDQ和CQ组成二维草图的特征;
上述步骤(4)中生成第1次检索结果,具体流程如图4所示,包括以下步骤:
(41)采用该二维草图与每个三维模型K个“典型视图”的轮廓描述符(具体实施例可采用:傅立叶描述符,”典型视图”的轮廓描述符用FD1,...,FDK表示)及颜色特征(具体实施例可采用:HSV空间256维颜色直方图,”典型视图”的颜色特征用C1,...,CK表示)的距离最小值为该二维草图与每个三维模型的距离为d(sketch,model),该距离的计算公式如下:
d(sketch,model)=min(d(sketch,view1),...,d(sketch,viewK))
=k1×min{d(CQ,C1),d(CQ,C2),...d(CQ,CK)}
+(1-k1)×min{d(FDQ,FD1),d(FDQ,C2),...d(FDQ,CK)}
其中d(sketch,view1),...,d(sketch,viewK)分别表示该二维草图与每个三维模型的K个“典型视图”(用view1,...viewK表示)间的距离,k1为加权系数(针对不同的数据库依据专家经验可动态调整k1,取值范围可在0到1之间,具体实施例可为:0.5);
(42)采用快速排序方法将数据库中所有三维模型按照距离d(sketch,model)值由低值向高值依次排序,输出前f个(f为正整数,取值范围可为:20-100个,具体实施例可为:20个)三维模型作为第1次检索结果到客户端。
上述步骤(5)具体流程如图4所示,通过学习标注信息,获得检索结果,包括以下步骤:
(51)客户端对检索结果进行标注,标注Z(Z为正整数,取值范围可为:1-100,具体实施例可为:3)个“相关”三维模型,返回信息,服务器对“相关”三维模型置标签为1,其余f-Z(f-Z为正整数,取值范围可为:1-100,具体实施例可为:17)个三维模型视为“不相关”模型,置标签为-1;
(52)构造与第i个三维模型特征集合HD(i)=(HCD(i),HSD(i),HTD(i))(HD(i)包含的特征个数为HCD(i),HSD(i),HTD(i)的特征个数之和,HCD(i)包含K个颜色特征,HSD(i)包含K个轮廓描述符,HTD(i)包含1个纹理特征网络)相对应个数的支持向量机,为2K+1个(K取值范围可为:7-10个);
(53)应用2K+1个支持向量机对客户端的标注信息进行学习,得到2K+1个分类向量,分别应用每个分类向量对三维模型数据库再次分类,得到2K+1个分类结果;
(54)通过多SVM融合方法融合2K+1个分类结果,得到最终分类结果;
(55)将最终分类结果按照距离分类面远近由小向大进行排序并输出,作为检索结果。

Claims (7)

1、一种基于多特征相关反馈的三维模型检索方法,其特征在于,该方法包括以下步骤:
(1)服务器端对三维模型数据库中的每个三维模型进行处理,获取三维模型的彩色视图阵列;
(2)服务器端将每个三维模型的彩色视图阵列进行处理,获取三维模型特征,合并所有三维模型特征生成特征数据库;
(3)服务器端计算客户端提供的二维草图的特征;
(4)服务器端将该二维草图特征和特征数据库中特征进行匹配,计算该二维草图与每个三维模型的距离,将数据库中所有三维模型按照距离值排序并输出,生成第1次检索结果并返回客户端;
(5)由客户端对检索结果进行“相关”及“不相关”的标注,将标注后的三维模型信息返回服务器端,服务器端对该信息进行学习,采取多SVM融合方法对所述三维模型库进行分类,根据分类结果对所有三维模型进行排序并输出,作为检索结果;
(6)重复步骤(5),最终输出用户满意的三维模型检索结果。
2、根据权利要求1所述的方法,其特征在于:所述步骤(1)获取三维模型的彩色视图阵列,具体包括以下步骤:
(11)设三维模型数据库包含P个三维模型,P为正整数,为三维模型数据库所有三维模型的数目,对每个三维模型进行坐标标准化处理:首先计算三维模型的质心,将质心平移到光场的坐标原点;然后采用改进的PCA方法来确定三维模型的三个主轴,绕光场坐标原点旋转三维模型,使三维模型的主坐标轴与光场的主坐标轴重合;
(12)沿球面均匀布置W,个摄像头,W为正整数,并使得每个摄像头视轴线指向光场坐标原点;
(13)从光场Z主轴正方向所对应的摄像头开始,对三维模型每个视角进行拍照,获得W幅彩色视图的视图阵列。
3、根据权利要求2所述方法,其特征在于:所述的步骤(2)生成特征数据库,具体包括以下步骤:
(21)通过图像分割算法得到每幅彩色视图的轮廓,计算该轮廓的傅立叶描述符,得到每幅彩色视图的轮廓描述符;
(22)应用系统聚类方法将W个彩色视图的轮廓描述符进行无监督聚类,获得K个分类,K为正整数;
(23)针对于K个分类中的每个分类,将分类中的每幅彩色视图的轮廓描述符应用贝叶斯信息度量准则BIC进行度量,从每一分类中挑选出BIC值最大的轮廓描述符,此轮廓描述符对应的彩色视图为该三维模型的“典型视图”之一,最终一个三维模型对应得到K个“典型视图”;
(24)计算K个“典型视图”的颜色特征:使用HCD表示K个“典型视图”的颜色特征集合,使用C表示颜色特征,用HSD表示K个“典型视图”的轮廓描述符集合,用FD表示轮廓描述符,则有:
HCD={C1,C2,...CK},HSD={FD1,FD2,...FDK}
(25)计算W幅彩色视图的纹理特征,得到纹理特征的矩阵E,应用聚类方法对纹理矩阵降维,将纹理特征矩阵E降为g维矩阵,T,E、g、T均为正整数;
(26)应用结构最大期望方法SEM依据g维矩阵T进行贝叶斯网络学习,生成包含参数θ及结构S的贝叶斯网络,即为纹理特征网络HTD,表示为:HTD={S,θ};
(27)将所有三维模型的HCD、HSD和HTD、组合成三维模型特征数据库;表示为:
HD(i)={HCD(i),HSD(i),HTD(i)},i=1,...,P
式中用HD表示一个三维模型对应的所有特征的组合,P为三维模型个数。
4、根据权利要求3所述方法,其特征在于:所述的步骤(25)中将纹理特征矩阵E降为T,具体包括以下步骤:
(251)计算彩色视图阵列的纹理特征,获得纹理特征矩阵E,特征矩阵E维数用V表示,V为正整数;
(252)对矩阵E进行预处理,首先对E的转制矩阵ET进行系统聚类,将ET分成g个小组矩阵ei:ET=(e1,...,ei,...eg),ei表示任意一个小组矩阵;
(253)依据E的维数V选择降维方法,对每个小组矩阵ei,计算矩阵的转制矩阵,后通过降维方法将小组矩阵ei处理成1维序列信号ti
(254)将g个小组的1维序列信号ti组合,生成g维序列信号T:T=[t1,...,ti,...tg]。
5、根据权利要求1所述的方法,其特征在于:所述的步骤(3)中服务器端计算客户端提供的二维草图的特征,具体包括以下步骤:
(31)采取二值形态滤波中的Bridge操作和Clean操作来保证二维草图的连通性,Bridge操作将二维草图中接近但不连通的区域连接起来,Clean操作将二维草图中孤立的亮点去除;
(32)如果二维草图中区域连通,则首先跟踪二维草图的外轮廓,依次计算外轮廓边缘每个象素到区域中心的距离,再对该距离进行傅立叶变换,最后对傅立叶变换后得到一组复数系数进行标准化,作为二维草图的轮廓描述符FDQ
(33)计算该二维草图的颜色特征CQ,最终由FDQ和CQ组成二维草图的特征。
6、根据权利要求3所述的方法,其特征在于:所述的步骤(4)中生成第1次检索结果,具体包括以下步骤:
(41)采用该二维草图与每个三维模型K个“典型视图”的轮廓描述符FD1,...,FDK及颜色特征C1,...,CK表示的距离最小值为该二维草图与每个三维模型的距离为d(sketch,model),该距离的计算公式如下:
d(sketch,model)=min(d(sketch,view1),...,d(sketch,viewK))
=k1×min{d(CQ,C1),d(CQ,C2),...d(CQ,CK)}
+(1-k1)×min{d(FDQ,FD1),d(FDQ,C2),...d(FDQ,CK)}
其中d(sketch,view1),...,d(sketch,viewK)分别表示该二维草图与每个三维模型的K个“典型视图”view1,...viewK间的距离,k1为加权系数,k1取值范围在0到1之间;
(42)采用快速排序方法将数据库中所有三维模型按照距离d(sketch,model)值由低值向高值依次排序,输出前f个三维模型作为第1次检索结果到客户端,f为正整数。
7、根据权利要求1所述的方法,其特征在于:所述的步骤(5)通过学习标注信息,获得检索结果,具体包括以下步骤:
(51)客户端对每次检索结果进行标注,标注Z个“相关”三维模型,Z为正整数,返回信息,服务器对“相关”三维模型置标签为1,其余f-Z个三维模型视为“不相关”模型,置标签为-1;
(52)构造与第i个三维模型特征集合HD(i)=(HCD(i),HSD(i),HTD(i))相对应个数的支持向量机,该支持向量机个数表示为2K+1个,其中,HD(i)包含的特征个数为HCD(i),HSD(i),HTD(i)的特征个数之和,HCD(i)包含K个颜色特征,HSD(i)包含K个轮廓描述符,HTD(i)包含1个纹理特征网络;
(53)应用2K+1个支持向量机对客户端的标注信息进行学习,得到2K+1个分类向量,分别应用每个分类向量对三维模型数据库再次分类,得到2K+1个分类结果;
(54)通过多SVM融合方法融合2K+1个分类结果,得到最终分类结果;
(55)将最终分类结果按照距离分类面远近由小向大进行排序并输出,作为检索结果。
CN200810113769A 2008-05-30 2008-05-30 一种基于多特征相关反馈的三维模型检索方法 Expired - Fee Related CN100593785C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810113769A CN100593785C (zh) 2008-05-30 2008-05-30 一种基于多特征相关反馈的三维模型检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810113769A CN100593785C (zh) 2008-05-30 2008-05-30 一种基于多特征相关反馈的三维模型检索方法

Publications (2)

Publication Number Publication Date
CN101281545A true CN101281545A (zh) 2008-10-08
CN100593785C CN100593785C (zh) 2010-03-10

Family

ID=40014013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810113769A Expired - Fee Related CN100593785C (zh) 2008-05-30 2008-05-30 一种基于多特征相关反馈的三维模型检索方法

Country Status (1)

Country Link
CN (1) CN100593785C (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法
CN101916284A (zh) * 2010-08-19 2010-12-15 西北工业大学 基于形状朝向多分辨率分析的三维模型检索方法
CN101599077B (zh) * 2009-06-29 2011-01-05 清华大学 一种三维对象检索的方法
CN102073738A (zh) * 2011-01-20 2011-05-25 清华大学 基于智能检索视图选择的三维对象检索方法和装置
CN102073713A (zh) * 2010-12-31 2011-05-25 北京理工大学 一种基于优化BoW模型的三维模型检索方法
CN102110159A (zh) * 2011-02-21 2011-06-29 清华大学 一种cad三维模型检索方法及系统
CN102254192A (zh) * 2011-07-13 2011-11-23 北京交通大学 基于模糊k近邻的三维模型半自动标注方法及系统
CN101794290B (zh) * 2009-12-30 2011-12-28 清华大学 一种基于视觉认知特征的彩色三维模型检索方法
CN102364470A (zh) * 2011-10-14 2012-02-29 西安工业大学 一种基于图像序列的三维动画检索方法
CN102890711A (zh) * 2012-09-13 2013-01-23 中国人民解放军国防科学技术大学 一种检索排序方法及系统
CN103077555A (zh) * 2013-01-18 2013-05-01 南京大学 一种三维模型构成的自动标注方法
CN103295025A (zh) * 2013-05-03 2013-09-11 南京大学 一种三维模型最优视图的自动选择方法
CN103294832A (zh) * 2013-06-27 2013-09-11 西安工业大学 一种基于反馈学习的运动捕获数据检索方法
CN103902657A (zh) * 2014-03-03 2014-07-02 浙江大学 一种基于草绘图的三维模型检索方法
CN104134234A (zh) * 2014-07-16 2014-11-05 中国科学技术大学 一种全自动的基于单幅图像的三维场景构建方法
CN104239299A (zh) * 2013-06-06 2014-12-24 富士通株式会社 三维模型检索方法及装置
CN104867129A (zh) * 2015-04-16 2015-08-26 东南大学 一种光场图像分割方法
CN105243137A (zh) * 2015-09-30 2016-01-13 华南理工大学 一种基于草图的三维模型检索视点选择方法
CN105930497A (zh) * 2016-05-06 2016-09-07 浙江工业大学 基于图像边缘和线条特征的三维模型检索方法
CN106484692A (zh) * 2015-08-25 2017-03-08 北京师范大学 一种三维模型检索方法
CN107220307A (zh) * 2017-05-10 2017-09-29 清华大学 网页搜索方法和装置
CN107636639A (zh) * 2015-09-24 2018-01-26 谷歌有限责任公司 快速的正交投影
CN108228844A (zh) * 2018-01-09 2018-06-29 美的集团股份有限公司 一种图片筛选方法及装置、存储介质、计算机设备
CN108596329A (zh) * 2018-05-11 2018-09-28 北方民族大学 基于端到端深度集成学习网络的三维模型分类方法
CN108734182A (zh) * 2018-06-13 2018-11-02 大连海事大学 一种基于小数据样本学习的兴趣特征识别检测方法
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
CN110162655A (zh) * 2019-04-30 2019-08-23 厦门大学 一种基于草图的三维模型局部检索方法、装置、终端设备
CN110472088A (zh) * 2019-08-13 2019-11-19 南京大学 一种基于草图的图像检索方法
CN112100417A (zh) * 2020-09-11 2020-12-18 佛山显扬科技有限公司 三维模型识别方法
CN113642623A (zh) * 2021-08-05 2021-11-12 深圳大学 基于酉空间多特征融合的复数支持向量机分类方法
CN113822961A (zh) * 2021-09-22 2021-12-21 广州博冠信息科技有限公司 对3d模型进行2d渲染的方法、装置、设备及介质
CN115423947A (zh) * 2022-11-03 2022-12-02 成都飞机工业(集团)有限责任公司 三维模型检索方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100456300C (zh) * 2006-10-27 2009-01-28 北京航空航天大学 基于二维草图的三维模型检索方法

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599077B (zh) * 2009-06-29 2011-01-05 清华大学 一种三维对象检索的方法
CN101794290B (zh) * 2009-12-30 2011-12-28 清华大学 一种基于视觉认知特征的彩色三维模型检索方法
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法
CN101916284B (zh) * 2010-08-19 2012-05-16 西北工业大学 基于形状朝向多分辨率分析的三维模型检索方法
CN101916284A (zh) * 2010-08-19 2010-12-15 西北工业大学 基于形状朝向多分辨率分析的三维模型检索方法
CN102073713A (zh) * 2010-12-31 2011-05-25 北京理工大学 一种基于优化BoW模型的三维模型检索方法
CN102073738A (zh) * 2011-01-20 2011-05-25 清华大学 基于智能检索视图选择的三维对象检索方法和装置
CN102073738B (zh) * 2011-01-20 2013-04-17 清华大学 基于智能检索视图选择的三维对象检索方法和装置
CN102110159B (zh) * 2011-02-21 2013-05-22 清华大学 一种cad三维模型检索方法及系统
CN102110159A (zh) * 2011-02-21 2011-06-29 清华大学 一种cad三维模型检索方法及系统
CN102254192B (zh) * 2011-07-13 2013-07-31 北京交通大学 基于模糊k近邻的三维模型半自动标注方法及系统
CN102254192A (zh) * 2011-07-13 2011-11-23 北京交通大学 基于模糊k近邻的三维模型半自动标注方法及系统
CN102364470A (zh) * 2011-10-14 2012-02-29 西安工业大学 一种基于图像序列的三维动画检索方法
CN102364470B (zh) * 2011-10-14 2013-05-15 西安工业大学 一种基于图像序列的三维动画检索方法
CN102890711B (zh) * 2012-09-13 2015-08-12 中国人民解放军国防科学技术大学 一种检索排序方法及系统
CN102890711A (zh) * 2012-09-13 2013-01-23 中国人民解放军国防科学技术大学 一种检索排序方法及系统
CN103077555B (zh) * 2013-01-18 2016-01-20 南京大学 一种三维模型构成的自动标注方法
CN103077555A (zh) * 2013-01-18 2013-05-01 南京大学 一种三维模型构成的自动标注方法
CN103295025B (zh) * 2013-05-03 2016-06-15 南京大学 一种三维模型最优视图的自动选择方法
CN103295025A (zh) * 2013-05-03 2013-09-11 南京大学 一种三维模型最优视图的自动选择方法
CN104239299A (zh) * 2013-06-06 2014-12-24 富士通株式会社 三维模型检索方法及装置
CN104239299B (zh) * 2013-06-06 2017-05-10 富士通株式会社 三维模型检索方法及装置
CN103294832A (zh) * 2013-06-27 2013-09-11 西安工业大学 一种基于反馈学习的运动捕获数据检索方法
CN103902657A (zh) * 2014-03-03 2014-07-02 浙江大学 一种基于草绘图的三维模型检索方法
CN103902657B (zh) * 2014-03-03 2017-04-19 浙江大学 一种基于草绘图的三维模型检索方法
CN104134234A (zh) * 2014-07-16 2014-11-05 中国科学技术大学 一种全自动的基于单幅图像的三维场景构建方法
CN104134234B (zh) * 2014-07-16 2017-07-25 中国科学技术大学 一种全自动的基于单幅图像的三维场景构建方法
CN104867129A (zh) * 2015-04-16 2015-08-26 东南大学 一种光场图像分割方法
CN106484692A (zh) * 2015-08-25 2017-03-08 北京师范大学 一种三维模型检索方法
CN106484692B (zh) * 2015-08-25 2019-11-29 北京师范大学 一种三维模型检索方法
CN107636639B (zh) * 2015-09-24 2021-01-08 谷歌有限责任公司 快速的正交投影
CN107636639A (zh) * 2015-09-24 2018-01-26 谷歌有限责任公司 快速的正交投影
CN105243137B (zh) * 2015-09-30 2018-12-11 华南理工大学 一种基于草图的三维模型检索视点选择方法
CN105243137A (zh) * 2015-09-30 2016-01-13 华南理工大学 一种基于草图的三维模型检索视点选择方法
CN105930497A (zh) * 2016-05-06 2016-09-07 浙江工业大学 基于图像边缘和线条特征的三维模型检索方法
CN107220307A (zh) * 2017-05-10 2017-09-29 清华大学 网页搜索方法和装置
CN107220307B (zh) * 2017-05-10 2020-09-25 清华大学 网页搜索方法和装置
CN108228844A (zh) * 2018-01-09 2018-06-29 美的集团股份有限公司 一种图片筛选方法及装置、存储介质、计算机设备
CN108228844B (zh) * 2018-01-09 2020-10-27 美的集团股份有限公司 一种图片筛选方法及装置、存储介质、计算机设备
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
CN108596329A (zh) * 2018-05-11 2018-09-28 北方民族大学 基于端到端深度集成学习网络的三维模型分类方法
CN108596329B (zh) * 2018-05-11 2020-08-07 北方民族大学 基于端到端深度集成学习网络的三维模型分类方法
CN108734182A (zh) * 2018-06-13 2018-11-02 大连海事大学 一种基于小数据样本学习的兴趣特征识别检测方法
CN108734182B (zh) * 2018-06-13 2022-04-05 大连海事大学 一种基于小数据样本学习的兴趣特征识别检测方法
CN110162655A (zh) * 2019-04-30 2019-08-23 厦门大学 一种基于草图的三维模型局部检索方法、装置、终端设备
CN110162655B (zh) * 2019-04-30 2021-07-27 厦门大学 一种基于草图的三维模型局部检索方法、装置、终端设备
CN110472088A (zh) * 2019-08-13 2019-11-19 南京大学 一种基于草图的图像检索方法
CN110472088B (zh) * 2019-08-13 2023-06-27 南京大学 一种基于草图的图像检索方法
CN112100417A (zh) * 2020-09-11 2020-12-18 佛山显扬科技有限公司 三维模型识别方法
CN112100417B (zh) * 2020-09-11 2024-04-30 佛山显扬科技有限公司 三维模型识别方法
CN113642623A (zh) * 2021-08-05 2021-11-12 深圳大学 基于酉空间多特征融合的复数支持向量机分类方法
CN113642623B (zh) * 2021-08-05 2023-08-18 深圳大学 基于酉空间多特征融合的复数支持向量机分类方法
CN113822961A (zh) * 2021-09-22 2021-12-21 广州博冠信息科技有限公司 对3d模型进行2d渲染的方法、装置、设备及介质
CN113822961B (zh) * 2021-09-22 2024-04-26 广州博冠信息科技有限公司 对3d模型进行2d渲染的方法、装置、设备及介质
CN115423947A (zh) * 2022-11-03 2022-12-02 成都飞机工业(集团)有限责任公司 三维模型检索方法、装置、设备及介质

Also Published As

Publication number Publication date
CN100593785C (zh) 2010-03-10

Similar Documents

Publication Publication Date Title
CN100593785C (zh) 一种基于多特征相关反馈的三维模型检索方法
CN108648233B (zh) 一种基于深度学习的目标识别与抓取定位方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
Singh et al. Svm-bdt pnn and fourier moment technique for classification of leaf shape
EP2054855B1 (en) Automatic classification of objects within images
Li et al. Multi-scale neighborhood feature extraction and aggregation for point cloud segmentation
CN113657450B (zh) 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
Kuznetsova et al. Expanding object detector's horizon: Incremental learning framework for object detection in videos
CN107527058B (zh) 一种基于加权局部特征聚合描述符的图像检索方法
Li et al. Efficient convolutional neural network with multi-kernel enhancement features for real-time facial expression recognition
Wu et al. Location recognition algorithm for vision-based industrial sorting robot via deep learning
Zhang et al. 3-DFineRec: Fine-grained recognition for small-scale objects in 3-D point cloud scenes
Pan et al. Online human action recognition based on improved dynamic time warping
Yu et al. A novel multi-feature representation of images for heterogeneous IoTs
CN106373177A (zh) 一种用于实现优化图像场景光照估计的设计方法
Villamizar et al. Online learning and detection of faces with low human supervision
Mouffok et al. Dual independent classification for sketch-based 3D shape retrieval
CN116386042A (zh) 一种基于三维池化空间注意力机制的点云语义分割模型
Wu et al. Mvpn: Multi-view prototype network for 3d shape recognition
Trimech et al. Data augmentation using non-rigid cpd registration for 3d facial expression recognition
CN112365456B (zh) 基于三维点云数据的变电站设备分类方法
Wu et al. Dual-View Data Hallucination with Semantic Relation Guidance for Few-Shot Image Recognition
CN109543054B (zh) 一种基于视图的特征降维三维模型检索方法
CN113516118A (zh) 一种图像与文本联合嵌入的多模态文化资源加工方法
CN106845543B (zh) 一种基于特征匹配的三维模型分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GUANGDONG SHENGYANG INFORMATION TECHNOLOGY INDUSTR

Free format text: FORMER OWNER: TSINGHUA UNIVERSITY

Effective date: 20130228

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100084 HAIDIAN, BEIJING TO: 528300 FOSHAN, GUANGDONG PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20130228

Address after: 528300, first floor, C building, Shunde Creative Industry Park, 41 Fengxiang Road, Daliang District, Foshan, Guangdong, Shunde

Patentee after: Guangdong Shengyang Information Technology Industrial Co., Ltd.

Address before: 100084 Beijing City, Haidian District Tsinghua Yuan

Patentee before: Tsinghua University

C56 Change in the name or address of the patentee
CP03 Change of name, title or address

Address after: 528300, building 107, building C, creative Pioneer Park, 41 Fengxiang Road, Shunde District, Foshan, Guangdong, Daliang

Patentee after: Guangdong Shengyang Information Technology Industry Co., Ltd.

Address before: 528300, first floor, C building, Shunde Creative Industry Park, 41 Fengxiang Road, Daliang District, Foshan, Guangdong, Shunde

Patentee before: Guangdong Shengyang Information Technology Industrial Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100310

Termination date: 20180530

CF01 Termination of patent right due to non-payment of annual fee