CN102982072B - 一种可视化概念检测器及构造语义场的方法 - Google Patents

一种可视化概念检测器及构造语义场的方法 Download PDF

Info

Publication number
CN102982072B
CN102982072B CN201210421191.XA CN201210421191A CN102982072B CN 102982072 B CN102982072 B CN 102982072B CN 201210421191 A CN201210421191 A CN 201210421191A CN 102982072 B CN102982072 B CN 102982072B
Authority
CN
China
Prior art keywords
semantic
concept
model
semantic concept
vocabulary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210421191.XA
Other languages
English (en)
Other versions
CN102982072A (zh
Inventor
蔡强
刘璇
李海生
曹健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN201210421191.XA priority Critical patent/CN102982072B/zh
Publication of CN102982072A publication Critical patent/CN102982072A/zh
Application granted granted Critical
Publication of CN102982072B publication Critical patent/CN102982072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种可视化概念检测器用于三维模型的检索过程,所述可视化概念检测器包括文本描述模块、语义描述模块、特征描述模块和语义概念计算模块。其中,文本描述模块、语义描述模块和特征描述模块分别用于构造源于待检索三维模型的文本描述、网络标注,同义词集、和形状内容特征的语义概念,获得语义概念词汇表。语义概念计算模块用于通过概率模型计算得到核心语义概念词汇表,即语义场。结合该可视化概念检测器来检索三维模型,减弱了“语义鸿沟”的不良影响、减少了三维模型检索的计算量、加快了检索速度、提升了检索结果的精度与稳定性。

Description

一种可视化概念检测器及构造语义场的方法
技术领域
本发明涉及基于语义的三维模型检索领域,具体涉及一种可视化概念检测器及构造语义场的方法。
背景技术
随着信息量呈几何级数的增加,信息检索已不再局限于文本检索这一单一的形式,已经逐步向多媒体检索、语义检索等方向扩展。将基于语义的检索方式应用在多媒体领域一直是技术人员的目标。
目前,基于语义的三维模型检索方法主要分为以下两种:1、将用户的相关反馈信息作为语义概念。该方法中,用户首先提交三维模型,系统计算该待检索的三维模型与数据库中已有的三维模型的形状特征的相似度,并将相似的模型作为第一次检索的结果返回给用户。用户在这些模型中标注这些模型与待检索三维模型的相似度,接着将标注相似度的模型返回给系统。系统根据用户所标注的相似度,进行二次检索,检索与用户所标注的模型相似的模型,作为二次检索的结果返回给用户。2、将模型所具有的语义标注作为文本关键词,只检索与该文本关键词具有相同文本描述内容的模型作为结果返回。
在上述基于语义的三维模型检索方法中,存在如下问题:1、传统的语义概念在三维模型检索中的应用方法易造成“语义鸿沟”。在传统的方法中,对于低层级的三维模型来说,它所具备的语义概念来自于它的语义标注,例如椅子的模型的语义标注即为“椅子”。而对于高层级语义、即用户的检索语句来说,它可能为“家具”。若单纯的以“家具”作为检索内容,则只能检索出语义标注为“家具”的三维模型,而不能检索出从属于“家具”、语义标注为“椅子”的三维模型。这就是“语义鸿沟”。2、传统的语义概念构造方法仅基于语义标注。由于不同用户对三维模型的语义标注通常是主观的、简短的、概念模糊不清的和不一致的,而大量杂乱的语义标注不能准确构造出能表示三维模型形状特征的语义概念。例如,对于一只狗的三维模型来说,它所具有的语义标注可能是“狗”、“宠物”、“四肢动物”等。
综上所述,为提高基于语义的三维模型检索结果精度,要求三维模型所具有的语义概念具有较高的准确度。现有的语义概念主要来自语义标注,存在高层语义概念和底层三维模型之间的“语义鸿沟”问题;而且现有的语义概念构造方法也导致用户语义标注过于杂乱而无法与准确语义概念进行对应。这些不准确的语义概念将导致三维模型的检索结果精度不高。
发明内容
为解决上述问题,本发明提出一种可视化概念检测器及构造语义场的方法。通过可视化概念检测器来构造语义场,语义场是获取整个语义概念词集中更加完整的关系的一种方法。
根据本发明一个实施例,提供一种可视化概念检测器,包括文本描述模块、语义描述模块、特征描述模块和语义概率计算模块;其中
所述文本描述模块用于提取待检索三维模型的相关词汇并传递至所述语义描述模块和所述语义概念计算模块;
所述语义描述模块用于获取所述相关词汇在语义词典中的同义词集,选取同义词汇并传递至所述语义概念计算模块;
所述特征描述模块用于根据三维模型的形状内容特征为其归类,将其所属类别的内容特征信息以及该检索模型与该类别模型的形状内容特征相似度传递至所述语义概念计算模块;
所述语义概率计算模块将接收到的相关词汇、同义词汇和内容特征信息通过概率模型计算待选语义概念是核心语义概念的概率,根据所计算的概率选取核心语义概念,得到核心语义概念词汇表。
在一个实施例中,所述文本描述模块包括:
分词工具,用于根据待检索三维模型具有的文本描述内容提取出描述该三维模型形状内容特征的一个或多个词汇;
第一用户接口,用于提供用户从所述分词工具提取出的所述一个或多个词汇中选取相关词汇。
在进一步的实施例中,所述文本描述模块还包括:
网络标注子模块,用于获得待检索三维模型的网络标注、统计相同网络标注的个数,选取标注次数最多的一个或多个网络标注作为相关词汇。
在一个实施例中,所述语义描述模块包括:
解释子模块:用于通过语义词典API开发包获取所述相关词汇在语义词典中的同义词集,并且通过所述语义词典对所述同义词集每种词性选取1或2个中间词汇;
第二用户接口:用于提供用户从所述中间词汇中选取一个或多个同义词汇。
在一个实施例中,所述特征描述模块中根据形状内容特征使用支持向量机进行待检索三维模型的归类。
在一个实施例中,所述语义概率计算模块根据如下公式计算核心语义概念的概率:
P ( C i | SF ) = Σ i = 1 n P ( T i | C x ) n
其中,Cx表示核心语义概念,n表示待选语义的个数,SF={T1,T2,...,Tn},Ti表示待选语义概念,P(Ti|Cx)表示待选语义概念Ti即为核心语义概念Cx的可能性,
P(Ti|Cx)=Pwd(Ti|Cx)×Pmodel(Ti|Cx)×Pco(Ti|Cx)
其中,Pwd(Ti|Cx)表示以核心语义概念Cx作为查询条件,在语义词典中进行查询后得到待选语义概念Ti的概率,Pmodel(Ti|Cx)表示核心语义概念Cx包含在三维模型文本描述中的概率,Pco(Ti|Cx)表示待选语义概念Ti和核心语义概念Cx在网络标注中共同出现的概率,
P wd ( T i | C x ) = # ( T i , C x ) # ( C x ) ≈ # ( T i ) # ( words ) wd
P mode l ( T i | C x ) = # ( T i , C x ) # ( C x ) ≈ # ( T i ) # ( words ) mode l × p ( α | x → )
P co ( T i | C x ) = # ( T i , C x ) + 1 # ( C x ) + 1
其中,#(Ti)表示待选语义概念Ti出现的频率;#(words)wd表示同义词集对核心语义概念Cx的描述字数,#(words)model表示文本描述对核心语义概念Cx的描述字数;#(Ti,Cx)是待选语义概念Ti与核心语义概念Cx在网络标注中共同出现的个数;α表示待检索三维模所归入的特定类别的内容特征信息,表示待检索的三维模型内容特征向量,表示待检索模型与该类别模型的形状内容特征的相似度,#(Cx)是核心语义概念Cx在网络标注出现的个数。
在进一步的实施例中,根据所计算的概率选取核心语义概念包括:
对所有P(Cx|SF)进行排序,取值最大的两个或多个作为核心语义概念,得到核心语义概念词汇表。
根据本发明一个实施例,提供一种基于所述可视化概念检测器构造语义场的方法,包括:
步骤1)、根据待检索三维模型的文本描述和形状内容特征,构造语义概念词汇表,所述语义概念词汇表包括相关词汇、同义词汇和内容特征信息;
步骤2)、根据所述语义概念词汇表,通过概率模型构造语义场。
在一个实施例中,步骤1)中相关词汇的构造步骤如下:
步骤1-1-1)、根据待检索三维模型所具有的文本描述,获取三维模型的文本描述信息;
步骤1-1-2)、利用分词工具,去除无用信息,获得文本描述信息中的一个或多个词汇;
步骤1-1-3)、从步骤1-1-2)得到词汇,通过第一用户接口提取出最能表示该三维模型的形状内容特征的一个或多个词汇作为相关词汇。
在进一步的实施例中,步骤1)中相关词汇的构造步骤还包括:
步骤1-1-4)、根据待检索三维模型所具有的网络标注,选取标注次数最多的一个或多个网络标注,作为相关词汇。
在一个实施例中,步骤1)中同义词汇的构造步骤如下:
步骤1-2-1)、在语义词典中查询相关词汇,获得该相关词汇在语义词典中对应的同义词集;
步骤1-2-2)、在同义词集中,按照词性每个词性选取1或2个中间词汇;
步骤1-2-3)、通过第一用户接口,由用户从所述中间词汇中选取一个或多个作为同义词汇。
在一个实施例中,步骤1)中内容特征信息的构造步骤如下:
步骤1-3-1)、利用特征向量提取算法提取待检索三维模型的内容特征;
步骤1-3-2)、根据待检索的三维模型内容特征向量,运用支持向量机,将待检索模型归入三维模型数据库中已存在的特定类别中;
步骤1-3-3)、待检索三维模型获得该特定类别具有的语义概念,计算待检索模型与该特定类别模型的形状内容特征的相似度,将所获得的语义概念与相似度作为内容特征信息。
在一个实施例中,步骤2)中根据所述语义概念词汇表,通过概率模型构造语义场包括:
步骤2-1)、根据语义概念的来源,选择不同概率模型计算待选语义概念为核心语义概念的可能性,从而计算核心语义概念的概率:
P ( C i | SF ) = Σ i = 1 n P ( T i | C x ) n
其中,Cx表示核心语义概念,n表示待选语义的个数,SF={T1,T2,...,Tn},Ti表示待选语义概念,P(Ti|Cx)表示待选语义概念Ti即为核心语义概念Cx的可能性,
P(Ti|Cx)=Pwd(Ti|Cx)×Pmodel(Ti|Cx)×Pco(Ti|Cx)
其中,Pwd(Ti|Cx)表示以核心语义概念Cx作为查询条件,在语义词典中进行查询后得到待选语义概念Ti的概率,Pmodel(Ti|Cx)表示核心语义概念Cx包含在三维模型文本描述中的概率,Pco(Ti|Cx)表示待选语义概念Ti和核心语义概念Cx在网络标注中共同出现的概率,
P wd ( T i | C x ) = # ( T i , C x ) # ( C x ) ≈ # ( T i ) # ( words ) wd
P mode l ( T i | C x ) = # ( T i , C x ) # ( C x ) ≈ # ( T i ) # ( words ) mode l × p ( α | x → )
P co ( T i | C x ) = # ( T i , C x ) + 1 # ( C x ) + 1
其中,#(Ti)表示待选语义概念Ti出现的频率;#(words)wd表示同义词集对核心语义概念Cx的描述字数,#(words)model表示文本描述对核心语义概念Cx的描述字数;#(Ti,Cx)是待选语义概念Ti与核心语义概念Cx在网络标注中共同出现的个数;α表示待检索三维模所归入的特定类别的内容特征信息,表示待检索的三维模型内容特征向量,表示待检索模型与该类别模型的形状内容特征的相似度,#(Cx)是核心语义概念Cx在网络标注出现的个数。
在进一步的实施例中,步骤2)中根据所述语义概念词汇表,通过概率模型构造语义场还包括:
步骤2-2)、对所有核心语义概念的概率进行排序,取值最大的两个或更多个作为核心语义概念,得到语义场。
与现有的基于语义的三维模型检索方法相比,本发明所提可视化概念检测器综合考虑三维模型的文本描述内容、网络标注、同义词集和形状内容特征,对三维模型进行比较前就将内容特征和语义信息进行了融合,减弱了“语义鸿沟”的不良影响;并且只需进行一次比较,就可得到最终检索结果,减少了三维模型检索的计算量、加快了检索速度、提升了检索结果的精度与稳定性。
附图说明
图1A-图1B是现有的基于语义的三维模型检索方法流程图;
图2是根据本发明一个实施例的可视化概念检测器的模块结构图;
图3是根据本发明一个实施例的构造可视化概念检测器的方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明提供的一种可视化概念检测器及构造语义场的方法进行详细说明。
根据本发明的一个实施例,提供一种可视化概念检测器,用于基于语义的三维模型检索系统。
所述可视化概念检测器由文本描述模块、语义描述模块、特征描述模块和语义概率计算模块组成,图2示出了该可视化概念检测器的模块结构图。其中,文本描述模块用于提取三维模型的相关词汇并传递至语义描述模块和语义概率计算模块;语义描述模块将传递来的相关词汇与语义词典中的词语解释进行比较,获得每一个相关词汇在语义词典中对应的同义词集,从所述同义词集中选取同义词汇并传递至语义概率计算模块;特征描述模块通过将待检索的三维模型归入特定类别,得到该特定类别的内容特征信息,并将该内容特征信息和相似度传递至语义概率计算模块;语义概率计算模块将接收到的相关词汇、同义词汇和内容特征信息进行概率模型计算,得到核心语义概念词汇表,即语义场。
下面分别对各个模块进行说明。
一.文本描述模块
文本描述模块可用于提取两部分相关词汇:1)、从三维模型具有的文本描述内容提取出多个形状内容相关词汇;2)、从三维模型具有的网络标注中提取出网络相关词汇。其中,文本描述内容是对三维模型的特征的文字性描述(一般为200字以内),该描述内容是在三维模型创建时,为了便于突出、查询其形状特征所进行的文本标注,其描述内容客观且准确,能反映三维模型的突出形状特征,但其所凸显的信息范围不够广泛。具体来说:
文本描述模块包括分词工具,采用例如Lucene、ictclas4j、IKAnalyzer、庖丁解牛等分词工具来获取文本描述内容中的词汇信息,从而提取出能突出描述该三维模型形状内容特征的形状内容相关词汇。例如,一个三维模型的文本描述可能是“该模型表示的是一匹站立着的马”,那么经过分词工具分词后所得词语为“该/模型/表示/是/一匹/站立/马”。
根据本发明的一个实施例,文本描述模块还包括第一用户接口,在通过分词工具获得文本描述内容中的词汇信息后,文本描述模块通过第一用户接口将该词汇信息提供给用户,由用户进行选择后(例如提取其中2-5个与三维模型相关的形状内容相关词汇),再通过第一用户接口将所选择的形状内容相关词汇返回到所述文本描述模块。在上面的例子中,经过选择,“站立”和“马”即可被选中作为能够表示三维模型形状内容特征的形状内容相关词汇。
除文本描述,网络标注是对三维模型的文字性描述的另一来源,是网络用户对三维模型的语义标注(由简短的词汇组成),其存储在基于语义的三维模型检索系统的语义数据库中。其描述内容能够基本体现三维模型的形状特征,但是包含了网络用户对三维模型的主观评价。在三维模型检索系统的语义数据库中,可以以<模型名,网络标注1,…,网络标注n>的方式存储一个模型所具有的网络标注。根据本发明的一个实施例,文本描述模块还包括网络标注子模块,该子模块通过模型名查询三维模型语义数据库,可直接获得一个模型所具有的网络标注,并统计相同网络标注的个数,选取标注次数最多的一个或多个网络标注作为网络相关词汇。例如可以取1-3个网络相关词汇。
由于网络标注来源广泛,根据本发明的一个实施例,还必须先进行去重、去噪等预处理工作
完成对形状内容相关词汇与网络相关词汇的提取后,文本描述模块将这两类相关词汇传递至语义描述模块和语义概率计算模块。
二.语义描述模块
语义描述模块包括解释子模块和第二用户接口,该模块根据从所述文本描述模块提取出的相关词汇,在诸如WordNet语义词典的或者诸如布朗语料库(Browncorpus)、LOBcorpus、KolhapurCorpus等的语料库中获取所述相关词汇的同义词集,对三维模型的标注进行语义上的扩充。以WordNet为例,在解释子模块中,可以通过利用JAWS、JWI等语义词典API开发包,获取相关词汇在WordNet中的同义词集结构并进行查询。更详细地说,利用上述开发包,可在WordNet中查询从所述文本描述模块提取出的相关词汇,并获取该相关词汇的同义词集(一般为1-6个)。由于同义词集中的词汇可按词性分为名词、动词、形容词,则在该1-6词汇中,由语义词典对每个词性取1-2个中间词汇。接着,通过第二用户接口进行同义词汇的提取,语义描述模块将所获取的1-2个中间词汇提供给用户,由用户进行同义词汇的提取,以保证较高的准确性。用户提取的结果再通过第二用户接口返回给语义描述模块。语义描述模块再将该同义词汇传递至语义概率计算模块。
三.特征描述模块
特征描述模块基于三维模型的形状内容特征,为可视化概念检测器提供内容特征信息。与文本描述中的形状内容特征不同,该形状内容特征不是文本,而是由构成三维模型的数据提取而得(以三维模型特征向量为表示方式)。
该模块首先通过特征提取算法(如Osada算法、Ankerst算法和光场(LightField)等)提取三维模型的内容特征。接着根据所提取的内容特征,运用支持向量机(SVM)进行分类,将待检索的三维模型归入特定类别。其中,三维模型数据库中的类别是按照三维模型的内容特征进行划分的,内容特征相似的模型存放在一个类别中,每个类别中由数据库管理员指定一个样本三维模型,待检索三维模型具备该类模型的基本形状内容特征。然后利用公式(如欧氏距离、曼哈顿距离、明考斯基距离等)计算待检索模型与该特定类别模型的形状内容特征的相似度,作为该三维模型的语义置信度,即表示该类别具有的语义概念是否出现在该三维模型中的概率,在此基础上获取三维模型的内容特征信息。例如,“马”这一三维模型属于“四肢动物”类别,“马”的形状内容特征与“四肢动物”类别的形状内容特征通过计算,相似度有94%,那么“马”即可获得“四肢动物”这一语义概念作为三维模型的内容特征相关词汇。特征描述模块将所获取的三维模型内容特征信息和相似度传递至语义概率计算模块。
四.语义概念计算模块
上述文本描述模块、语义描述模块和特征描述模块所获得的相关词汇、同义词汇语义和内容特征信息(统称语义概念)分别表示了三维模型不同方面的信息,是相互依赖、密切相关的;虽然比较全面但同时也增加了语义概念的冗余,不便于利用在语义检索中。所述语义概率计算模块利用概率模型分别对在上述三个模块中获得的语义概念(包括:文本描述模块的相关词汇(形状内容相关词汇和网络相关词汇)、语义描述模块的同义词汇和特征描述模块的内容特征信息)进行概率计算,从这些模块所得的语义概念中提取出核心语义概念,即构造语义场。
首先,将从上述三个模块分别获取的语义概念生成语义概念词汇表。语义概念词汇表是为生成核心语义概念的中间表,以文档的形式保存。其存储格式可以是:<三维模型名,文本描述,网络标注,文本描述模块所得相关词汇(形状内容相关词汇、网络相关词汇),语义描述模块所得同义词汇,特征描述模块所得内容特征信息>。
然后,在所生成的语义概念词汇表上进行概率模型计算,得到核心语义概念词汇表,即语义场。下文将根据本发明的一个实施例,详细描述如何根据概率模型计算得到核心语义概念词汇表。
将语义概念词汇表ω的内容作为概率模型计算的输入内容:ω=[dω,Iω,lω,vω],其中dω为形状内容相关词汇,Iω为网络相关词汇,lω为同义词汇,vω为内容特征信息;其中α表示特定类别的内容特征信息,表示待检索的三维模型内容特征向量,表示α出现在待检索三维模型中的概率。
将ω中的dω,Iω,lω,α作为所有待选语义概念SF={T1,T2,...,Tn},即[dω,Iω,lω,α]=SF,其中Ti(i∈[1,n])表示待选语义概念,n表示待选语义的个数。Cx表示核心语义概念,Cx∈SF。核心语义概念Cx的概率由如下公式定义:
P ( C x | SF ) = P ( SF | C x ) &times; P ( C x ) P ( SF ) 公式1
其中,先验概率P(Cx)是一个常量,在基于P(Cx|SF)的排序情况下(P(Cx|SF)表示在SF中Cx是核心语义概念的概率),可以不考虑。同时,P(SF|Cx)可近似的用P(SF)*P(∑P(Ti|Cx)/n)进行替代,这是概率计算过程中的惯用计算方法。忽略P(Cx)并用上式替代P(SF|Cx)得到如下公式:
P ( C i | SF ) = &Sigma; i = 1 n P ( T i | C x ) n 公式2
其中,P(Ti|Cx)表示待选语义概念Ti即为核心语义概念Cx的可能性。
在计算P(Ti|Cx)时,要考虑待选语义概念分别来自文本描述、网络标注、同义词集和三维模型的内容特征,在计算时,根据来源的不同,选择不同概率模型。针对不同来源,采用如下公式:
P(Ti|Cx)=Pwd(Ti|Cx)×Pmodel(Ti|Cx)×Pco(Ti|Cx)公式3
其中,Pwd(Ti|Cx)表示以核心语义概念Cx作为查询条件,在语义词典(WordNet)中进行查询后得到待选语义概念Ti的概率;Pmodel(Ti|Cx)表示核心语义概念Cx包含在三维模型文本描述中的概率;Pco(Ti|Cx)表示待选语义概念Ti和核心语义概念Cx在网络标注中共同出现的概率。利用如下公式分别计算Pwd(Ti|Cx)、Pmodel(Ti|Cx)和Pco(Ti|Cx):
P wd ( T i | C x ) = # ( T i , C x ) # ( C x ) &ap; # ( T i ) # ( words ) wd 公式4
P mode l ( T i | C x ) = # ( T i , C x ) # ( C x ) &ap; # ( T i ) # ( words ) mode l &times; p ( &alpha; | x &RightArrow; ) 公式5
P co ( T i | C x ) = # ( T i , C x ) + 1 # ( C x ) + 1 公式6
若核心语义概念Cx∈lω(同义词汇),则利用公式4进行计算;若Cx∈vω(内容特征信息),则利用公式5计算;若Cx∈Iω(网络相关词汇),则利用公式6进行计算。其中,#(Ti)表示待选语义概念Ti出现的频率;#(words)wd和#(words)model分别表示同义词集和三维模型文本描述对核心语义概念Cx的描述字数;#(Ti,Cx)是待选语义概念Ti与核心语义概念Cx在网络标注中共同出现的个数,α表示待检索三维模所归入的特定类别的内容特征信息,表示待检索的三维模型内容特征向量,表示待检索模型与该类别模型的形状内容特征的相似度,#(Cx)是核心语义概念Cx在网络标注出现的个数;#(Cx)是核心语义概念Cx在网络标注出现的个数,公式6中用加1平滑法解决共生次数可能为0的问题。
对待选语义概念SF进行上述公示4-6的计算后,将计算结果依次带回公示3和公式2中,即可获得待选语义概念Ti是核心语义概念的概率。
对所有P(Cx|SF)进行排序,取值最大的两个或多个(如5个)作为核心语义概念,得到核心语义概念表,生成语义场。构造出的核心语义概念表即可用于基于语义的三维模型检索。
可视化概念检测器中文本描述模块、语义描述模块和特征描述模块分别表示了三维模型不同方面的信息,互相补充,使可视化概念检测器的结果能全面表示三维模型的特征。
用户使用基于语义的三维模型检索的过程中,在提交三维模型后,基于语义的三维模型检索系统调用可视化概念检测器,可视化概念检测器自动运行各个子模块,分别对三维模型的文本描述、网络标注、同义词集和内容特征进行提取,汇总到语义概率计算模块。随后,可视化概念检测器会结合该汇总的语义概念,生成语义概念词汇表,并对其进行概率模型计算,生成核心语义概念词汇表(构造语义场)。该语义概念词汇表只需生成一次,并可以与该词汇表所对应的三维模型的模型名以<模型名,核心语义概念词汇表>的文档的形式保存。在随后的检索过程中,可直接利用该核心语义概念词汇表在三维模型数据库进行检索,得到相似模型,返回给用户。本发明结合了三维模型的形状内容特征,有效解决了“语义鸿沟”问题。同时利用多种来源的语义概念并进行语义整合,解决了杂乱、简短的语义标注所带来的问题。将本发明用于检索系统中,只需进行一次检索,不用进行用户的反馈操作和二次检索,更贴近用户的使用习惯。
本发明提出的可视化概念检测器可作为三维模型检索系统的独立模块,与三维模型检索系统的三维模型数据库、三维模型语义数据库和语义检索模块交互。
根据本发明一个实施例,提供一种通过可视化概念检测器构造语义场的方法,图3给出了构造语义场的具体步骤,所述方法包括:
第一步,构造语义概念词汇表,并传递至语义概率计算模块。
其中,构造语义概念词汇表包括:构造相关词汇、构造同义词汇和构造内容特征信息。以下分别描述这三种构造方法。
(1)构造相关词汇,包括构造形状内容相关词汇和构造网络相关词汇。
其中构造形状内容相关词汇包括:
步骤1,根据三维模型数据库中的待检索三维模型所具有的文本描述,获取三维模型的文本描述信息(例如200字以内的对三维模型的特征的文字描述),记为Textω
步骤2,利用分词工具,将连词、标点符号等无用信息去除,获得文本描述信息中的词汇信息;
步骤3,提取出最能表示该三维模型的形状内容特征的词汇(例如2-5个),作为形状内容相关词汇,记为dω
可以利用第一用户接口对最能表示该三维模型的形状内容特征的词汇进行提取。
构造网络相关词汇包括:
步骤1,根据三维模型语义数据库中待检索三维模型所具有的网络标注,获取待检索三维模型具有的网络标注Labelω
步骤2,自动选取标注次数最多的一个或多个网络标注(例如1-3个),作为网络相关词汇,记为Iω
根据本发明的一个实施例,由于网络标注来源广泛,还必须先进行去重、去噪等预处理工作。
相关词汇dω和Iω即可作为同义词汇构造方法的输入内容,用于提取相关词汇的扩充语义概念。
(2)构造同义词汇包括:
步骤1,在语义词典中查询相关词汇dω和Iω,获得该相关词汇在语义词典中对应的多个词汇(同义词集),每个相关词汇在语义词典中可对应多个词汇(一般为1-6个)。
其中,语义词典可以是包括WordNet的本领域公知的语义词典或语料库。
步骤2,由于同义词集中的词汇可按词性分为名词、动词、形容词,则1-6词汇中,每个词性可以取1-2个中间词汇;
步骤3,通过第一用户接口,由用户从中间词汇中选取一个或多个作为同义词汇,记为lω
(3)构造内容特征信息包括:
步骤1,利用特征向量提取算法提取待检索三维模型的内容特征。
其中,特征向量提取算法包括诸如本领域公知的Osada算法、Ankerst算法等。
步骤2,根据步骤1中的结果,利用待检索的三维模型内容特征向量运用支持向量机(SVM),将待检索模型归入三维模型数据库中已存在的特定类别中;
其中,三维模型数据库中的类别是按照三维模型的内容特征进行划分的,内容特征相似的模型存放在一个类别中。
步骤3,当将待检索三维模型归入特定类别后,默认该三维模型可获得该类别具有的内容特征信息α,计算待检索模型与该类别模型的形状内容特征的相似度,即语义置信度(表示该类别具有的语义概念α用于待检索模型上进行形状内容语义表示的准确程度),根据三维模型的形状内容特征获取的内容特征信息记为vω
其中计算待检索模型与特定类别模型的形状内容特征的相似度可采用欧氏距离、曼哈顿距离等方法。
在完成上述相关词汇、同义词汇和内容特征信息的构造后,得到语义概念词汇表:
ω=[dω,Iω,lω,vω]
语义概念词汇表ω的内容即可作为概率模型计算的输入内容,用于构造核心语义概念词汇表。
第二步,通过概率模型构造核心语义概念词汇表,即语义场。包括:
步骤1,根据语义概念的来源,选择不同概率模型计算待选语义概念Ti即为核心语义概念Cx的可能性,从而计算核心语义概念Cx的概率;
步骤2,对所有核心语义概念Cx的概率进行排序,取值最大的两个或更多个(如5个)作为核心语义概念,得到核心语义概念词汇表,即语义场。
应该注意到并理解,在不脱离后附的权利要求所要求的本发明的精神和范围的情况下,能够对上述详细描述的本发明做出各种修改和改进。因此,要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (12)

1.一种可视化概念检测器,包括文本描述模块、语义描述模块、特征描述模块和语义概率计算模块;其中
所述文本描述模块用于提取待检索三维模型的相关词汇并传递至所述语义描述模块和所述语义概念计算模块,其中,所述相关词汇由形状内容相关词汇和网络相关词汇组成;
所述语义描述模块用于获取所述相关词汇在语义词典中的同义词集,选取同义词汇并传递至所述语义概念计算模块;
所述特征描述模块用于根据三维模型的形状内容特征为待检索三维模型归类,将待检索三维模型所属类别的内容特征信息以及待检索三维模型与所属类别的三维模型的形状内容特征相似度传递至所述语义概念计算模块;
所述语义概率计算模块将接收到的相关词汇、同义词汇和内容特征信息作为待选语义概念,通过概率模型计算待选语义概念是核心语义概念的概率,其中根据下式计算核心语义概念的概率:
P ( C x | S F ) = &Sigma; i = 1 n P ( T i | C x ) n
其中,Cx表示核心语义概念;n表示待选语义的个数;SF={T1,T2,…,Tn},Ti表示待选语义概念;P(Ti|Cx)表示待选语义概念Ti即为核心语义概念Cx的可能性,且P(Ti|Cx)=Pwd(Ti|Cx)×Pmodel(Ti|Cx)×Pco(Ti|Cx),其中,Pwd(Ti|Cx)表示以核心语义概念Cx作为查询条件,在语义词典中进行查询后得到待选语义概念Ti的概率,Pmodel(Ti|Cx)表示核心语义概念Cx包含在三维模型文本描述中的概率,Pco(Ti|Cx)表示待选语义概念Ti和核心语义概念Cx在网络标注中共同出现的概率;
所述语义概率计算模块还用于对所有P(Cx|SF)进行排序,取值最大的两个或多个作为核心语义概念,得到核心语义概念词汇表。
2.根据权利要求1所述的可视化概念检测器,其中所述文本描述模块包括:
分词工具,用于根据待检索三维模型具有的文本描述内容提取出描述该三维模型形状内容特征的一个或多个词汇;
第一用户接口,用于提供用户从所述分词工具提取出的所述一个或多个词汇中选取相关词汇。
3.根据权利要求2述的可视化概念检测器,其中所述文本描述模块还包括:
网络标注子模块,用于获得待检索三维模型的网络标注、统计相同网络标注的个数,选取标注次数最多的一个或多个网络标注作为相关词汇。
4.根据权利要求1或2所述的可视化概念检测器,其中所述语义描述模块包括:
解释子模块:用于通过语义词典API开发包获取所述相关词汇在语义词典中的同义词集,并且通过所述语义词典对所述同义词集每种词性选取1或2个中间词汇;
第二用户接口:用于提供用户从所述中间词汇中选取一个或多个同义词汇。
5.根据权利要求1或2所述的可视化概念检测器,其中所述特征描述模块中根据形状内容特征使用支持向量机进行待检索三维模型的归类。
6.根据权利要求1所述的可视化概念检测器,其中根据下式计算Pwd(Ti|Cx)、Pmodel(Ti|Cx)和Pco(Ti|Cx):
P w d ( T i | C x ) = # ( T i , C x ) # ( C x ) &ap; # ( T i ) # ( w o r d s ) w d
P mod e l ( T i | C x ) = # ( T i , C x ) # ( C x ) &ap; # ( T i ) # ( w o r d s ) mod e l &times; p ( &alpha; | x &RightArrow; )
P c o ( T i | C x ) = # ( T i , C x ) + 1 # ( C x ) + 1
其中,#(Ti)表示待选语义概念Ti出现的频率;#(words)wd表示同义词集对核心语义概念Cx的描述字数,#(words)model表示三维模型文本描述对核心语义概念Cx的描述字数;#(Ti,Cx)是待选语义概念Ti与核心语义概念Cx在网络标注中共同出现的个数;α表示待检索三维模所归入的特定类别的内容特征信息,表示待检索的三维模型内容特征向量,表示待检索模型与该类别模型的形状内容特征的相似度,#(Cx)是核心语义概念Cx在网络标注出现的个数。
7.一种基于权利要求1所述的可视化概念检测器构造语义场的方法,包括:
步骤1)、根据待检索三维模型的文本描述和形状内容特征,构造语义概念词汇表,所述语义概念词汇表包括相关词汇、同义词汇和内容特征信息,该相关词汇、同义词汇和内容特征信息作为待选语义概念;
步骤2)、根据所述语义概念词汇表,通过概率模型构造语义场,包括:
步骤2-1)、根据下式计算核心语义概念的概率:
P ( C x | S F ) = &Sigma; i = 1 n P ( T i | C x ) n
其中,Cx表示核心语义概念;n表示待选语义的个数;SF={T1,T2,…,Tn},Ti表示待选语义概念;P(Ti|Cx)表示待选语义概念Ti即为核心语义概念Cx的可能性,且P(Ti|Cx)=Pwd(Ti|Cx)×Pmodel(Ti|Cx)×Pco(Ti|Cx),其中,Pwd(Ti|Cx)表示以核心语义概念Cx作为查询条件,在语义词典中进行查询后得到待选语义概念Ti的概率,Pmodel(Ti|Cx)表示核心语义概念Cx包含在三维模型文本描述中的概率,Pco(Ti|Cx)表示待选语义概念Ti和核心语义概念Cx在网络标注中共同出现的概率;
步骤2-2)、对所有核心语义概念的概率进行排序,取值最大的两个或更多个作为核心语义概念,得到语义场。
8.根据权利要求7所述的方法,步骤1)中相关词汇的构造步骤如下:
步骤1-1-1)、根据待检索三维模型所具有的文本描述,获取三维模型的文本描述信息;
步骤1-1-2)、利用分词工具,去除无用信息,获得文本描述信息中的一个或多个词汇;
步骤1-1-3)、从步骤1-1-2)得到词汇,通过第一用户接口提取出最能表示该三维模型的形状内容特征的一个或多个词汇作为相关词汇。
9.根据权利要求8所述的方法,步骤1)中相关词汇的构造步骤还包括:
步骤1-1-4)、根据待检索三维模型所具有的网络标注,选取标注次数最多的一个或多个网络标注,作为相关词汇。
10.根据权利要求7所述的方法,步骤1)中同义词汇的构造步骤如下:
步骤1-2-1)、在语义词典中查询相关词汇,获得该相关词汇在语义词典中对应的同义词集;
步骤1-2-2)、在同义词集中,按照词性每个词性选取1或2个中间词汇;
步骤1-2-3)、通过第一用户接口,由用户从所述中间词汇中选取一个或多个作为同义词汇。
11.根据权利要求7所述的方法,步骤1)中内容特征信息的构造步骤如下:
步骤1-3-1)、利用特征向量提取算法提取待检索三维模型的内容特征;
步骤1-3-2)、根据待检索的三维模型内容特征向量,运用支持向量机,将待检索模型归入三维模型数据库中已存在的特定类别中;
步骤1-3-3)、待检索三维模型获得该特定类别具有的语义概念,计算待检索模型与该特定类别模型的形状内容特征的相似度,将所获得的语义概念与相似度作为内容特征信息。
12.根据权利要求7所述的方法,其中根据下式计算Pwd(Ti|Cx)、Pmodel(Ti|Cx)和Pco(Ti|Cx):
P w d ( T i | C x ) = # ( T i , C x ) # ( C x ) &ap; # ( T i ) # ( w o r d s ) w d
P mod e l ( T i | C x ) = # ( T i , C x ) # ( C x ) &ap; # ( T i ) # ( w o r d s ) mod e l &times; p ( &alpha; | x &RightArrow; )
P c o ( T i | C x ) = # ( T i , C x ) + 1 # ( C x ) + 1
其中,#(Ti)表示待选语义概念Ti出现的频率;#(words)wd表示同义词集对核心语义概念Cx的描述字数,#(words)model表示三维模型文本描述对核心语义概念Cx的描述字数;#(Ti,Cx)是待选语义概念Ti与核心语义概念Cx在网络标注中共同出现的个数;α表示待检索三维模所归入的特定类别的内容特征信息,表示待检索的三维模型内容特征向量,表示待检索模型与该类别模型的形状内容特征的相似度,#(Cx)是核心语义概念Cx在网络标注出现的个数。
CN201210421191.XA 2012-10-29 2012-10-29 一种可视化概念检测器及构造语义场的方法 Active CN102982072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210421191.XA CN102982072B (zh) 2012-10-29 2012-10-29 一种可视化概念检测器及构造语义场的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210421191.XA CN102982072B (zh) 2012-10-29 2012-10-29 一种可视化概念检测器及构造语义场的方法

Publications (2)

Publication Number Publication Date
CN102982072A CN102982072A (zh) 2013-03-20
CN102982072B true CN102982072B (zh) 2016-05-04

Family

ID=47856092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210421191.XA Active CN102982072B (zh) 2012-10-29 2012-10-29 一种可视化概念检测器及构造语义场的方法

Country Status (1)

Country Link
CN (1) CN102982072B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391624A (zh) * 2017-07-07 2017-11-24 陈大可 一种阅读辅助系统及处理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296531B2 (en) * 2013-11-30 2019-05-21 Beijing Sensetime Technology Development Co., Ltd. Visual semantic complex network and method for forming network
CN104036550B (zh) * 2014-06-25 2017-02-15 北京师范大学 基于形状语义的建筑立面激光雷达点云解译与重建的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207973B (zh) * 2011-06-22 2013-04-10 上海互联网软件有限公司 一种模糊检索系统及其检索方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391624A (zh) * 2017-07-07 2017-11-24 陈大可 一种阅读辅助系统及处理方法

Also Published As

Publication number Publication date
CN102982072A (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
CN106649818B (zh) 应用搜索意图的识别方法、装置、应用搜索方法和服务器
CN107122413B (zh) 一种基于图模型的关键词提取方法及装置
Dietz et al. TREC Complex Answer Retrieval Overview.
CN106776711B (zh) 一种基于深度学习的中文医学知识图谱构建方法
CN106970910B (zh) 一种基于图模型的关键词提取方法及装置
CN102955848B (zh) 一种基于语义的三维模型检索系统和方法
CN111680173A (zh) 统一检索跨媒体信息的cmr模型
CN112667794A (zh) 一种基于孪生网络bert模型的智能问答匹配方法及系统
CN110175325A (zh) 基于词向量和句法特征的评论分析方法及可视化交互界面
CN103455487B (zh) 一种搜索词的提取方法及装置
CN104199965A (zh) 一种语义信息检索方法
CN111104488B (zh) 检索和相似度分析一体化的方法、装置和存储介质
CN108875065B (zh) 一种基于内容的印尼新闻网页推荐方法
CN105468790B (zh) 一种评论信息检索方法和装置
CN110019669B (zh) 一种文本检索方法及装置
Nualart et al. How we draw texts: a review of approaches to text visualization and exploration
CN108090077A (zh) 一种基于自然语言检索的综合相似度计算方法
CN108509521A (zh) 一种自动生成文本索引的图像检索方法
CN106021234A (zh) 标签提取方法及系统
CN108228612B (zh) 一种提取网络事件关键词以及情绪倾向的方法及装置
CN106294358A (zh) 一种信息的检索方法及系统
CN111694927A (zh) 一种基于改进词移距离算法的文档自动评阅方法
CN112182145A (zh) 文本相似度确定方法、装置、设备和存储介质
CN103942274A (zh) 一种基于lda的生物医疗图像的标注系统及方法
CN102982072B (zh) 一种可视化概念检测器及构造语义场的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant