CN102253933A - 一种汽车信息分析和服务的语义搜索系统 - Google Patents

Abstract

本发明涉及语义搜索技术领域，本发明的目的在于解决现有的语义处理模式造成原始的隐含语义损失、错位和模糊的问题，提供了一种汽车信息分析和服务的语义搜索系统。所述系统包括：汽车行业本体库，用于为需求智能匹配模块、需求语义处理器提供汽车行业领域知识；需求智能匹配模块，用于根据本体库提供的汽车行业领域知识匹配和重组符合规范描述方式的数据；非结构内容解析器，用于对非结构和内容进行标签剔除、生成摘要；行为语义预处理模块，用于对语义信息进行预处理；需求语义处理器，用于把数据转换成RDF格式，结合推理规则挖掘出数据信息间的潜在关系；索引处理模块，用于对信息资源进行整理、分类和索引；检索模块，包括用户接口和搜索器。

Description

一种汽车信息分析和服务的语义搜索系统

技术领域

本发明语义搜索技术，特别涉及一种汽车信息分析和服务的语义搜索系统。

背景技术

互联网的迅猛增长和广泛普及导致网上信息爆炸式增长。搜索引擎技术应用而生。传统的搜索技术并不能实现智能搜索，面向行业应用的搜索引擎也较少。

现有汽车资源数据分散，没有按照语义描述的需求进行标准化规范，现有的语义处理模式是按照有隐含语义的信息内容发布成为非语义化的内容，导致传统的语义搜索器需要通过爬虫工具将非语义内容在转换成语义化表述，这个过程造成原始的隐含语义损失、错位和模糊。

本发明采用基于语义网的需求驱动搜索引擎，定义面向小型汽车行业的语义信息分布式处理模型，最大化挖掘客户需求、挖掘基于需求语义的服务和产品关联关系，将小型汽车行业中的供应商数据、产品数据、消费者行为有效的联系在一起，建立一个开放的分销体系；同时通过其建立的基于小型汽车行业本体扩展描述机制使多供应商、多客户、多种类产品的信息交换、共享和关联成为可能。在单类数据描述的基础之上扩展了产品语义层面组合数据的描述方式，使小型汽车产品/信息的深度组合、发现和销售成为可能，小型汽车分销商在销售过程中可以随着市场需求的变化而自主设计其服务内容和产品，为供应商、分销商、及客户提供精准营销信息，以提高的交易信息的成功率。

发明内容

本发明的目的在于解决现有技术中语义搜索技术现有汽车资源数据分散，没有按照语义描述的需求进行标准化规范，现有的语义处理模式造成原始的隐含语义损失、错位和模糊的问题，提供了一种汽车信息分析和服务的语义搜索系统。

为了解决上述技术问题，本发明结合具体实施例公布了如下技术方案：

一种汽车信息分析和服务的语义搜索系统，包括：

汽车行业本体库，用于为需求智能匹配模块、需求语义处理器提供领域知识；

需求智能匹配模块，用于根据本体库提供的汽车行业领域知识匹配和重组符合规范描述方式的数据；

非结构内容解析器，用于对非结构和内容进行标签剔除、生成摘要；

行为语义预处理模块，用于对语义信息进行预处理；

需求语义处理器，用于把数据转换成RDF格式，结合推理规则挖掘出数据信息间的潜在关系；

索引处理模块，用于对信息资源进行整理、分类和索引；

检索模块，包括用户接口和搜索器；其中，用户接口用于提供系统用户的操作界面，接收用户的检索请求，并把结果展示给用户；搜索器用于对用户请求进行分析处理，进行检索，并把得到的结果按照相关度排序，最后返回给用户接口。

进一步的，上述的汽车行业本体库进一步包括：

词频分析子模块，用于对互联网汽车内容、相关部门规章、互联网通用搜索引擎分析所得的关键词统计报告等内容进行词频分析和整理，构建词汇表；

本体构建子模块，用于构建本体库；将词汇表中符合本体范围内的主题词进行归纳合并，并添加新词，组成汽车行业本体领域内的概念；定义本体中概念的等级体系；确定概念间的属性关系；确定概念的个体；选择合适的形式化描述语言对“概念化”的领域本体进行OWL编码；对现有本体进行评价，适时做出更新。

进一步的，上述的行为语义预处理模块进一步包括：

最终客户行为子模块，用于对客户的浏览偏好、操作行为及订购行为进行统计，获取客户对产品的关注度及隐式需求的频度；

分销商行为模块，用于对分销商的浏览偏好及订购行为进行统计，获取分销商客户群体对产品的关注度及隐式需求的频度。

进一步的，上述的需求语义处理器用于定义分布式语义本体标准，实现QoS和上下文信息在SOAP消息中的嵌入和传递，并使用了基于分布式Agent的本体融合方法。

进一步的，上述的分布式Agent由中心Agent代理和分布子Agent构成，每个子Agent所代表的汽车信息资源系统是汽车行业的子领域系统，子Agent负责描述和整理该子领域的本体描述片段；在子Agent产生一个新的本体描述实例或一个变更本体概念后，子Agent向中心Agent发起同步请求，中心Agent根据同步请求中的OWL描述片段信息，执行子领域片段信息与行业领域进行片段到主体的融合算法，然后将变更的描述片段或概念注册到行业全局本体描述中；

上述过程还包括一个反向过程，用于处理全局本体的变更向相关领域对应的子Agent系统同步语义概念信息。

本发明具有如下优点：

本系统为解决现有汽车资源数据分散，没有按照语义描述的需求进行标准化规范，现有的语义处理模式是按照有隐含语义的信息内容发布成为非语义化的内容，导致传统的予以搜索器需要通过爬虫工具将非语义内容在转换成语义化表述，这个过程造成原始的隐含语义损失、错位和模糊的问题。针对以上问题，本发明提出了面向汽车行业的语义信息分布式处理模型，定义了分布式语义本体标准并实现了QoS和上下文信息在SOAP消息中的嵌入和传递。设计了概念关联、角色关联和个体关联适配器，实现分布式本体的融合。与已有的方法相比，针对组合的智能需求，提出服务本体综合考虑QoS和上下文等因素，并给出了基于Agent的分布式本体融合方法。

本发明还具有如下突出特点：

1.定义小型汽车本体扩展描述机制；

2.建立了面向小型汽车销售和服务行业的扩展描述本体库；

3.实现针对小型汽车销售服务的语义搜索。

附图说明

图1系统结构图；

图2系统平台的远程控制示意图。

具体实施方式

本系统包括如下部分，如图1所示：

汽车行业本体库，用于为需求智能匹配模块、需求语义处理器提供领域知识；

需求智能匹配模块，用于根据本体库提供的汽车行业领域知识匹配和重组符合规范描述方式的数据；

非结构内容解析器，用于对非结构和内容进行标签剔除、生成摘要；

行为语义预处理模块，用于对语义信息进行预处理；

需求语义处理器，用于把数据转换成RDF格式，结合推理规则挖掘出数据信息间的潜在关系；

索引处理模块，用于对信息资源进行整理、分类和索引；

检索模块，包括用户接口和搜索器；其中，用户接口用于提供系统用户的操作界面，接收用户的检索请求，并把结果展示给用户；搜索器用于对用户请求进行分析处理，进行检索，并把得到的结果按照相关度排序，最后返回给用户接口。

其中，汽车行业本体库进一步包括：词频分析子模块和本体构建子模块。词频分析子模块，用于对互联网汽车内容、相关部门规章、互联网通用搜索引擎分析所得的关键词统计报告等内容进行词频分析和整理，构建词汇表。

本体构建子模块，用于构建本体库；将词汇表中符合本体范围内的主题词进行归纳合并，并添加新词，组成汽车行业本体领域内的概念；定义本体中概念的等级体系；确定概念间的属性关系；确定概念的个体；选择合适的形式化描述语言对“概念化”的领域本体进行OWL编码；对现有本体进行评价，适时做出更新。

汽车行业本体库在搜索系统中起着提供领域知识，对内容资源进行描述的作用，它决定了搜素引擎面向汽车电子商务领域搜索信息的特性。通过研究本体理论及现有的构建方法，提出了汽车行业本体构建方法，建立了基于CEOML语言的汽车行业本体描述。CEOML(CarExtend OWL Markup Language)是本发明在XML/OWL技术基础上定义的专门描述汽车本体概念与汽车子领域之间如何建立相关状态一致性关系的扩展标记语言，彻底解决了本体理论不能完整描述本体概念内在联系和相关一致性关系的难题。

构建汽车业领域本体，首先需要获取汽车行业词汇表，词汇表的基础是概念逻辑和知识分类，它在显示词间关系时，使用区分概念间各种关系的逻辑规则，它在构造标引语句时，则是用概念分析与综合的逻辑方法，在应用知识分类方面，主要应用事物分类原理。

通过调研国内外现有本体词汇表的结构、选词范围、性能指标和在汽车信息系统中的使用情况所知，目前我国还没有这方面的研究和规范出台，所以我们通过一个自研的词频分析模块，对互联网汽车内容，相关部门规章、互联网通用搜索引擎分析所得的关键词统计报告等内容进行词频分析和整理，收录了相关词汇3万余条，通过人工筛选得到关键词汇5000余条。其一级范畴9个，二级范畴的词汇112个。涵盖了汽车行业各领域的知识范畴，利用所得的词汇表形成构建汽车行业领域本体的基础。

在词汇表基础上，按照本体构建方法构建步骤：

第一步，列举本体中重要的概念。从词汇表中选择本体范围内的主题词进行归纳合并，并添加新词，组成汽车行业本体领域内的概念。概念的主要依据就是词汇表的一、二级词汇。

第二步，定义本体中概念的等级体系。等级体系通过自顶向下法进行构建。

第三步，确定概念间的属性关系。概念间存在着各种联系，比如资源与创建者的创建关系、汽车产品与消费者的服务关系等，通过这一步骤把这些关系显式的表示出来。

第四步，确定概念的个体。概念是对领域个体的抽象描述，例如汽车行业是对车型、价格、跑车、吉普车、越野车、旅行车、商务车、私家用车等的抽象描述，在确定概念的基础上，罗列领域内具有代表性的个体。

第五步，选择合适的形式化描述语言对“概念化”的领域本体进行OWL编码。

第六步，本体的评价以及更新。领域的发展应该体现到本体上，因此要根据领域的变化对现有本体进行评价，适时做出更新。

按照构建步骤，我们定义了汽车行业本体中概念的等级体系。通过对行业词汇和术语的整理归纳，以及分析所得的一二级词汇建立一级分类和子类。

需求搜索是能够分析客户的需求行为和需求词项集合，在需求词项集合与产品相关度的数据库中检索产品目录，并根据消费行为和消费级别对检索结果进行排序和过滤，以反馈给客户有效的结果。在需求驱动的语义搜索引擎CO-Search架构中，把RDF和本体结合到搜索引擎，以解决汽车行业领域内共享概念和信息资源的形式化表示，建立基于RDF层提供的基本推理规则并且可扩展规则的推理机制，推理挖掘出信息资源间的潜在关系。

需求智能匹配模块借助于Ontology(本体库)提供的汽车行业领域知识匹配和重组符合规范描述方式的数据。

非结构内容解析器对非结构化数据进行标签剔除、摘要等操作；

语义预处理器模块。除了显示的需求关键词意外，还包括隐式的需求，就是行为和行为主体所代表的隐含需求，在本系统中是通过两个组件完成行为语义的预处理，即最终客户行为组件和分销商行为组件，预处理结果交给需求语义处理器进行统一的需求语义处理。最终客户行为组件对客户的浏览偏好、操作行为(如对价格区间的滑动块拖动是普遍向上、向下还是趋向开放或收缩)及订购行为进行统计，获取客户对产品的关注度及隐式需求的频度。分销商行为组件对分销商的浏览偏好及订购行为进行统计，获取分销商客户群体对产品的关注度及隐式需求的频度。

需求语义处理器把数据转化成RDF格式，结合推理规则挖掘出数据信息间的潜在关系；对于显式的需求关键词在语义词汇中出现的次数越多，说明此关键词在产品或服务中的相关度较高。因此关键词与语义概念共现的频率或概率能够较好的反映汽车领域信息同关键词的匹配程度。所以对关键词的频度进行统计，计算关键词在语义本体中的命中比率和级别，当比率高于某一个阈值时，便可确定此产品的匹配级别。其原理如图2所示。

在语义处理器模块，本发明提出了面向汽车行业的语义信息分布式处理模型，定义了分布式语义本体标准并实现了QoS和上下文信息在SOAP消息中的嵌入和传递。设计了概念关联、角色关联和个体关联适配器，实现分布式本体的融合。与已有的方法相比，针对组合的智能需求，提出服务本体综合考虑QoS和上下文等因素，并给出了基于Agent的分布式本体融合方法。

分布式Agent由中心Agent代理和分布子Agent构成，每个子Agent所代表的汽车信息资源系统是汽车行业的子领域系统，子Agent负责描述和整理该子领域的本体描述片段。在子Agent产生一个新的本体描述实例或一个变更本体概念后，子Agent向中心Agent发起同步请求，中心Agent根据同步请求中的OWL描述片段信息，执行子领域片段信息与行业领域进行片段到主体的融合算法，然后将变更的描述片段或概念注册到行业全局本体描述中。这个完整的过程还包括一个反向过程，用于处理全局本体的变更向相关领域对应的子Agent系统同步语义概念信息。

在分布环境下，这些语义信息同步的过程是非关联、不可靠，不安全，可能重复或损失的，语义信息分布处理模型就是为了有效解决分布语义处理过程而定义的。

汽车行业的语义信息分布式处理模型定义范围包括：

1、上下文状态管理机制

2、语义片段消息传输机制

3、认证机制

4、语义网网格间会话管理

5、分布式连接管理器

6、安全管理机制

7、QoS管理机制

8、扩展通知机制

上下文状态管理用于对语义处理过程导致的关联子领域变更状态进行管理。在局部领域本体概念变更时，负责语义变更相关子领域实施状态规划。上下文状态管理的过程是可调用、接口统一和相关状态一致性。

语义片段消息传输机制在代码实现版本中采用了标准HTTP的传输协议，两端承载SOAP的服务。在SOAP服务之间完成消息请求和消息响应，以及定义对象的XML/TEXT数据实体传输。

分布式连接管理器在定义当中支持三种连接方式，分别是无连接方式、短连接方式和长连接方式，现有JAVA实现中已经实现了无连接方式和短链接方式。

安全管理机制的实现在定义中唯一定义的是安全管理的框架，定义了有关消息传输机制的安全原则框架和认证机制的安全框架。

QoS管理机制在JAVA版本中的实现的具体处理包括：请求响应过程的超时重发控制、处理队列的软件流量控制，业务请求生命周期管理，数据时效性管理，脱机缓存和自动同步、人工同步等方法，保证系统当中承载业务服务的质量。

扩展通知管理机制目前的实现完成了两个部分，一个部分是对系统内时间的通知，包括组件间事件通知和业务流程状态通知，用于组件间的运行协调和触发。

认证、会话管理遵循一般互联网广泛使用的方式，根据参与者的不同分别采用IP/MAC绑定、口令时间戳验证和会话层维护来进行。

索引处理魔力用于对信息资源进行整理、分类和索引。

检索模型模块包括：用户接口、搜索器。用户接口提供了系统用户的操作界面，接收用户的检索请求，并把结果展示给用户；搜索器对用户请求进行分析处理，基于关键字和语义处理器挖掘到的数据间关系进行检索，并把得到的结果按照相关度排序，最后返回给用户接口。

CO-Search搜集、存储资源的流程是：首先，CO-Search产生多个需求智能匹配程序线程，根据Ontology提供的汽车行业领域知识抓取符合主题的数据。抓取到的数据分别传送到非结构解析器和需求语义处理器，经过相应处理，原始信息及挖掘出的潜在关系信息分别以一定结构存储到索引库。

CO-Search用户检索流程是：用户接口接受用户的查询请求，并将其传递给检索器，检索器对请求进行解析、扩展等处理，并根据相应请求到索引库查找匹配的数据并提取相关的数据信息，在关系信息中检索符合查询请求的内容，最后按照一定算法对查找结果按照相关度排序、并通过用户接口反馈给用户。

Claims (5)

1.一种汽车信息分析和服务的语义搜索系统，其特征在于，包括：

汽车行业本体库，用于为需求智能匹配模块、需求语义处理器提供汽车行业领域知识；

需求智能匹配模块，用于根据本体库提供的汽车行业领域知识匹配和重组符合规范描述方式的数据；

非结构内容解析器，用于对非结构和内容进行标签剔除、生成摘要；

行为语义预处理模块，用于对语义信息进行预处理；

需求语义处理器，用于把数据转换成RDF格式，结合推理规则挖掘出数据信息间的潜在关系；

索引处理模块，用于对信息资源进行整理、分类和索引；

检索模块，包括用户接口和搜索器；其中，用户接口用于提供系统用户的操作界面，接收用户的检索请求，并把结果展示给用户；搜索器用于对用户请求进行分析处理，进行检索，并把得到的结果按照相关度排序，最后返回给用户接口。

2.根据权利要求1所述的汽车信息分析和服务的语义搜索系统，其特征在于，所述的汽车行业本体库进一步包括：

词频分析子模块，用于对互联网汽车内容、相关部门规章、互联网通用搜索引擎分析所得的关键词统计报告等内容进行词频分析和整理，构建词汇表；

本体构建子模块，用于构建本体库；将词汇表中符合本体范围内的主题词进行归纳合并，并添加新词，组成汽车行业本体领域内的概念；定义本体中概念的等级体系；确定概念间的属性关系；确定概念的个体；选择合适的形式化描述语言对“概念化”的领域本体进行OWL编码；对现有本体进行评价，适时做出更新。

3.根据权利要求1所述的汽车信息分析和服务的语义搜索系统，其特征在于，所述的行为语义预处理模块进一步包括：

最终客户行为子模块，用于对客户的浏览偏好、操作行为及订购行为进行统计，获取客户对产品的关注度及隐式需求的频度；

分销商行为子模块，用于对分销商的浏览偏好及订购行为进行统计，获取分销商客户群体对产品的关注度及隐式需求的频度。

4.根据权利要求1所述的汽车信息分析和服务的语义搜索系统，其特征在于，所述的需求语义处理器定义分布式语义本体标准，实现QoS和上下文信息在SOAP消息中的嵌入和传递，并使用了基于分布式Agent的本体融合方法。

5.根据权利要求1或4所述的汽车信息分析和服务的语义搜索系统，其特征在于，所述的分布式Agent由中心Agent代理和分布子Agent构成，每个子Agent所代表的汽车信息资源系统是汽车行业的子领域系统，子Agent负责描述和整理该子领域的本体描述片段；在子Agent产生一个新的本体描述实例或一个变更本体概念后，子Agent向中心Agent发起同步请求，中心Agent根据同步请求中的OWL描述片段信息，执行子领域片段信息与行业领域进行片段到主体的融合算法，然后将变更的描述片段或概念注册到行业全局本体描述中；

所述过程还包括一个反向过程，用于处理全局本体的变更向相关领域对应的子Agent系统同步语义概念信息。

Images