CN109597925A - 一种基于本体的供应商数据分析方法及分析系统 - Google Patents
一种基于本体的供应商数据分析方法及分析系统 Download PDFInfo
- Publication number
- CN109597925A CN109597925A CN201811252063.0A CN201811252063A CN109597925A CN 109597925 A CN109597925 A CN 109597925A CN 201811252063 A CN201811252063 A CN 201811252063A CN 109597925 A CN109597925 A CN 109597925A
- Authority
- CN
- China
- Prior art keywords
- supplier
- ontology
- data
- local
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 title claims abstract description 29
- 238000007405 data analysis Methods 0.000 title claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 10
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于本体的供应商数据分析方法及分析系统，所述分析方法基于用户分析请求，利用本体语义查询方法在语义层中获得供应商数据，进而获得分析结果，其中，所述语义层的构建具体包括以下步骤：1)爬取供应商相关Web数据；2)基于所述供应商相关Web数据构建供应商局部本体；3)分别建立供应商局部本体与供应商全局本体的映射关系以及供应商局部本体与数据库的映射关系，形成语义层。与现有技术相比，本发明将互联网中供应商数据解析为文本数据和结构化数据，并将二者分别构建供应商局部本体，通过本体映射技术，完成领域本体与局部本体以及局部本体与数据库的映射，实现语义查询，确保查询数据的准确性和高效性。
Description
技术领域
本发明涉及工业数据集成领域，尤其是涉及一种基于本体的供应商数据分析方法及分析系统。
背景技术
随着信息技术的发展，越来越多的数据采用电子化形式存储，以提高数据存储的便捷高效性，同时可以根据这些数据进行后期的分析。
而工业大数据分析的数据量越大，从中分析得到的有效的、有价值的判断就越多。由于工业信息资源具有异质、异构的特征，缺乏统一的数据标准规范，工业数据集成难度较大，因此给数据分析带来了一系列问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于本体的供应商数据分析方法。
本发明的目的可以通过以下技术方案来实现：
一种基于本体的供应商数据分析方法，该方法基于用户分析请求，利用本体语义查询方法在语义层中获得供应商数据，进而获得分析结果，其中，所述语义层的构建具体包括以下步骤：
1)爬取供应商相关Web数据；
2)基于所述供应商相关Web数据构建供应商局部本体；
3)分别建立供应商局部本体与供应商全局本体的映射关系以及供应商局部本体与数据库的映射关系，形成语义层。
进一步地，所述供应商局部本体描述有供应商概念及其关系。
进一步地，所述步骤2)中，构建供应商局部本体具体为：
将所述供应商相关Web数据解析为文本数据和结构化数据，分别基于所述文本数据和结构化数据构建对应的供应商局部本体。
进一步地，基于所述文本数据构建供应商局部本体的过程包括：
A1)使用自然语言处理技术对所述文本数据进行处理；
A2)从步骤A1)获得的数据中抽取概念及概念关系；
A3)根据步骤A2)，利用Jena进行供应商局部本体构建。
进一步地，基于所述结构化数据构建供应商局部本体的过程包括：
利用D2RQ映射引擎将结构化数据转换为RDF格式数据，构建供应商局部本体。
进一步地，所述供应商局部本体与供应商全局本体的映射规则包括：
如果2个类有相同的父类和子类，那么2个类可能相同；
如果2个类有相同的实例或相同的属性，那么2个类可能相同；
如果2个属性存在相同的定义域和值域，那么这2个属性可能相同；
如果2个属性的父属性或子属性相同，那么这2个属性可能相同。
进一步地，所述供应商局部本体与数据库的映射规则包括：
局部本体中的概念对应到关系数据库中表名；
局部本体中的属性与关系数据库中的属性列相对性；
将局部本体中的关系对应到关系数据库中外键。
本发明还提供一种基于本体的供应商数据分析系统，包括：
请求获取模块，用于获取用户分析请求；
算法调用模块，用于根据所述用户分析请求调用相应的供应商数据分析算法；
查询模块，用于根据所述供应商数据分析算法，利用本体语义查询方法在语义层中查询获得所需的供应商数据；
数据调用模块，用于根据所述查询模块的查询结果在存储层进行所需供应商数据调用；
分析模块，用于根据所述供应商数据分析算法和供应商数据获得分析结果并输出；
所述语义层具有供应商局部本体与供应商全局本体的映射关系以及供应商局部本体与数据库的映射关系。
与现有技术相比，本发明将本体引入到供应商数据分析中，确保了供应商数据的语义统一，保障了对多源异构的供应商数据分析准确性，具有以如下有益效果：
1)本发明将供应商Web数据解析为文本数据以及结构化数据，并分别构建供应商局部本体，通过建立已有的供应商领域本体与供应商局部本体以及供应商局部本体与数据库的映射规则作为语义层，支持供应商数据的语义查询，同时能够为供应商数据分析提供数据。
2)本发明通过本体来实现语义的查询，解决了工业大数据多源异构等导致的信息孤岛问题。本体可实现形式化地描述概念，从而作为语义的共享模型，为语义集成提供重要的技术支持。
3)本发明供应商数据解析为文本数据以及结构化数据，按不同方式构建相应的供应商局部本体，全面可靠。
4)本发明构建语义层，提供了数据分析的语义查询转换功能，且语义层的构建，考虑特定映射规则，方便可靠地实现供应商局部本体与已有领域本体以及数据库的映射工作。
5)本发明在方法层面与技术层面为供应商数据分析提供解决方案，为供应商选择提供意见。
附图说明
图1为爬取的供应商文本类型数据实例；
图2为爬取的供应商结构化数据实例；
图3为基于文本构建供应商本体的流程示意图；
图4为基于结构化数据构建供应商本体的流程示意图；
图5为查询过程示意图；
图6为基于本体的供应商数据分析流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图6所示，本实施例提供一种基于本体的供应商数据分析方法，该方法基于用户分析请求，利用本体语义查询方法在语义层中获得供应商数据，进而获得分析结果。其中，语义层的构建具体包括：
步骤1：爬取供应商相关Web数据。
步骤2：基于供应商相关Web数据构建供应商局部本体，具体为：
将供应商相关Web数据解析为文本数据和结构化数据，分别基于文本数据和结构化数据构建对应的供应商局部本体。如图1所示，Web数据中关于供应商的相关简介内容为可以存储为文本数据。结构化数据如图2所示，有一定的表格格式可以转化为结构化数据进行存储。
供应商局部本体描述有供应商概念及其关系。供应商概念涵盖了供应商信息、产品信息、法人代表等。
如图3所示，基于文本数据构建供应商局部本体的过程包括：
A1)使用自然语言处理技术对文本数据进行处理，包括分词、词性标注以及停用词过滤，为接下来的本体概念抽取以及概念关系抽取做准备。
A2)从步骤A1)获得的数据中抽取概念及概念关系。
概念抽取：采用基于规则和统计的方法抽取概念，首先利用词法及句法建立规则，实现对多词短语的抽取，然后使用改进的TF-IDF算法来对概念进行过滤。
关系抽取：概念关系包括分类关系和非分类关系，采用基于规则的方法抽取分类关系，同时采用关联规则及依存句法分析来进行非分类关系抽取。
A3)根据步骤A2)，利用Jena进行供应商局部本体构建，基于Protégé可视化本体。
如图4所示，基于结构化数据构建供应商局部本体的过程包括：
利用D2RQ映射引擎将结构化数据转换为RDF格式数据，构建供应商局部本体。
步骤3：分别建立供应商局部本体与供应商全局本体的映射关系以及供应商局部本体与数据库的映射关系，形成语义层。本体映射是利用映射规则，完成供应商局部本体与已有领域本体以及数据库的映射工作。
供应商局部本体与供应商全局本体的映射规则包括：
如果2个类有相同的父类和子类，那么2个类可能相同；
如果2个类有相同的实例或相同的属性，那么2个类可能相同；
如果2个属性存在相同的定义域和值域，那么这2个属性可能相同；
如果2个属性的父属性或子属性相同，那么这2个属性可能相同。
供应商局部本体与数据库的映射规则包括：
局部本体中的概念对应到关系数据库中表名；
局部本体中的属性与关系数据库中的属性列相对性；
将局部本体中的关系对应到关系数据库中外键。
基于上述供应商数据分析方法，本实施例可提供一种供应商数据分析系统，包括：
请求获取模块，用于获取用户分析请求；
算法调用模块，用于根据用户分析请求调用相应的供应商数据分析算法；
查询模块，用于根据供应商数据分析算法，利用本体语义查询方法在语义层中查询获得所需的供应商数据；
数据调用模块，用于根据查询模块的查询结果在存储层进行所需供应商数据调用；
分析模块，用于根据供应商数据分析算法和供应商数据获得分析结果并输出，反馈给用户。
查询模块的查询过程如图5所示，具体为：
B1)根据算法提交查询请求，查询生成器将查询请求包装成全局的查询语句，并对Sparql语句进行必要的参数转换。
B2)将封装好的Sparql语句提交到查询分解器，查询分解器将根据局部本体和领域本体的映射关系，以及局部本体和数据源的映射关系，将Sparql语句分解为对应不同数据源的子查询语句，并将接收的子查询相关参数改写为局部数据库中参数，将子查询语句转化为相应数据库的查询语言。
B3)通过修改后的子查询语句对不同的底层数据源进行访问。
B4)数据库将返回访问得到的结果到整合查询模块中。
B5)查询模块将结果按照要求合并处理后返回。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种基于本体的供应商数据分析方法，其特征在于，该方法基于用户分析请求，利用本体语义查询方法在语义层中获得供应商数据，进而获得分析结果，其中，所述语义层的构建具体包括以下步骤：
1)爬取供应商相关Web数据；
2)基于所述供应商相关Web数据构建供应商局部本体；
3)分别建立供应商局部本体与供应商全局本体的映射关系以及供应商局部本体与数据库的映射关系，形成语义层。
2.根据权利要求1所述的基于本体的供应商数据分析方法，其特征在于，所述供应商局部本体描述有供应商概念及其关系。
3.根据权利要求1所述的基于本体的供应商数据分析方法，其特征在于，所述步骤2)中，构建供应商局部本体具体为：
将所述供应商相关Web数据解析为文本数据和结构化数据，分别基于所述文本数据和结构化数据构建对应的供应商局部本体。
4.根据权利要求3所述的基于本体的供应商数据分析方法，其特征在于，基于所述文本数据构建供应商局部本体的过程包括：
A1)使用自然语言处理技术对所述文本数据进行处理；
A2)从步骤A1)获得的数据中抽取概念及概念关系；
A3)根据步骤A2)，利用Jena进行供应商局部本体构建。
5.根据权利要求3所述的基于本体的供应商数据分析方法，其特征在于，基于所述结构化数据构建供应商局部本体的过程包括：
利用D2RQ映射引擎将结构化数据转换为RDF格式数据，构建供应商局部本体。
6.根据权利要求1所述的基于本体的供应商数据分析方法，其特征在于，所述供应商局部本体与供应商全局本体的映射规则包括：
如果2个类有相同的父类和子类，那么2个类可能相同；
如果2个类有相同的实例或相同的属性，那么2个类可能相同；
如果2个属性存在相同的定义域和值域，那么这2个属性可能相同；
如果2个属性的父属性或子属性相同，那么这2个属性可能相同。
7.根据权利要求1所述的基于本体的供应商数据分析方法，其特征在于，所述供应商局部本体与数据库的映射规则包括：
局部本体中的概念对应到关系数据库中表名；
局部本体中的属性与关系数据库中的属性列相对性；
将局部本体中的关系对应到关系数据库中外键。
8.一种基于本体的供应商数据分析系统，其特征在于，包括：
请求获取模块，用于获取用户分析请求；
算法调用模块，用于根据所述用户分析请求调用相应的供应商数据分析算法；
查询模块，用于根据所述供应商数据分析算法，利用本体语义查询方法在语义层中查询获得所需的供应商数据；
数据调用模块，用于根据所述查询模块的查询结果在存储层进行所需供应商数据调用；
分析模块，用于根据所述供应商数据分析算法和供应商数据获得分析结果并输出；
所述语义层具有供应商局部本体与供应商全局本体的映射关系以及供应商局部本体与数据库的映射关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811252063.0A CN109597925A (zh) | 2018-10-25 | 2018-10-25 | 一种基于本体的供应商数据分析方法及分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811252063.0A CN109597925A (zh) | 2018-10-25 | 2018-10-25 | 一种基于本体的供应商数据分析方法及分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109597925A true CN109597925A (zh) | 2019-04-09 |
Family
ID=65958656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811252063.0A Pending CN109597925A (zh) | 2018-10-25 | 2018-10-25 | 一种基于本体的供应商数据分析方法及分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109597925A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175197A (zh) * | 2019-05-23 | 2019-08-27 | 长沙学院 | 一种基于语义物联网的本体构建方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102385635A (zh) * | 2011-12-14 | 2012-03-21 | 湖南科技大学 | 一种基于本体模式的异构数据集成方法 |
| CN102542027A (zh) * | 2011-12-22 | 2012-07-04 | 北京航空航天大学深圳研究院 | 一种基于关系模式学习本体的数据集成系统的构建方法 |
| CN102682122A (zh) * | 2012-05-15 | 2012-09-19 | 北京科技大学 | 基于本体构建材料科学领域语义数据模型的方法 |
| CN103942234A (zh) * | 2013-01-21 | 2014-07-23 | 中国电信股份有限公司 | 对多个异构数据库操作的方法、中间件装置及系统 |
| CN104182454A (zh) * | 2014-07-04 | 2014-12-03 | 重庆科技学院 | 基于领域本体构建的多源异构数据语义集成的模型及方法 |
| CN106372145A (zh) * | 2016-08-29 | 2017-02-01 | 国家超级计算深圳中心(深圳云计算中心) | 一种大数据环境下基于本体语义的查询方法及系统 |
| CN107978341A (zh) * | 2017-12-22 | 2018-05-01 | 南京昂特医信数据技术有限公司 | 一种基于语境的医学语义框架下的异构数据适配方法及其系统 |
-
2018
- 2018-10-25 CN CN201811252063.0A patent/CN109597925A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102385635A (zh) * | 2011-12-14 | 2012-03-21 | 湖南科技大学 | 一种基于本体模式的异构数据集成方法 |
| CN102542027A (zh) * | 2011-12-22 | 2012-07-04 | 北京航空航天大学深圳研究院 | 一种基于关系模式学习本体的数据集成系统的构建方法 |
| CN102682122A (zh) * | 2012-05-15 | 2012-09-19 | 北京科技大学 | 基于本体构建材料科学领域语义数据模型的方法 |
| CN103942234A (zh) * | 2013-01-21 | 2014-07-23 | 中国电信股份有限公司 | 对多个异构数据库操作的方法、中间件装置及系统 |
| CN104182454A (zh) * | 2014-07-04 | 2014-12-03 | 重庆科技学院 | 基于领域本体构建的多源异构数据语义集成的模型及方法 |
| CN106372145A (zh) * | 2016-08-29 | 2017-02-01 | 国家超级计算深圳中心(深圳云计算中心) | 一种大数据环境下基于本体语义的查询方法及系统 |
| CN107978341A (zh) * | 2017-12-22 | 2018-05-01 | 南京昂特医信数据技术有限公司 | 一种基于语境的医学语义框架下的异构数据适配方法及其系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张德海等: "基于本体的电力系统异构数据查询机制", 《云南民族大学学报：自然科学版》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175197A (zh) * | 2019-05-23 | 2019-08-27 | 长沙学院 | 一种基于语义物联网的本体构建方法和系统 |
| CN110175197B (zh) * | 2019-05-23 | 2021-03-23 | 长沙学院 | 一种基于语义物联网的本体构建方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582691B (zh) | 用于控制数据查询的方法和装置 | |
| Hwang | Incompletely and imprecisely speaking: using dynamic ontologies for representing and retrieving information. | |
| CN109657072B (zh) | 一种应用于政府辅助决策的智能搜索web系统及方法 | |
| Bedini et al. | Deriving ontologies from XML schema | |
| CN111198898B (zh) | 大数据查询方法及大数据查询装置 | |
| Lin et al. | OWL Ontology Extraction from Relational Databases via Database Reverse Engineering. | |
| CN114528312A (zh) | 一种结构化查询语言语句的生成方法和装置 | |
| CN109597925A (zh) | 一种基于本体的供应商数据分析方法及分析系统 | |
| Embley et al. | Conceptual modeling foundations for a web of knowledge | |
| Bozic et al. | KnowText: Auto-generated Knowledge Graphs for custom domain applications | |
| Avogadro et al. | LamAPI: a comprehensive tool for string-based entity retrieval with type-base filters. | |
| Corby et al. | Ontology-based approximate query processing for searching the semantic web with corese | |
| Kienast et al. | Semantic data integration on biomedical data using semantic web technologies | |
| Iqbal et al. | A Negation Query Engine for Complex Query Transformations | |
| Hakeem | Layered software patterns for data analysis in big data environment | |
| Raimbault | Overviewing the RDF (S) semantic web | |
| English | An extensible schema for building large weakly-labeled semantic corpora | |
| Saraswathi et al. | Design of dynamically updated automatic ontology for mobile phone information retrieval system | |
| Oruç | A semantic Question Answering through Heterogeneous data source in the domain of smart factory | |
| Saranya et al. | An ontological approach for originating data services with hazy semantics | |
| Lee et al. | GOMS: Large‐scale ontology management system using graph databases | |
| Novello et al. | Empowering Natural Language Interfaces to Databases with Aggregations | |
| Gupta et al. | An analysis of SPARQL usage for information retrieval in heterogeneous domains through various tools | |
| Gao et al. | Ontology-based enterprise information retrieval model | |
| Kanakam et al. | HPL Algorithm For Semantic Information Retrieval with RDF And SPARQL |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190409 |