CN109284832A - 一种基于马尔科夫逻辑网的统计关系学习方法与系统 - Google Patents
一种基于马尔科夫逻辑网的统计关系学习方法与系统 Download PDFInfo
- Publication number
- CN109284832A CN109284832A CN201811093556.4A CN201811093556A CN109284832A CN 109284832 A CN109284832 A CN 109284832A CN 201811093556 A CN201811093556 A CN 201811093556A CN 109284832 A CN109284832 A CN 109284832A
- Authority
- CN
- China
- Prior art keywords
- data
- statistical
- module
- markov logic
- logic networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开的属于统计关系学习技术领域，具体为一种基于马尔科夫逻辑网的统计关系学习方法与系统，该大数据驱动的基于马尔科夫逻辑网的统计关系学习方法包括如下步骤：S1：数据采集；S2：数据解析；S3：数据汇总；S4：建立模型；S5：结果展示，一种基于马尔科夫逻辑网的统计关系学习系统，包括数据采集模块，所述数据采集模块的输出端电性连接关系数据库的输入端，所述数据处理模块包括实体解析模块、二义性区分模块和二次实体解析模块，该基于大数据平台和马尔科夫逻辑网作为统计学习关系的统一框架，实现对数据的高度处理，进行统计学习与关系学习的结合，具有良好的应用前景。
Description
技术领域
本发明涉及统计关系学习技术领域，具体为一种基于马尔科夫逻辑网的统计关系学习方法与系统。
背景技术
统计关系学习是1998年左右出现的一个新的研究领域，它集关系表示、似然推理和机器学习于一体，目的是获取数据中似然模型，统一框架至今为止，虽然已经提出大量的统计关系学习模型，但统计关系所研究的问题和所用的方法的多样性使人们难以认识它们的本质，缺乏对不同方法的优缺点，以及它们之间关系的比较研究，使一个应用中的新方法很难在其他应用中被使用。为此，我们提出一种基于马尔科夫逻辑网的统计关系学习方法与系统。
发明内容
本发明的目的在于提供一种基于马尔科夫逻辑网的统计关系学习方法与系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于马尔科夫逻辑网的统计关系学习方法，该大数据驱动的基于马尔科夫逻辑网的统计关系学习方法包括如下步骤：
S1：数据采集：通过多个数据库实现学习数据的采集，并通过数据库实现对的数据的解析和推理；
S2：数据解析：将采集的数据进行实体解析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述；
S3：数据汇总：将解析后的数据进行汇总，然后导入训练集，输入规则进行权重学习；
S4：建立模型：建立马尔科夫逻辑网模型，并通过建立的模型实现对统计关系的学习；
S5：结果展示：通过大数据平台实现对学习结果的结果的展示，并实现平台内的数据与外部数据的交互。
优选的，所述步骤S1中数据库为关系数据库，所述关系数据库实现对数据的预处理，包括提取数据记录、形式化数据记录格式和修改增加删除数据记录。
优选的，所述步骤S2中数据解析还包括对数据的二义性处理。
优选的，所述步骤S4中马尔科夫逻辑网模型的建立方法为：关系马尔科夫逻辑网为五元组<△，P,Z,A,π>，其中△为定义域集合，定义域D∈△为树形结构，表示状态值的抽象层次，D中每个叶结点表示一个基值；P为关系集合，每个关系的变量为某个定义域D∈△中某结点值；Z为状态值集合，q∈Z为P中一个关系实例，即该关系自变量均取基值；A与π的定义与马尔科夫逻辑网模型中一样，A表示概率转移矩阵，π表示初始概率向量。
一种基于马尔科夫逻辑网的统计关系学习系统，包括数据采集模块，所述数据采集模块的输出端电性连接关系数据库的输入端，所述关系数据库的输出端电性连接大数据平台的输入端，所述大数据平台的分别双向电性连接数据交互模块、数据处理模块和数据建模模块，所述数据处理模块包括实体解析模块、二义性区分模块和二次实体解析模块；
所述数据采集模块实现对数据采集，并将采集的数据传输至所述关系数据库，所述关系数据库实现对数据的预处理，并将预处理后的数据传输至所述大数据平台，通过所述数据处理模块实现对数据的实体解析和二义性处理，通过所述数据建模模块马尔科夫逻辑网模型的建立，并进行统计关系的学习，通过所述数据交互模块实现平台内的数据与外部数据的交互和结果的展示。
与现有技术相比，本发明的有益效果是：该发明提出的一种基于马尔科夫逻辑网的统计关系学习方法与系统，基于大数据平台和马尔科夫逻辑网作为统计学习关系的统一框架，实现对数据的高度处理，进行统计学习与关系学习的结合，具有良好的应用前景。
附图说明
图1为本发明统计关系学习方法流程图；
图2为本发明原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种基于马尔科夫逻辑网的统计关系学习方法，该大数据驱动的基于马尔科夫逻辑网的统计关系学习方法包括如下步骤：
S1：数据采集：通过多个数据库实现学习数据的采集，并通过数据库实现对的数据的解析和推理，数据库为关系数据库，所述关系数据库实现对数据的预处理，包括提取数据记录、形式化数据记录格式和修改增加删除数据记录；
S2：数据解析：将采集的数据进行实体解析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述，数据解析还包括对数据的二义性处理；
S3：数据汇总：将解析后的数据进行汇总，然后导入训练集，输入规则进行权重学习；
S4：建立模型：建立马尔科夫逻辑网模型，并通过建立的模型实现对统计关系的学习，马尔科夫逻辑网模型的建立方法为：关系马尔科夫逻辑网为五元组<△，P,Z,A,π>，其中△为定义域集合，定义域D∈△为树形结构，表示状态值的抽象层次，D中每个叶结点表示一个基值；P为关系集合，每个关系的变量为某个定义域D∈△中某结点值；Z为状态值集合，q∈Z为P中一个关系实例，即该关系自变量均取基值；A与π的定义与马尔科夫逻辑网模型中一样，A表示概率转移矩阵，π表示初始概率向量；
S5：结果展示：通过大数据平台实现对学习结果的结果的展示，并实现平台内的数据与外部数据的交互。
本发明还提供一种基于马尔科夫逻辑网的统计关系学习系统，包括数据采集模块，所述数据采集模块的输出端电性连接关系数据库的输入端，所述关系数据库的输出端电性连接大数据平台的输入端，所述大数据平台的分别双向电性连接数据交互模块、数据处理模块和数据建模模块，所述数据处理模块包括实体解析模块、二义性区分模块和二次实体解析模块；
所述数据采集模块实现对数据采集，并将采集的数据传输至所述关系数据库，所述关系数据库实现对数据的预处理，并将预处理后的数据传输至所述大数据平台，通过所述数据处理模块实现对数据的实体解析和二义性处理，通过所述数据建模模块马尔科夫逻辑网模型的建立，并进行统计关系的学习，通过所述数据交互模块实现平台内的数据与外部数据的交互和结果的展示。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于马尔科夫逻辑网的统计关系学习方法，其特征在于：该大数据驱动的基于马尔科夫逻辑网的统计关系学习方法包括如下步骤：
S1：数据采集：通过多个数据库实现学习数据的采集，并通过数据库实现对的数据的解析和推理；
S2：数据解析：将采集的数据进行实体解析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述；
S3：数据汇总：将解析后的数据进行汇总，然后导入训练集，输入规则进行权重学习；
S4：建立模型：建立马尔科夫逻辑网模型，并通过建立的模型实现对统计关系的学习；
S5：结果展示：通过大数据平台实现对学习结果的结果的展示，并实现平台内的数据与外部数据的交互。
2.根据权利要求1所述的一种基于马尔科夫逻辑网的统计关系学习方法，其特征在于：所述步骤S1中数据库为关系数据库，所述关系数据库实现对数据的预处理，包括提取数据记录、形式化数据记录格式和修改增加删除数据记录。
3.根据权利要求1所述的一种基于马尔科夫逻辑网的统计关系学习方法，其特征在于：所述步骤S2中数据解析还包括对数据的二义性处理。
4.根据权利要求1所述的一种基于马尔科夫逻辑网的统计关系学习方法，其特征在于：所述步骤S4中马尔科夫逻辑网模型的建立方法为：关系马尔科夫逻辑网为五元组<△，P,Z,A,π>，其中△为定义域集合，定义域D∈△为树形结构，表示状态值的抽象层次，D中每个叶结点表示一个基值；P为关系集合，每个关系的变量为某个定义域D∈△中某结点值；Z为状态值集合，q∈Z为P中一个关系实例，即该关系自变量均取基值；A与π的定义与马尔科夫逻辑网模型中一样，A表示概率转移矩阵，π表示初始概率向量。
5.一种基于马尔科夫逻辑网的统计关系学习系统，其特征在于：包括数据采集模块，所述数据采集模块的输出端电性连接关系数据库的输入端，所述关系数据库的输出端电性连接大数据平台的输入端，所述大数据平台的分别双向电性连接数据交互模块、数据处理模块和数据建模模块，所述数据处理模块包括实体解析模块、二义性区分模块和二次实体解析模块；
所述数据采集模块实现对数据采集，并将采集的数据传输至所述关系数据库，所述关系数据库实现对数据的预处理，并将预处理后的数据传输至所述大数据平台，通过所述数据处理模块实现对数据的实体解析和二义性处理，通过所述数据建模模块马尔科夫逻辑网模型的建立，并进行统计关系的学习，通过所述数据交互模块实现平台内的数据与外部数据的交互和结果的展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811093556.4A CN109284832A (zh) | 2018-09-19 | 2018-09-19 | 一种基于马尔科夫逻辑网的统计关系学习方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811093556.4A CN109284832A (zh) | 2018-09-19 | 2018-09-19 | 一种基于马尔科夫逻辑网的统计关系学习方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109284832A true CN109284832A (zh) | 2019-01-29 |
Family
ID=65180868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811093556.4A Pending CN109284832A (zh) | 2018-09-19 | 2018-09-19 | 一种基于马尔科夫逻辑网的统计关系学习方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109284832A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114390057A (zh) * | 2022-01-13 | 2022-04-22 | 南昌工程学院 | Mec环境下基于强化学习的多接口自适应数据卸载方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799567A (zh) * | 2011-05-24 | 2012-11-28 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN104361396A (zh) * | 2014-12-01 | 2015-02-18 | 中国矿业大学 | 基于马尔可夫逻辑网的关联规则迁移学习方法 |
| US20170103013A1 (en) * | 2015-10-09 | 2017-04-13 | The Board Of Trustees Of The University Of Illinois | System and methods for automatically localizing faults |
| CN108268951A (zh) * | 2017-12-05 | 2018-07-10 | 盈盛资讯科技有限公司 | 基于海量数据的知识推理系统的构建方法、系统和装置 |
-
2018
- 2018-09-19 CN CN201811093556.4A patent/CN109284832A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799567A (zh) * | 2011-05-24 | 2012-11-28 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN104361396A (zh) * | 2014-12-01 | 2015-02-18 | 中国矿业大学 | 基于马尔可夫逻辑网的关联规则迁移学习方法 |
| US20170103013A1 (en) * | 2015-10-09 | 2017-04-13 | The Board Of Trustees Of The University Of Illinois | System and methods for automatically localizing faults |
| CN108268951A (zh) * | 2017-12-05 | 2018-07-10 | 盈盛资讯科技有限公司 | 基于海量数据的知识推理系统的构建方法、系统和装置 |
Non-Patent Citations (3)
| Title |
|---|
| 刘祥: "基于马尔科夫逻辑网的领域知识学习与更新技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 楼俊杰 等: "基于马尔科夫逻辑网络的实体解析改进算法", 《计算机科学》 * |
| 闫海蓉: "关系马尔可夫网及其在社会网络中的应用研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114390057A (zh) * | 2022-01-13 | 2022-04-22 | 南昌工程学院 | Mec环境下基于强化学习的多接口自适应数据卸载方法 |
| CN114390057B (zh) * | 2022-01-13 | 2024-04-05 | 南昌工程学院 | Mec环境下基于强化学习的多接口自适应数据卸载方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263280A (zh) | 一种基于多视图的动态链路预测深度模型及应用 | |
| CN109922038A (zh) | 一种用于电力终端的异常数据的检测方法及装置 | |
| CN105631003B (zh) | 支持海量数据分组统计的智能索引构建、查询及维护方法 | |
| CN103116766B (zh) | 一种基于增量神经网络和子图编码的图像分类方法 | |
| CN107038167A (zh) | 基于模型评估的大数据挖掘分析系统及其分析方法 | |
| CN101315663A (zh) | 一种基于区域潜在语义特征的自然场景图像分类方法 | |
| CN103207884B (zh) | 一种加权网络间的权重迭代节点匹配方法 | |
| CN109934375A (zh) | 一种电力负荷预测方法 | |
| CN109190672A (zh) | 电力系统运行工况无监督聚类方法及装置 | |
| CN109299160B (zh) | 一种基于监控大数据挖掘的电力cps安全性分析方法 | |
| CN106850249A (zh) | 基于大数据分析的通信网络预警分析系统 | |
| CN108833376A (zh) | 面向软件定义网络的DoS攻击检测方法 | |
| CN109194498A (zh) | 一种基于lstm的网络流量预测方法 | |
| CN107563220A (zh) | 一种基于计算机的大数据分析控制系统及控制方法 | |
| CN103869192A (zh) | 智能电网线损检测方法和系统 | |
| CN102595102A (zh) | 一种视频结构化存储方法 | |
| CN104778528A (zh) | 利用大数据获取智慧城市评估指标的方法及系统 | |
| CN107154923A (zh) | 一种基于多层极速学习机的网络入侵检测方法 | |
| CN107122500A (zh) | 促进成果转化的科技大数据服务系统和方法 | |
| Xiao et al. | A traffic classification method with spectral clustering in SDN | |
| CN109284832A (zh) | 一种基于马尔科夫逻辑网的统计关系学习方法与系统 | |
| CN107832344A (zh) | 一种基于storm流计算框架的食品安全网络舆情分析方法 | |
| CN106202805B (zh) | 一种开关设备可靠性评价方法 | |
| CN105159922B (zh) | 基于标签传播算法面向寄递数据的并行化社团发现方法 | |
| US11836637B2 (en) | Construction method of human-object-space interaction model based on knowledge graph |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190129 |
|
| RJ01 | Rejection of invention patent application after publication |