CN107908640A - 一种业务实体关系智能探索引擎实现方法 - Google Patents

一种业务实体关系智能探索引擎实现方法 Download PDF

Info

Publication number
CN107908640A
CN107908640A CN201710888369.4A CN201710888369A CN107908640A CN 107908640 A CN107908640 A CN 107908640A CN 201710888369 A CN201710888369 A CN 201710888369A CN 107908640 A CN107908640 A CN 107908640A
Authority
CN
China
Prior art keywords
entity
business
data
business entity
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710888369.4A
Other languages
English (en)
Inventor
张帆
祝春捷
潘坚跃
陈超
夏霖
陈晨
李雅
泮莉莎
施婧
孔晓杭
雷云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Zhejiang Electric Power Co Ltd
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Zhejiang Electric Power Co Ltd
Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Zhejiang Electric Power Co Ltd, Hangzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201710888369.4A priority Critical patent/CN107908640A/zh
Publication of CN107908640A publication Critical patent/CN107908640A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明针对现有技术的不足，提供一种业务实体关系智能探索引擎实现方法，在业务实体过程中对业务之间进行关联，当业务出现问题时能快速理顺流程，找到问题所在。本发明是通过以下技术方案使上述技术问题得以解决：一种业务实体关系智能探索引擎实现方法，包括以下步骤：步骤1：梳理业务实体；步骤2.进行业务实体归一；步骤3.生成企业业务实体视图进行输出。本发明的有益效果：通过梳理业务实体间关联规则，开发业务实体关系智能探索引擎，帮助业务终端用户快速、深入的了解业务流程、业务实体、业务规则、业务关系以及跨业务实体间衔接关系，业务实体与数据间对应关系，有效建立业务与数据的关联关系，有效提升业务和数据需求解析能力。

Description

一种业务实体关系智能探索引擎实现方法
技术领域
本发明涉及一种探索引擎，尤其是涉及一种一种业务实体关系智能探索引擎实现方法。
背景技术
随着大数据的发展，大型企业也开始制作企业数据资产相关业务。实际上企业数据资产数据在工作过程中帮助业务终端用户快速、深入的了解业务流程、业务实体、业务规则、业务关系以及跨业务实体间衔接关系，业务实体与数据间对应关系，有效建立业务与数据的关联关系，有效提升业务和数据需求解析能力，发挥企业数据资产价值。但是在数据资产数据库建立的过程中，有可能会发生数据录入错误等问题，导致数据和业务实体无法挂钩。有一些不常用的业务实体可能要在后期才能发现问题所在，此时由于整体业务中的相互关系，导致牵一发而动全身，要更正问题都非常麻烦。
申请号：201410394069.7的发明专利《一种基于元模型拓扑的网管数据处理可视化监控方法》中公开了一种基于元模型拓扑的网管数据处理可视化监控方法，内容包括：1)通过抽取网管系统数据处理过程中涉及对象、任务的数据模型与关联，梳理网管系统涉及的IT设备模型与连接，以对象、任务与设备的归属关系为切合点，生成两级嵌套的、端到端的数据处理拓扑；2)通过检测设备运行状况、网络连通性、任务处理进程，解析任务处理日志、分析数据有效性手段，实时输出检测结果并附着于数据处理拓扑的各类对象，实现网管实时数据处理过程的直观、有效的监控手段，协助网管维护人员，实现事前问题预防、事后影响性评估与原因溯源。
这样的监控虽然比较到位，但是有时候对于稳定的业务进行连续的观察管理造成了管理资源的浪费，整体维护的消耗较大。
发明内容
本发明针对现有技术的不足，提供一种业务实体关系智能探索引擎实现方法，在业务实体过程中对业务之间进行关联，当业务出现问题时能快速理顺流程，找到问题所在，同时针对疑似易出问题的业务进行标注，提高业务的稳定性。最终处理的流程通过图像化显示。
本发明是通过以下技术方案使上述技术问题得以解决：一种业务实体关系智能探索引擎实现方法，包括以下步骤：
步骤1：梳理业务实体，业务实体代表真实世界中物资对象，每个实体用一个全局唯一确定的ID来标识；由业务人员定义目前业务上存在的业务实体，并在系统中创建该唯一业务实体，定义其属性；
步骤2.进行业务实体归一，识别业务实体间关联关系实体归一是在发现具有不同ID但却代表真实的异构数据源、信息源的业务模型中同一对象的那些数据实体，并将这些数据实体智能归并为一个具有全局唯一标识的业务实体；同时通过数据实体间的数据关联关系，自动生成业务实体间的关联关系；
步骤3.生成企业业务实体视图进行输出，通过主动监测数据表间主外键关联关系发现数据实体间的关联关系，并通过数据实体和业务实体间的关联关系动态生成业务实体间关联关系图。
优选的，业务人员定义目前业务上存在的业务实体前先收集总体业务类型，并且制作清单，所述清单中留出后续添加的业务类型ID。这样的结构避免业务增加后无法在系统中扩展的问题。
优选的，所述业务实体智能归一方法具体表现为：通过聚类算法定义合适的相似度度量，将具有相同描述的数据实体，具有相同属性的数据实体进行智能归一，对应到一个统一的业务实体；其具体步骤包括：
(1)数据实体定位：在技术人员的配合下初步定梳理并定位到该业务实体存在哪些系统、哪些数据表中，并初步建立业务实体与数据实体对应关系；
(2)生成数据集
智能探索引擎自动采集系统中其他数据表中各数据项的单值信息，并排除字段类型为数值类型的数据项，生成数据项详细信息数据集；
(3)业务实体归一
系统将字段名和字段值作为输入参数，通过聚类分析算法，自定判断具有字段值相同或类似的数据实体为同一的业务实体。
通过这样的方案使得业务实体之间不是简单的集合，而是相互之间带有关联的存在，提高了出现问题后的纠偏能力以及整体系统的稳定性。
优选的，所述数值类型包括浮点型和整型。在没有新的数值类型前，仅仅采用这两种数值类型，以保持整体数据的一致性，减少后期出现问题的可能。
优选的，所述方法通过python环境实现。Python作为一个较为成熟的平台，使用起来较为稳定，能持续支持本发明的实现。
本发明的有益效果：通过梳理业务实体间关联规则，开发业务实体关系智能探索引擎，固化贝叶斯分析、逻辑回归及聚类分析等常用数据挖掘分析算法，使用业务实体关系智能探索引擎动态的感知各业务系统中存在的业务实体以及业务实体间的关联关系，并生成企业业务实体视图，帮助业务终端用户快速、深入的了解业务流程、业务实体、业务规则、业务关系以及跨业务实体间衔接关系，业务实体与数据间对应关系，有效建立业务与数据的关联关系，有效提升业务和数据需求解析能力，解决了出现业务问题时修复困难，治标不治本的问题。
具体实施方式
为了方便理解本发明，下面通过本发明业务实体关系智能探索引擎的较佳的实施例对本发明进行详细的描述。
在一个系统中，首先需要梳理业务实体
业务实体是代表真实世界中某个对象。每个实体用一个全局唯一确定的ID来标识。首先由业务人员定义目前业务上存在的业务实体，并在系统中创建该唯一业务实体，定义其属性。
2.通过智能探索引擎进行业务实体归一，识别业务实体间关联关系
实体归一是在发现具有不同ID但却代表真实的异构数据源、信息源的业务模型中同一对象的那些数据实体，并将这些数据实体智能归并为一个具有全局唯一标识的业务实体。同时通过数据实体间的数据关联关系，自动生成业务实体间的关联关系。
业务实体智能归一方法：
通过聚类算法定义合适的相似度度量，将具有相同描述的数据实体，具有相同属性的数据实体进行智能归一，对应到一个统一的业务实体。
(1)数据实体定位：在技术人员的配合下初步定梳理并定位到该业务实体存在哪些系统、哪些数据表中，并初步建立业务实体与数据实体对应关系。
例如业务人员梳理了业务实体“采购订单”，并判断该业务实体存在与ERP系统的数据表EBAN中。如下表所示EBAN表字段示例。
字段名 字段描述 字段类型
Ebeln 采购订单号 字符串
Ebelp 采购订单行项目 字符串
menge 采购数量 浮点型
erdat 订单日期 字符串
在此基础上定义了数据实体“采购订单”，
(2)生成数据集
智能探索引擎自动采集系统中其他数据表中各数据项的单值信息，并排除字段类型为数值类型(浮点型和整型)的数据项，生成数据项详细信息数据集。数据集示例
(3)业务实体归一
系统将字段名和字段值作为输入参数，通过聚类分析算法，自定判断具有相同属性(即字段值相同或类似)的数据实体为同一的业务实体。
在本例中，基于智能探索引擎对数据集的分析发现，表eban的字段ebeln和表ebkn的字段cobjnr代表的是同一个业务实体“采购订单”，实现了业务实体的归一。这样，一旦其中的业务实体出现故障，可以通过智能探索引擎找到实际的问题所在，进行修改和弥补。通过这样的关系梳理，在业务出现故障时能快速找到和故障相关的关键字组合，可以根除各种问题。
3.生成企业业务实体视图
智能探索引擎通过主动监测数据表间主外键关联关系发现数据实体间的关联关系，并通过数据实体和业务实体间的关联关系动态生成业务实体间关联关系。这些检索结果最终通过图像显示，无论是新老员工的业务交接，还是领导进行检测，都能非常直观的看见。
其中需要提出的是，在数据处理过程中固化贝叶斯分析、逻辑回归及聚类分析这些都是常用的数据挖掘分析算法，因此并未在文字详细描述，但是这样不影响本发明的具体实施。本领域技术人员能根据自身的经验实现本发明。
本发明所使用的若干技术术语仅仅是为了便于描述，并不构成对本发明的限制，本发明不局限于以上所述的较佳的实施方式，基于本技术领域的技术人员所能够获知的公知技术或者采用现有技术中所能够等效替换的各种变形及更改的实施方式，凡是基于本发明的精神或者技术构思，均应包含在本发明的保护范围之内。

Claims (5)

1.一种业务实体关系智能探索引擎实现方法，其特征在于，包括以下步骤：
步骤1：梳理业务实体，业务实体代表真实世界中物资对象，每个实体用一个全局唯一确定的ID来标识；由业务人员定义目前业务上存在的业务实体，并在系统中创建该唯一业务实体，定义其属性；
步骤2.进行业务实体归一，识别业务实体间关联关系实体归一是在发现具有不同ID但却代表真实的异构数据源、信息源的业务模型中同一对象的那些数据实体，并将这些数据实体智能归并为一个具有全局唯一标识的业务实体；同时通过数据实体间的数据关联关系，自动生成业务实体间的关联关系；
步骤3.生成企业业务实体视图进行输出，通过主动监测数据表间主外键关联关系发现数据实体间的关联关系，并通过数据实体和业务实体间的关联关系动态生成业务实体间关联关系图。
2.根据权利要求1所述的一种业务实体关系智能探索引擎实现方法，其特征是：业务人员定义目前业务上存在的业务实体前先收集总体业务类型，并且制作清单，所述清单中留出后续添加的业务类型ID。
3.根据权利要求1所述的一种业务实体关系智能探索引擎实现方法，其特征是：所述业务实体智能归一方法具体表现为：通过聚类算法定义合适的相似度度量，将具有相同描述的数据实体，具有相同属性的数据实体进行智能归一，对应到一个统一的业务实体；其具体步骤包括：
(1)数据实体定位：在技术人员的配合下初步定梳理并定位到该业务实体存在哪些系统、哪些数据表中，并初步建立业务实体与数据实体对应关系；
(2)生成数据集
智能探索引擎自动采集系统中其他数据表中各数据项的单值信息，并排除字段类型为数值类型的数据项，生成数据项详细信息数据集；
(3)业务实体归一
系统将字段名和字段值作为输入参数，通过聚类分析算法，自定判断具有字段值相同或类似的数据实体为同一的业务实体。
4.根据权利要求3所述的一种业务实体关系智能探索引擎实现方法，其特征是：所述数值类型包括浮点型和整型。
5.根据权利要求1所述的一种业务实体关系智能探索引擎实现方法，其特征是：所述方法通过python环境实现。
CN201710888369.4A 2017-09-27 2017-09-27 一种业务实体关系智能探索引擎实现方法 Pending CN107908640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710888369.4A CN107908640A (zh) 2017-09-27 2017-09-27 一种业务实体关系智能探索引擎实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710888369.4A CN107908640A (zh) 2017-09-27 2017-09-27 一种业务实体关系智能探索引擎实现方法

Publications (1)

Publication Number Publication Date
CN107908640A true CN107908640A (zh) 2018-04-13

Family

ID=61841039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710888369.4A Pending CN107908640A (zh) 2017-09-27 2017-09-27 一种业务实体关系智能探索引擎实现方法

Country Status (1)

Country Link
CN (1) CN107908640A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120453A (zh) * 2018-08-31 2019-01-01 上海新炬网络信息技术股份有限公司 一种全局展现cmdb中it基础架构数据的方法
CN110928922A (zh) * 2019-11-27 2020-03-27 开普云信息科技股份有限公司 一种基于大数据挖掘的公共政策分析模型部署方法及其系统
CN112396349A (zh) * 2020-12-07 2021-02-23 国网物资有限公司 一种基于业务实体的数据质量监控方法
CN115185982A (zh) * 2022-09-14 2022-10-14 浩鲸云计算科技股份有限公司 一种基于数据集编排的数据准备方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067814A (zh) * 2007-05-10 2007-11-07 浪潮集团山东通用软件有限公司 数据访问层Xml格式数据与关系数据间的映射转换方法
CN101075304A (zh) * 2006-05-18 2007-11-21 河北全通通信有限公司 电信行业基于数据仓库的决策支持系统的构造方法
CN102376029A (zh) * 2010-08-27 2012-03-14 上海宝信软件股份有限公司 一种供决策分析用的信息对象模型架构装置及方法
CN103546312A (zh) * 2013-08-27 2014-01-29 中国航天科工集团第二研究院七〇六所 一种海量多源异构日志关联分析方法
CN103886398A (zh) * 2012-12-20 2014-06-25 中国电信股份有限公司 一种跨系统异构环境下的业务监控方法和系统
CN104820661A (zh) * 2015-05-11 2015-08-05 苏州国云数据科技有限公司 一种基于业务对象的探索式数据分析系统
US20170111225A1 (en) * 2015-10-16 2017-04-20 Dell Products L.P. Design validation using natural language processing
CN106685707A (zh) * 2016-12-15 2017-05-17 华南师范大学 一种分布式基础设施系统中的资产信息控制方法
CN106777970A (zh) * 2016-12-15 2017-05-31 北京锐软科技股份有限公司 一种医疗信息系统数据模板化的集成系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075304A (zh) * 2006-05-18 2007-11-21 河北全通通信有限公司 电信行业基于数据仓库的决策支持系统的构造方法
CN101067814A (zh) * 2007-05-10 2007-11-07 浪潮集团山东通用软件有限公司 数据访问层Xml格式数据与关系数据间的映射转换方法
CN102376029A (zh) * 2010-08-27 2012-03-14 上海宝信软件股份有限公司 一种供决策分析用的信息对象模型架构装置及方法
CN103886398A (zh) * 2012-12-20 2014-06-25 中国电信股份有限公司 一种跨系统异构环境下的业务监控方法和系统
CN103546312A (zh) * 2013-08-27 2014-01-29 中国航天科工集团第二研究院七〇六所 一种海量多源异构日志关联分析方法
CN104820661A (zh) * 2015-05-11 2015-08-05 苏州国云数据科技有限公司 一种基于业务对象的探索式数据分析系统
US20170111225A1 (en) * 2015-10-16 2017-04-20 Dell Products L.P. Design validation using natural language processing
CN106685707A (zh) * 2016-12-15 2017-05-17 华南师范大学 一种分布式基础设施系统中的资产信息控制方法
CN106777970A (zh) * 2016-12-15 2017-05-31 北京锐软科技股份有限公司 一种医疗信息系统数据模板化的集成系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120453A (zh) * 2018-08-31 2019-01-01 上海新炬网络信息技术股份有限公司 一种全局展现cmdb中it基础架构数据的方法
CN109120453B (zh) * 2018-08-31 2021-04-23 上海新炬网络信息技术股份有限公司 一种全局展现cmdb中it基础架构数据的方法
CN110928922A (zh) * 2019-11-27 2020-03-27 开普云信息科技股份有限公司 一种基于大数据挖掘的公共政策分析模型部署方法及其系统
CN112396349A (zh) * 2020-12-07 2021-02-23 国网物资有限公司 一种基于业务实体的数据质量监控方法
CN115185982A (zh) * 2022-09-14 2022-10-14 浩鲸云计算科技股份有限公司 一种基于数据集编排的数据准备方法及系统

Similar Documents

Publication Publication Date Title
CN107908640A (zh) 一种业务实体关系智能探索引擎实现方法
León et al. Integrated expert system applied to the analysis of non-technical losses in power utilities
WO2018036239A1 (zh) 基于行业知识图谱数据库对互联网媒体事件进行监测的方法、装置和系统
Wang et al. Improving workplace hazard identification performance using data mining
CN104809933B (zh) 一种电网无脚本应急演练系统、演练方法及设备
CN111078897A (zh) 一种生成六维知识图谱的系统
CN104615658A (zh) 一种确定用户身份的方法
CN107391365A (zh) 一种面向软件缺陷预测的混合特征选择方法
CN113095524A (zh) 电力设备检修工作单据智能生成方法、系统及存储介质
Sharma et al. Analysis of supply chain vulnerability factors in manufacturing enterprises: a fuzzy DEMATEL approach
CN106126694A (zh) 一种污染地修复决策支持与在线评估平台的构建方法
Rachman et al. Implementation of lean knowledge work in oil and gas industry-A case study from a Risk-Based Inspection project
Eskandari et al. Offering a preventive solution to defects in commercial building facility system using BIM
CN111680027A (zh) 基于知识驱动实现智能云管理的方法及其系统
CN111177398A (zh) 一种组织架构更新方法及装置
CN109993363A (zh) 一种基于人工智能的自动化告警预测方法
CN112416918A (zh) 数据治理系统及其工作方法
CN116859842A (zh) 一种化工生产线安全评估系统
CN107832408B (zh) 一种基于数据标签及熵权法的电网缺陷推荐方法
CN110851519A (zh) 基于nlp自然语言通过etl工具进行数据处理的方法
Sakai et al. A proposal of a privacy-preserving questionnaire by non-deterministic information and its analysis
CN106021401A (zh) 可扩展的基于倒排索引的实体解析算法
CN109597852A (zh) 一种电网资源信息识别方法
Yousaf et al. Analysing which factors are of influence in predicting the employee turnover
Min et al. Ontology-driven tunnel construction information retrieval and extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413

RJ01 Rejection of invention patent application after publication