CN114548709A - 一种基于贝叶斯网数据赋能企业的智能决策方法及系统 - Google Patents
一种基于贝叶斯网数据赋能企业的智能决策方法及系统 Download PDFInfo
- Publication number
- CN114548709A CN114548709A CN202210115906.2A CN202210115906A CN114548709A CN 114548709 A CN114548709 A CN 114548709A CN 202210115906 A CN202210115906 A CN 202210115906A CN 114548709 A CN114548709 A CN 114548709A
- Authority
- CN
- China
- Prior art keywords
- data
- bayesian network
- algorithm
- storing
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004140 cleaning Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000007726 management method Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000013523 data management Methods 0.000 claims description 9
- 238000009941 weaving Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 230000001364 causal effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P80/00—Climate change mitigation technologies for sector-wide applications
- Y02P80/10—Efficient use of energy, e.g. using compressed air or pressurized fluid as energy carrier
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Probability & Statistics with Applications (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Computational Biology (AREA)
- Technology Law (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种基于贝叶斯网数据赋能企业的智能决策方法及系统，属于人工智能领域。本申请包括：建立数据仓库；采集原始数据并存储于ODS层；清洗原始数据并转换成维度标识数据存储于DWD层；对所述维度标识数据进行打标签生成标签数据并存储于DWS层；将所述标签数据根据业务属性进行组合，生成主题库；根据主题库中的数据进行算法建模，生成贝叶斯网算法模型；采集企业需要分析的目标节点和证据节点的数据，根据贝叶斯网模型的运算生成推理结果；将所述推理结果转换成应用平台能够接受的数据，并存储于ADS层。本发明方案，采用贝叶斯网来表达处理业务关联和因果依赖，利用其擅长的不确定推理，生成符合业务逻辑的知识，并对未知结果进行推理。
Description
技术领域
本申请属于人工智能领域，具体涉及一种基于贝叶斯网数据赋能企业的智能决策方法及系统。
背景技术
算法推理或称算法赋能是利用计算机进行自动或半自动的企业业务深度数据分析推理的过程，算法推理的关键之一是因果推理决策。
然而，企业业务的不确定性是很多场景本身固有的特征。贝叶斯网是不确定性知识的表示和推理的典型工具，已经成功应用到很多领域。
现有数据分析技术主要集中在庞大繁杂架构层面，在AI算法的应用方面主要是基于黑盒人工智能识别层面，对于企业业务垂直决策智能存在巨大的需求漏洞。导致没有数据或少量数据的用户担心数据建设成本太高，而建设了数据治理平台的用户又空有很多数据，却没有合适的算法方案进行有成效的数据算法赋能。
发明内容
为此，本发明提供一种基于贝叶斯网数据赋能企业的智能决策方法，为解决上述问题，本申请采用如下技术方案：
本申请提供一种基于贝叶斯网数据赋能企业的智能决策方法，包括：
建立数据仓库，所述数据仓库分为ODS层、DWD层、DWS层和ADS层；
采集原始数据，将所述原始数据存储于所述ODS层，所述原始数据包括原始日志、数据源、表格、爬虫数据；
清洗所述原始数据并转换成维度标识数据存储于所述DWD层，所述维度标识数据为算法能够识别的数据；
对所述维度标识数据进行打标签生成标签数据并存储于所述DWS层；
将所述标签数据根据业务属性进行组合，生成主题库；
根据主题库中的数据进行算法建模，生成贝叶斯网算法模型；
采集企业需要分析的目标节点和证据节点的数据，根据贝叶斯网模型的运算生成推理结果；所述证据节点为所述贝叶斯网算法模型的输入节点，为做出企业决策前所拥有的已知前置数据；所述目标节点为所述贝叶斯网算法模型的输出节点，为根据模型和所述已知前置数据需要进行企业决策的事件；所述推理结果为在已知前置数据的前提下目标节点发生情况的概率；
将所述推理结果转换成应用平台能够接受的数据，并存储于所述ADS层。
进一步地，在所述清洗所述原始数据并转换成维度标识数据之后，还包括：
根据所述维度标识数据建立知识库；所述知识库用于对所述算法模型的生成进行预先设定。
进一步地，所述根据模型的运算生成推理结果之后，还包括：
将所述推理结果存储于知识库。
进一步地，在所述对所述维度标识数据进行打标签生成标签数据之后，还包括：
建立标签库，将所述标签数据根据标签进行组合，每一个标签建立一个数据表，将所述数据表存储于标签库。
进一步地，还包括：
建立资源库，将所述主题库、所述知识库和所述标签库存储于所述资源库，用于对数据进行统一管理，方便人为检索数据。
进一步地，所述对所述维度标识数据进行打标签，包括：
采集人为手动输入的标签数据；
根据SQL查询并生成标签数据；
根据聚类算法生成标签数据。
进一步地，在所述将所述标签数据根据业务属性进行组合之后，还包括：
采集人为设定的数据，将所述人为设定的数据与算法进行组合，生成新的分析场景，所述新的分析场景用于对所述算法模型的生成进行预先设定。
进一步地，在所述生成算法模型之后，还包括：
采集人为输入的修改数据，根据所述修改数据对所述算法模型进行修改。
本申请提供一种基于贝叶斯网数据赋能企业的智能决策系统，用于执行上述基于贝叶斯网数据赋能企业的智能决策方法，包括：推理赋能模块、数据管理模块、算法管理模块、云平台接口模块；
所述推理赋能模块用于执行贝叶斯网算法模型，生成推理结果；
所述数据管理模块用于数据仓库的管理，存储基于贝叶斯网数据赋能企业的智能决策方法所涉及的全部数据；
所述算法管理模块用于存储基于贝叶斯网数据赋能企业的智能决策方法所涉及到的全部算法；
所述云平台接口模块用于与应用平台相连接，将推理结果发送至应用平台。
进一步地，该系统还包括：能力编织模块；
所述能力编织模块用于采集人为设定的数据，将所述人为设定的数据与算法进行组合，生成新的分析场景。
本申请涉及一种基于贝叶斯网数据赋能企业的智能决策方法及系统，属于人工智能领域。本申请包括：建立数据仓库；采集原始数据并存储于ODS层；清洗原始数据并转换成维度标识数据存储于DWD层；对所述维度标识数据进行打标签生成标签数据并存储于DWS层；将所述标签数据根据业务属性进行组合，生成主题库；根据主题库中的数据进行算法建模，生成贝叶斯网算法模型；采集企业需要分析的目标节点和证据节点的数据，根据贝叶斯网模型的运算生成推理结果；将所述推理结果转换成应用平台能够接受的数据，并存储于ADS层。本发明方案，采用贝叶斯网来表达处理业务关联和因果依赖，利用其擅长的不确定推理，生成符合业务逻辑的知识，并对未知结果进行推理。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种基于贝叶斯网数据赋能企业的智能决策方法步骤示意图；
图2为贝叶斯网算法模型的可视化图；
图3为一种基于贝叶斯网数据赋能企业的智能决策系统各模块示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
请参阅图1，图1为一种基于贝叶斯网数据赋能企业的智能决策方法步骤示意图；本申请提供一种基于贝叶斯网数据赋能企业的智能决策方法，包括：
步骤S11、建立数据仓库，所述数据仓库分为ODS层、DWD层、DWS层和ADS 层；
首先建立数据仓库，所述数据仓库用于存储本方法所涉及到的全部数据，包括原始数据与中间数据。数据仓库分为四层，分别为ODS层、DWD层、DWS 层和ADS层，ODS层为原始数据层，存放原始数据，直接存储原始日志、数据，数据保持原貌不做处理；DWD层为数据明细层，存储经过清洗并转换成统一维度的数据；DWS层为数据服务层，存储的数据为算法引擎能够运行的数据，算法引擎输入的数据从DWS层提取，算法引擎输出的数据存储于DWS层。
步骤S12、采集原始数据，将所述原始数据存储于所述ODS层，所述原始数据包括原始日志、数据源、表格、爬虫数据；
步骤S13、清洗所述原始数据并转换成维度标识数据存储于所述DWD层，所述维度标识数据为算法能够识别的数据；
通过算法的运行，对所述ODS层中的数据进行清洗，即去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式，保留清洗后的数据，并将清洗后的数据转换成维度标识数据，即将文字信息等数据通过算法转换成统一的维度标识数据，维度标识数据的数据类型可以为数字也可以是字母等便于区分的数据类型。
步骤S14、对所述维度标识数据进行打标签生成标签数据并存储于所述DWS 层；
通过算法对维度标识数据进行打标签，即将每一个数据与一个标签相对应， 将每一个数据与一个标签关联起来，生成标签数据。在具体实践中，对于企业 常用的标签数量，通常是在100个至1000个这样的数量区间以内。
步骤S15、将所述标签数据根据业务属性进行组合，生成主题库；
每一个标签数据都会有业务属性，业务属性决定标签数据的主题，主题是由不同维度的标准化后的数据组成的，如人、某类事件都可以成为主题，一个主题对应的维度是一张宽表，其中的维度可以进一步在实际业务过程中进行增减，维度的增减可由机器自动完成。
步骤S16、根据主题库中的数据进行算法建模，生成贝叶斯网算法模型；
步骤S17、采集企业需要分析的目标节点和证据节点的数据，根据贝叶斯网模型的运算生成推理结果；所述证据节点为所述贝叶斯网算法模型的输入节点，为做出企业决策前所拥有的已知前置数据；所述目标节点为所述贝叶斯网算法模型的输出节点，为根据模型和所述已知前置数据需要进行企业决策的事件；所述推理结果为在已知前置数据的前提下目标节点发生情况的概率；
步骤S18、将所述推理结果转换成应用平台能够接受的数据，并存储于所述ADS层。
为了便于理解本实施例提供的技术方案，现以信贷业务为例，对上述步骤 S11-S18的实现过程解释说明如下：
信贷公司的业务系统收集贷款客户的原始数据，包括家庭关系、资产、收入、支出、负债等信息；
将基于贝叶斯网数据赋能企业的智能决策系统与信贷公司的业务系统对接，本系统自动采集信贷公司的业务系统收集来的客户的原始数据，并将这些原始数据不做任何加工的存储于ODS层；
之后通过算法对ODS层中的原始数据进行清洗，即去除空值、脏数据、超过极限范围的数据，将行式存储改为列存储，更改原始数据的压缩格式，即将杂乱的原始数据转换成统一的形式，之后通过算法对清洗之后的数据进行数据转换，将文字信息等转换成统一的维度标识数据，维度标识数据的数据类型可以为数字也可以是字母等便于区分的数据类型，并将这些转换后的维度标识数据存储于DWD层；
通过算法对DWD层的维度标识数据进行打标签，并生成标签数据，例如客户的房子数据的标签为资产情况，客户的车辆数据的标签为资产情况，客户离异的标签为家庭情况，将标签与维度标识数据组合，生成标签数据，所述标签数据包含有维度标识数据和标签数据；
通过算法对标签数据进行分析，根据标签数据含有的业务属性，将标签数据分别组合，生成主题库，例如客户的资产情况和家庭情况等标签组合成这个客户的主题库；
通过算法对主题库中的数据进行分析建模，最终生成贝叶斯网算法模型，所述算法以贝叶斯算法为主，以其他算法为辅，请参阅图2，图2为贝叶斯网算法模型的可视化图；
模型建好之后可以采集需要评估的客户数据，对客户的贷款额度进行推理，即信贷公司的工作人员通过将需要贷款的客户的房产情况、车辆情况、婚姻情况、父母情况、远亲情况等数据输入到信贷公司的业务系统中，本系统采集信贷公司业务系统中该客户的具体数据，这些采集到的具体数据即为贝叶斯网算法模型证据节点的输入数据，信贷公司工作人员设定想要推理的目标节点，若设定想要推理的目标节点为贷款额度，则根据贝叶斯网模型的运算生成推理结果，所述推理结果即为该客户的贷款额度；
通过算法将贝叶斯网络模型生成的推理结果转换成信贷公司的业务系统能够接受的数据并将该数据存储于ADS层，将该推理结果发送到信贷公司的业务系统，例如生成的推理结果为贷款额度，将该贷款额度的数据转换成信贷公司能够业务系统能够接受并识别的数据，存储于ADS层中，信贷公司的业务系统收到该贷款额度的数据，并显示给工作人员查看。
优选的，可以将维度标识数据存储于DWD层(数据明细层)的DIM数据表中。
优选的，在对维度标识数据打标签之前，可以先对维度标识数据进行标准化，即通过算法将DWD层的数据进行整理。标准化每个行业都有其准则，但是企业不一定有自己行业的标准化规范，需要结合具体的方法论进行定制。数据处理成自己内部的标准，在实践过程不断的融合行业标准，数据标准是对业务的拆分，需要对业务了解。
进一步地，在所述清洗所述原始数据并转换成维度标识数据之后，还包括：
根据所述维度标识数据建立知识库；所述知识库用于对所述算法模型的生成进行预先设定。
即建立知识库，将所述维度标识数据存储于知识库中，该知识库用于在算法进行贝叶斯网算法模型建模之前，对该模型进行预先的设定，即通过知识库总结出有联系的节点，在建模之前对有联系的节点进行预先设定。以信贷业务为例，建立知识库，对知识库中的内容进行分析，可分析出房产情况与资产情况评估有关，则可预先设定房产情况影响资产情况评估。
在贝叶斯网算法模型建模之前没有经过预先设定的，则该贝叶斯算法模型为无监督模型。在贝叶斯网算法模型建模之前经过预先设定的，则该贝叶斯算法模型为半监督模型。
进一步地，所述根据模型的运算生成推理结果之后，还包括：
将所述推理结果存储于知识库。
在推理完成之后，可以将该推理结果存储于知识库中，以信贷业务为例，根据客户的具体数据推理出客户的贷款额度，将客户的具体数据和贷款额度保存至知识库中。
进一步地，在所述对所述维度标识数据进行打标签生成标签数据之后，还包括：
建立标签库，将所述标签数据根据标签进行组合，每一个标签建立一个数据表，将所述数据表存储于标签库。
即根据标签，将维度标签数据进行分类，以信贷业务为例，客户的房产情况的标签为资产情况，客户的车辆情况的标签为资产情况，将以资产情况为标签的标签数据进行组合，组合成一个数据表，并将该数据表存储到标签库中。
进一步地，还包括：
建立资源库，将所述主题库、所述知识库和所述标签库存储于所述资源库，用于对数据进行统一管理，方便人为检索数据。
资源库由主题库、知识库和标签库组成，一个数据标签库对应一个资源ID；一个知识种类对应一个资源ID；一个主题包含多个资源，可以通过服务接口输入资源ID对资源进行查询检索，资源和主题多对多，可以通过查询到的主题，发起查询资源的请求；标签、知识可以在不同的数据库中，在不同的数据表中，然后统一的在资源管理中陈列，主题是将资源以某种形式组成一个宽表，将数据抽取进入主题库；主题库里面的数据本身也可以是一个资源。
进一步地，所述对所述维度标识数据进行打标签，包括：
采集人为手动输入的标签数据；
根据SQL查询并生成标签数据；
根据聚类算法生成标签数据。
手动添加的标签不是DWD层中的字段，而是人工添加的字段如：是否非法持枪，需要人工进行判断；以主题库为单位进行打标签，需要一张主题-标签关联表，给部分标签人工打标签，优选的，可以打多个标签，剩余的标签系统可以自己自动学习打标签；挖掘标签，也不是DWD层的字段，是需要挖掘的标签，优选的，可以人工打标签作为学习集，然后机器自动的预测目标。
进一步地，在所述将所述标签数据根据业务属性进行组合之后，还包括：
采集人为设定的数据，将所述人为设定的数据与算法进行组合，生成新的分析场景，所述新的分析场景用于对所述算法模型的生成进行预先设定。
以信贷业务为例，请参阅图2，贝叶斯网算法模型没有将每月支出与资产状况相联系，信贷公司的工作人员可以通过人为设定客户的每月支出与资产情况的联系，本系统采集工作人员的设定的数据，将该数据与算法进行组合，生成一个新的分析场景，该分析场景可以在贝叶斯网算法模型建模之前对该模型进行预先设定，所述算法在设定的基础上，建立贝叶斯网算法模型。通过此种方式建立的贝叶斯网络算法模型为半监督模型。
进一步地，在所述生成算法模型之后，还包括：
采集人为输入的修改数据，根据所述修改数据对所述算法模型进行修改。
以信贷业务为例，请参阅图2，在贝叶斯网算法模型自动建立好之后，信贷公司的工作人员若发现贝叶斯网络算法模型没有将每月支出与资产状况相联系，则可手动设定每月支出与资产状况的联系，本系统采集工作人员的设定的数据，通过算法的运行对已经建立好的贝叶斯网算法模型进行修改。
通过上述实施例，借助贝叶斯网对不确定性知识的表示和推理的优势，对业务进行建模和分析，并生成合理的对目标场景的推理。采用贝叶斯网来表达处理业务关联和因果依赖，可以利用其擅长的不确定推理，生成符合业务逻辑的知识，并对未知结果进行预估。理论上可以自由地在不同细分行业提取证据并推理。这样可解决模型在企业赋能应用上的可通用性,从而降低企业数据分析落地做包含的成本和应用实用性风险。其次，只需结合相关业务规则，建立简单的知识库，为机器学习提供依据，可以避免规则系统不必要的繁琐，高代价的知识规则库创建。本申请根据提取的证据，为推理提供数据，更具有客观性。理论及实验证明，将贝叶斯网应用到企业的推理上具有实用价值。
贝叶斯网是满足如下性质的有向无环图：
一种随机变量构成的网中结点；
从结点X指向结点Y的有向边表示X直接影响Y，每一个结点X与其非后代结点独立于X的父亲节点集；
每一个结点有一张条件概率表(CPT)，表示其父结点对他的影响。
图3为条件概率表(CPT)示意图。
随机变量的联合概率分布以乘积的形式表示：
基于上述贝叶斯网的定义，能够根据已有的标签库，基于数理统计的知识建立一个基于标签的贝叶斯网算法模型。
本申请提供一种基于贝叶斯网数据赋能企业的智能决策系统，用于执行上述基于贝叶斯网数据赋能企业的智能决策方法，包括：推理赋能模块、数据管理模块、算法管理模块、云平台接口模块；
所述推理赋能模块用于执行贝叶斯网算法模型，生成推理结果；
所述数据管理模块用于数据仓库的管理，存储基于贝叶斯网数据赋能企业的智能决策方法所涉及的全部数据；
所述算法管理模块用于存储基于贝叶斯网数据赋能企业的智能决策方法所涉及到的全部算法；
所述云平台接口模块用于与应用平台相连接，将推理结果发送至应用平台。
以信贷业务为例，本系统通过云平台接口与信贷公司的业务系统进行对接，从而能够采集业务系统中的数据；将信贷公司业务系统中有关的原始数据存储进数据仓库中，数据管理模块用于对数据仓库进行管理；算法管理模块用于存储基于贝叶斯网数据赋能企业的智能决策方法所涉及到的全部算法，算法在执行的过程中需要调用的数据从数据仓库中进行抽取，最终生成贝叶斯网算法模型；推理赋能模块用于执行贝叶斯网算法模型，生成推理结果，推理赋能模块在执行的过程中需要调用的算法从算法管理模块中运行；推理结果经过算法转换保存至数据仓库中，通过云平台接口模块将该推理结果输出至信贷公司的业务系统中。
进一步地，该系统还包括：能力编织模块；
所述能力编织模块用于采集人为设定的数据，将所述人为设定的数据与算法进行组合，生成新的分析场景。
以信贷业务为例，能力编织模块用于给信贷公司工作人员输入设定数据与修改数据使用。
本申请能够解决现有技术主要集中在庞大繁杂架构层面，在AI算法的应用方面主要是基于黑盒人工智能识别层面，对于企业业务垂直决策智能存在巨大的需求漏洞，导致没有数据或少量数据的用户担心数据建设成本太高，而建设了数据治理平台的用户又空有一大堆数据，却没有合适的算法方案进行有成效的数据算法赋能。现有的大数据治理通常是建立在以Hadoop为基础的生态环境之上，数据的处理方式通过编写MapReduce，HiveSql，SparkSql等方式引入，需要工程师的介入，因此迭代和维护都需要较高的成本。
本申请在数据仓库分层治理理念的思想之上，使用轻量级的MongoDB做为数据存储的媒介进行数据的仓库搭建，同时通过数据标签、数据资源、数据主题、数据知识库的方式对数据进行治理，数据处理规模为1-2亿的规模。本申请能够使普通的业务人员对数据和算法进行定制匹配，即数据编织。使业务人员可以参与到系统的迭代升级中，成为平民化的数据分析师，从而尽可能的降低系统的迭代和维护成本，并提高工作效率。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA) 等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于贝叶斯网数据赋能企业的智能决策方法，其特征在于，包括：
建立数据仓库，所述数据仓库分为ODS层、DWD层、DWS层和ADS层；
采集原始数据，将所述原始数据存储于所述ODS层，所述原始数据包括原始日志、数据源、表格、爬虫数据；
清洗所述原始数据并转换成维度标识数据存储于所述DWD层，所述维度标识数据为算法能够识别的数据；
对所述维度标识数据进行打标签生成标签数据并存储于所述DWS层；
将所述标签数据根据业务属性进行组合，生成主题库；
根据主题库中的数据进行算法建模，生成贝叶斯网算法模型；
采集企业需要分析的目标节点和证据节点的数据，根据贝叶斯网模型的运算生成推理结果；所述证据节点为所述贝叶斯网算法模型的输入节点，为做出企业决策前所拥有的已知前置数据；所述目标节点为所述贝叶斯网算法模型的输出节点，为根据模型和所述已知前置数据需要进行企业决策的事件；所述推理结果为在已知前置数据的前提下目标节点发生情况的概率；
将所述推理结果转换成应用平台能够接受的数据，并存储于所述ADS层。
2.根据权利要求1所述的方法，其特征在于，在所述清洗所述原始数据并转换成维度标识数据之后，还包括：
根据所述维度标识数据建立知识库；所述知识库用于对所述算法模型的生成进行预先设定。
3.根据权利要求2所述的方法，其特征在于，所述根据模型的运算生成推理结果之后，还包括：
将所述推理结果存储于知识库。
4.根据权利要求2所述的方法，其特征在于，在所述对所述维度标识数据进行打标签生成标签数据之后，还包括：
建立标签库，将所述标签数据根据标签进行组合，每一个标签建立一个数据表，将所述数据表存储于标签库。
5.根据权利要求4所述的方法，其特征在于，还包括：
建立资源库，将所述主题库、所述知识库和所述标签库存储于所述资源库，用于对数据进行统一管理，方便人为检索数据。
6.根据权利要求1所述的方法，其特征在于，所述对所述维度标识数据进行打标签，包括：
采集人为手动输入的标签数据；
根据SQL查询并生成标签数据；
根据聚类算法生成标签数据。
7.根据权利要求1所述的方法，其特征在于，在所述将所述标签数据根据业务属性进行组合之后，还包括：
采集人为设定的数据，将所述人为设定的数据与算法进行组合，生成新的分析场景，所述新的分析场景用于对所述算法模型的生成进行预先设定。
8.根据权利要求7所述的方法，其特征在于，在所述生成算法模型之后，还包括：
采集人为输入的修改数据，根据所述修改数据对所述算法模型进行修改。
9.一种基于贝叶斯网数据赋能企业的智能决策系统，用于执行权利要求1-8任一项所述的基于贝叶斯网数据赋能企业的智能决策方法，其特征在于，包括：推理赋能模块、数据管理模块、算法管理模块、云平台接口模块；
所述推理赋能模块用于执行贝叶斯网算法模型，生成推理结果；
所述数据管理模块用于数据仓库的管理，存储基于贝叶斯网数据赋能企业的智能决策方法所涉及的全部数据；
所述算法管理模块用于存储基于贝叶斯网数据赋能企业的智能决策方法所涉及到的全部算法；
所述云平台接口模块用于与应用平台相连接，将推理结果发送至应用平台。
10.根据权利要求9所述的系统，其特征在于，还包括：能力编织模块；
所述能力编织模块用于采集人为设定的数据，将所述人为设定的数据与算法进行组合，生成新的分析场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210115906.2A CN114548709A (zh) | 2022-02-07 | 2022-02-07 | 一种基于贝叶斯网数据赋能企业的智能决策方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210115906.2A CN114548709A (zh) | 2022-02-07 | 2022-02-07 | 一种基于贝叶斯网数据赋能企业的智能决策方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114548709A true CN114548709A (zh) | 2022-05-27 |
Family
ID=81673405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210115906.2A Pending CN114548709A (zh) | 2022-02-07 | 2022-02-07 | 一种基于贝叶斯网数据赋能企业的智能决策方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114548709A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117454993A (zh) * | 2023-11-20 | 2024-01-26 | 汇智睿晟(杭州)信息技术有限公司 | 一种基于数据处理的自动推理平台 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289496A (zh) * | 2011-08-22 | 2011-12-21 | 北京航空航天大学 | 一种基于贝叶斯网络的无线认知网络知识库构建方法 |
| KR20140035690A (ko) * | 2012-09-14 | 2014-03-24 | 엘지전자 주식회사 | 모바일 상황 인지를 위한 신규 확률 모델 생성 장치 및 방법 |
| CN107103000A (zh) * | 2016-02-23 | 2017-08-29 | 广州启法信息科技有限公司 | 一种基于关联规则与贝叶斯网络集成的推荐技术 |
| CN107807968A (zh) * | 2017-10-13 | 2018-03-16 | 上海壹账通金融科技有限公司 | 基于贝叶斯网络的问答装置、方法及存储介质 |
| CN109272155A (zh) * | 2018-09-11 | 2019-01-25 | 郑州向心力通信技术股份有限公司 | 一种基于大数据的企业行为分析系统 |
| CN109657880A (zh) * | 2019-01-09 | 2019-04-19 | 中交信息技术国家工程实验室有限公司 | 一种基于贝叶斯网络的船舶碰撞事故等级预测方法和系统 |
| CN110807044A (zh) * | 2019-10-30 | 2020-02-18 | 东莞市盟大塑化科技有限公司 | 一种基于人工智能技术的模型维度管理方法 |
| CN111340246A (zh) * | 2020-02-26 | 2020-06-26 | 未来地图(深圳)智能科技有限公司 | 用于企业智能决策分析的处理方法、装置和计算机设备 |
| CN112561479A (zh) * | 2020-12-16 | 2021-03-26 | 中国平安人寿保险股份有限公司 | 基于智能决策的企业增员的方法、装置及计算机设备 |
| CN113516417A (zh) * | 2021-08-18 | 2021-10-19 | 平安银行股份有限公司 | 基于智能建模的业务评估方法、装置、电子设备及介质 |
-
2022
- 2022-02-07 CN CN202210115906.2A patent/CN114548709A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289496A (zh) * | 2011-08-22 | 2011-12-21 | 北京航空航天大学 | 一种基于贝叶斯网络的无线认知网络知识库构建方法 |
| KR20140035690A (ko) * | 2012-09-14 | 2014-03-24 | 엘지전자 주식회사 | 모바일 상황 인지를 위한 신규 확률 모델 생성 장치 및 방법 |
| CN107103000A (zh) * | 2016-02-23 | 2017-08-29 | 广州启法信息科技有限公司 | 一种基于关联规则与贝叶斯网络集成的推荐技术 |
| CN107807968A (zh) * | 2017-10-13 | 2018-03-16 | 上海壹账通金融科技有限公司 | 基于贝叶斯网络的问答装置、方法及存储介质 |
| CN109272155A (zh) * | 2018-09-11 | 2019-01-25 | 郑州向心力通信技术股份有限公司 | 一种基于大数据的企业行为分析系统 |
| CN109657880A (zh) * | 2019-01-09 | 2019-04-19 | 中交信息技术国家工程实验室有限公司 | 一种基于贝叶斯网络的船舶碰撞事故等级预测方法和系统 |
| CN110807044A (zh) * | 2019-10-30 | 2020-02-18 | 东莞市盟大塑化科技有限公司 | 一种基于人工智能技术的模型维度管理方法 |
| CN111340246A (zh) * | 2020-02-26 | 2020-06-26 | 未来地图(深圳)智能科技有限公司 | 用于企业智能决策分析的处理方法、装置和计算机设备 |
| CN112561479A (zh) * | 2020-12-16 | 2021-03-26 | 中国平安人寿保险股份有限公司 | 基于智能决策的企业增员的方法、装置及计算机设备 |
| CN113516417A (zh) * | 2021-08-18 | 2021-10-19 | 平安银行股份有限公司 | 基于智能建模的业务评估方法、装置、电子设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 王丽: "信用卡审批流程中智能决策支持技术的研究与应用", 中国优秀硕士学位论文全文数据库, no. 03, 15 March 2015 (2015-03-15), pages 1 - 64 * |
| 葛顺 等: "一种基于概率影响分析的智能决策模型", 计算机工程, vol. 42, no. 06, 15 June 2016 (2016-06-15), pages 213 - 217 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117454993A (zh) * | 2023-11-20 | 2024-01-26 | 汇智睿晟(杭州)信息技术有限公司 | 一种基于数据处理的自动推理平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Omri et al. | Industrial data management strategy towards an SME-oriented PHM | |
| Camarinha-Matos et al. | Collaborative networks: Reference modeling | |
| CN110765337A (zh) | 一种基于互联网大数据的服务提供方法 | |
| CN109255586B (zh) | 一种面向电子政务办事的在线个性化推荐方法 | |
| Park et al. | Action-oriented process mining: bridging the gap between insights and actions | |
| Peng et al. | A Pythagorean fuzzy ANP-QFD-Grey relational analysis approach to prioritize design requirements of sustainable supply chain | |
| US20130030852A1 (en) | Associative Memory-Based Project Management System | |
| CN115809302A (zh) | 元数据处理方法、装置、设备及存储介质 | |
| AU2012244271B2 (en) | Associative memory-based project management system | |
| CN114548709A (zh) | 一种基于贝叶斯网数据赋能企业的智能决策方法及系统 | |
| CN117194668A (zh) | 知识图谱构建方法、装置、设备及存储介质 | |
| Hashemi et al. | Multi-objective Optimization for Computer Security and Privacy. | |
| CN116541166A (zh) | 一种超算算力调度服务器及资源管理方法 | |
| CN115884235A (zh) | 一种5g网络数字孪生建模方法、装置、计算机设备和存储介质 | |
| JP2019071106A (ja) | 企業にとって関連する情報を識別する、システム及び方法 | |
| Bal et al. | Creating competitive advantage by using data mining technique as an innovative method for decision making process in business | |
| CN113052712B (zh) | 社交数据的分析方法、系统及存储介质 | |
| CN115292274A (zh) | 一种数据仓库主题模型构建方法和系统 | |
| CN113779178A (zh) | 基于知识图谱的数据存储方法和装置 | |
| Shahzad et al. | Automated Generation of Graphs from Relational Sources to Optimise Queries for Collaborative Filtering | |
| Chen et al. | A large-scale data management and application analysis based on advanced classifier computing for the ERP system selection and adoption | |
| KR102273868B1 (ko) | 비지도학습에서의 사용자의도 반영 방법 및 그 장치 | |
| Rao et al. | Distributed data mining and mining multi-agent data | |
| CN111754199B (zh) | 一种业务本体驱动的企业信用关系图粗化方法 | |
| Molcho et al. | MIND–semantic based knowledge visualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |