CN110163458A - 基于人工智能技术的数据资产管理与监测方法 - Google Patents

基于人工智能技术的数据资产管理与监测方法 Download PDF

Info

Publication number
CN110163458A
CN110163458A CN201810154657.1A CN201810154657A CN110163458A CN 110163458 A CN110163458 A CN 110163458A CN 201810154657 A CN201810154657 A CN 201810154657A CN 110163458 A CN110163458 A CN 110163458A
Authority
CN
China
Prior art keywords
data
model
atomic
status
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810154657.1A
Other languages
English (en)
Inventor
李大勇
李群英
李春
马立新
孔祥靖
刘立明
潘建宏
张凯
苑立民
张丁文
徐峰
樊家树
刘坤
胡小磊
盖飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810154657.1A priority Critical patent/CN110163458A/zh
Publication of CN110163458A publication Critical patent/CN110163458A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及计算机应用技术领域，具体为基于人工智能技术的数据资产管理与监测方法。本发明的步骤包括连接外部数据源、原子数据、数据发现引擎等。本发明采用人工智能、大数据、知识图谱等多种技术融合，100％替代传统企业数据资产质量管理与监测工作，极大的提高了梳理数据资产、梳理业务流程的准确性，降低了人员工作量，节约了资源。

Description

基于人工智能技术的数据资产管理与监测方法
技术领域
本发明涉及计算机应用技术领域，具体为基于人工智能技术的数据资产管理与监测方法。
背景技术
目前，国家电网公司处理业务数据存在一些不足：
2017年公司接入数据中心的数总据量达56.95T。但数据质量不高，数据资产身份不唯一数据五花八门、乱象丛生，同一数据在不同部门有不同的标准和形式；由于数据质量差导致数据共享困难，无法有效开展跨系统大数据分析，致使海量数据资应用受限，难以支撑数据资产在业务场景的决策和应用。关键数据资产不能全寿命周期贯通，大多局限于部门最优，难以实现综合最优；对于增量数据的管理仍存在业务规则不统一、系统数据不连续的问题。这些突出问题，对深化数据资产全寿命周期管理形成了严重的制约。靠人工处理具有劳动效率低下和运营成本高等缺点。
发明内容
因此，为了克服上述的不足，本发明提供基于人工智能技术的数据资产管理与监测方法，它能够有效的解决上述问题。
本发明采取的技术方案如下：
数据资产质量管理与监测系统，包括如下步骤：
第一步：连接外部数据源，其包括结构化数据源和非结构化数据源，结构化数据源包括ERP系统、PMS系统、营销应用、人资管控、财务管控、物质管控、基建管控及GIS系统的国网业务系统；非结构化数据源包括国网非结构化平台和统一数据交换平台，统一数据交换平台包括影像信息；
第二步：对第一步中数据库涉及的数据进行分类及处理，得到原子数据，原子数据包括如下：
数据模型，数据库获取的用户表结构；
原始数据，关系数据库是按行存储的，不利用关系寻找和使用，原始数据将关系数据库的数据转为列式存储，原子数据是将列存储的数据进行数据去重压缩形成；
原子数据一，其具有结构化的特征，原子数据一是将列存储的数据进行数据去重压缩形成；
E文件数据，即电力标准调度文件格式；
原子数据二，其文本化的特征，原子数据二是从步骤一数据库获取的大文本数据以及外部文件格式数据；
原子数据三，具有图片及视频特征的数据，原子数据三是从第一步的非结构化数据源及统一数据交换平台接入的影像信息；
原子数据四，具有声音特征的数据，原子数据四是从第一步的非结构化数据源；
第三步：对第二步中的数据进行分析计算，得出数据发现引擎，数据发现引擎包括模型计算、数据识别、关系发现及流程还原；第二步中的数据包括原子数据一、原始数据、E文件数据、原子数据二、原子数据三、原子数据四；
模型计算的方法为：根据第二步的数据模型，利用原子数据进行内容级别的模型结果计算，主要是针对模型中文注释完整性、模型命名准确性、模型命名一致性、模型数据类型一致性、模型数据精度一致性、模型对应的数据内容是否为空、模型对应的数据量进行计算；
数据识别的方法为：使用基于高维词向量分析的深度学习算法，对数据中的往来单位、组织部门、岗位、人员、设备、物资、项目等40多类数据内容进行识别。对于识别后的数据，表示其为潜在业务主数据和公共主数据；
关系发现的方法为：借鉴物质化学构成原理构建人工智能模型，为具有相同、相似原子的文本数据建立一致的链接关系，并对其中组织机构、人员、业务对象的关系信息进行聚类，便于进行数据关联性、一致性和及时性分析；
流程还原的方法为：结合数据链接关系、发生时间、发生过程和衍生关系四方面进行数据流程还原，辅助用户清晰对应业务流程，验证对应关系是否准确；
第四步：通过第三步得出数据现状评估，数据现状评估包括元数据、主数据及数据流程；模型计算得出元数据，元数据包括模型现状和参考数据现状；模型现状是根据模型计算结果生成模型差异分析报告，供用户进行差异分析和数据治理；参考数据现状是根据数据内容形成的数据状态集。
数据识别得出主数据，主数据包括市场现状、客户现状、安全现状、综合现状、人资现状、物资现状、项目现状、财务现状、资产现状、电网现状、人资流程、物资流程、项目流程、财务流程、资产流程、电网流程；主数据现状就是指市场、客户、安全这些现状的总和，主数据现状包括推荐的主数据清单和主数据差异分析报告，主数据清单是指各系统中本身资产内容一致的数据资产形成的清单，主数据差异分析报告是指各系统中不一致的数据资产形成的报告。
流程还得出数据流程，数据流程包括市场流程、客户流程、安全流程、综合流程；数据流程现状是数据流程的文字化记录，包括数据流程报告和数据流程差异报告；数据流程报告是指和标准流程对比后本身就一致的资产节点形成的流程报告，数据流程差异报告是指和标准流程不一致的内容形成的报告；
第五步：根据第四步的数据及流程得出数据规则库，数据规则库包括流程环节主数据管理、流程环节特征计算、流程环节规则审核、流程环节规则入库，
第六步：数据质量检测引擎，其包括模型监测、主数据监测、参考数据监测、流程数据监测、业务规则监测和数据规则监测，进入第七步；如果采用历史数据治理的结果则进入第二步中的原始数据，原子数据一，进入第三步，进入第四步，进入第五步，进入业务规则库，业务规则库包括流程环节
主数据管理、流程环节标准制度入库、流程环节运行导则入库和流程环节专家规则入库，进入第六步；历史数据治理是根据数据现状差异报告中的内容进行历史数据治理，其治理结果会同步到原始数据中。再重新压缩为原子数据，并重新运行知识发现引擎就可以在数据现状评估中看到修正效果；所述历史数据治理，包括人资数据治理、物资数据治理、资产数据治理、其他数据治理：历史数据治理是根据数据现状差异报告中的内容进行治理，其治理结果会同步到原始数据中；再重新压缩为原子数据，并重新运行知识发现引擎就可以在数据现状评估中看到修正效果；
第七步：SG-RDB明细数据增量区；
第八步：SG-RDB明细数据全量区；
第九步：MPP数仓明细数据区；
第十步：数据资源服务目录；
第十一步：专题场景支撑。
所述大文本数据是大于或等于256个字符。
外部文件格式数据可以是word或wps产生的文件。
第四步所述的数据状态集包括计量单位和性别。
本发明的有益效果如下：
本发明采用人工智能、大数据、知识图谱等多种技术融合，100％替代传统企业数据资产质量管理与监测工作，极大的提高了梳理数据资产、梳理业务流程的准确性，降低了人员工作量，节约了资源。该工具提供了一种自动化进行数据资产质量管理与监测的软件工具，其包括：自动化提取企业数据库信息，生成数据模型和原子数据；利用原子数据，自动化完成企业数据资产识别和盘点，生成企业数据资产清单和各业务系统数据资产差异分析报告；自动化完成企业数据资产数据流程识别和盘点，生成资产数据流程和各业务系统资产数据流程差异分析报告；自动化生成企业数据资产的数据规则库，供数据资产监测使用；利用数据模型，自动化进行企业数据资产属性盘点，生成企业数据资产属性现状分析报告和资产属性差异分析报告；利用数据资产清单、数据流程、数据规则库和资产属性，生成企业数据资产管理模型；利用企业数据资产管理模型进行企业数据资产质量的管理与监测。
通过数据资产质量管理与监测系统，利用并行计算技术完成数据匹配，数据模型匹配时间缩短60％；利用知识图谱理论，管理数据模型和业务匹配关系，数据模型匹配率提升13％；利用大数据文本挖掘算法，对物资、设备等40多类业务数据进行识别和标签化，并建立数据清洗转换模型。公司可以高效开展公配台区电压分析、输配电标准作业成本分析2个场景建设工作，开发变电、架空线路、电缆线路三类设备8个方面检修成本定额分析功能，实时反应作业成本，促进公司精益化管理，实现资源最优配置。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合具体一个实施例进一步说明本发明。
如图1所示，本发明的过程如下：
第一步：连接数据源，我们根据需要可以连接ERP系统、PMS系统。
第二步：原子数据，原子数据包括如下：
数据模型：获取ERP系统、PMS系统的数据库用户表结构模型；原始数据：获取这两个系统的用户表数据，在大数据平台进行列式存储；原子数据：将列存储的数据进行数据去重压缩形成原子数据。
第三步：数据发现引擎，
模型计算：利用ERP、PMS原子数据进行内容级别的模型结果计算，主要是针对模型中文注释完整性、模型命名准确性、模型命名一致性、模型数据类型一致性、模型数据精度一致性、模型对应的数据内容是否为空、模型对应的数据量进行计算；
数据识别：在大数据平台上，使用基于高维词向量分析的深度学习算法，对ERP、PMS原子数据中的往来单位、组织部门、岗位、人员、设备、物资、项目等40多类数据内容进行识别。对于识别后的数据，表示其为潜在业务主数据和公共主数据；
关系发现：借鉴物质化学构成原理构建人工智能模型，为具有相同、相似原子的文本ERP、PMS原子数据建立一致的链接关系，并对其中组织机构、人员、业务对象的关系信息进行聚类，便于进行数据关联性、一致性和及时性分析；
流程还原的方法为：结合ERP、PMS原子数据链接关系、发生时间、发生过程进行数据流程还原，辅助用户清晰对应业务流程，验证对应关系是否准确；
第四步，数据现状评估，
1.元数据：元数据现状评估包括模型现状和参考数据现状两部分，首先对ERP、PMS模型现状进行评估，生成ERP模型差异分析报告、ERP模型差异分析报告、PMS模型差异分析报告、PMS模型差异分析报告；其次，对ERP、PMS参考数据现状进行评估，生成ERP参考数据分析报告、ERP参考数据差异分析报告、PMS参考数据分析报告、PMS参考数据差异分析报告。
2.主数据：对ERP、PMS数据识别中的组织机构、人员信息、设备信息、资产信息主数据提取，形成(1)组织机构信息清单、组织机构差异分析报告；(2)人员信息清单、人员信息差异分析报告；(3)设备信息清单、设备信息差异分析报告；(4)资产信息清单、资产信息差异分析报告。
3.数据流程：将ERP、PMS数据流程现状与“五位一体”公司标准流程进行比较，形成ERP流程分析报告、ERP流程差异分析报告、PMS流程分析报告、PMS流程差异分析报告。
第五步，历史数据治理，
本步骤为可选项，是使用第三步数据发现引擎结果和第四步数据现状评估结果对第二步原子数据中抽取的原始数据按主数据结构进行治理，治理完成后可重新运行第二步、第三步、第四步，如果评估结果满意，则完成历史数据治理。
1.组织机构数据治理：对ERP、PMS系统中的组织机构模型信息、组织机构主数据信息和组织机构数据流程信息进行治理；
2.人员信息数据治理：对ERP、PMS系统中的人员信息模型信息、人员信息主数据信息和人员信息数据流程信息进行治理；
3.设备信息数据治理：对ERP、PMS系统中的设备信息模型信息、设备信息主数据信息和设备信息数据流程信息进行治理；
4.资产信息数据治理：对ERP、PMS系统中的资产信息模型信息、资产信息主数据信息和资产信息数据流程信息进行治理。
第六步，数据规则库，
使用Spark大数据工具，定期进行ERP、PMS主数据流程环节历史数据特征值统计，计算数据变化区间并入库，建立动态数据规则库，进行第八步数据质量规则判断；
第七步，业务规则库，
依据与ERP、PMS主数据相关的国家标准、企业标准、技术导则和业务执行规范，梳理相关业务规则并入库，建立业务规则库，进行第八步业务规则判断。
第八步，数据质量监测引擎，
将第三步数据发现引擎形成的历史数据运行模型与第六步数据规则库、第七步业务规则库组合使用，进行ERP、PMS增量运营数据的运行监测。
第九步：SG-RDB明细数据增量区，
此处功能由吉林电力公司全业务统一数据中心完成，此处列示仅代表可对此数据进行监测。
第十步：SG-RDB明细数据全量区，
此处功能由吉林电力公司全业务统一数据中心完成，此处列示仅代表可对此数据进行监测。
第十一步：MPP数仓明细数据区，
此处功能由吉林电力公司全业务统一数据中心完成，此处列示仅代表可对此数据进行监测。
第十二步：数据资源服务目录，
此处功能由吉林电力公司全业务统一数据中心完成，此处列示仅代表第四步数据现状评估中ERP、PMS的元数据模型信息、参考数据模型信息可与此处集成。
第十三步：专题场景支撑。
此处功能由吉林电力公司全业务统一数据中心完成，此处列示仅代表与
第十二步ERP、PMS系统数据资源目录集成后，可对专题场景进行数据支撑。
数据资产质量管理与监测系统，包括如下步骤：
第一步：连接数据库，数据库包括ERP系统、PMS系统、营销应用、人资管控、财务管控、物质管控、基建管控及GIS系统；
第二步：对第一步中数据库涉及的数据进行分类及处理，得到原子数据，原子数据包括如下：
数据模型，数据库获取的用户系统表结构；
原子数据一，其具有结构化的特征，原子数据一是将列存储的数据进行数据去重压缩形成；
原始数据，关系数据库是按行存储的，不利用关系寻找和使用，原始数据将关系数据库的数据转为列式存储，原子数据是将列存储的数据进行数据去重压缩形成；
E文件数据，即电力标准调度文件格式；
原子数据二，其文本化的特征，原子数据二是从步骤一数据库获取的大文本数据以及外部文件格式数据；
原子数据三，具有图片及视频特征的数据，原子数据三是从第一步的非结构平台及统一视频平台接入的数据；
原子数据四，具有声音特征的数据，原子数据四是从步骤一的非结构接入的数据；
第三步：对第二步中的数据进行分析计算，得出数据发现引擎，数据发现引擎包括模型计算、数据识别、关系发现及流程还原；第二步中的数据包括原子数据一、原始数据、E文件数据、原子数据二、原子数据三、原子数据四；
模型计算的方法为：根据第二步的数据模型，利用原子数据进行内容级别的模型结果计算，主要是针对模型中文注释完整性、模型命名准确性、模型命名一致性、模型数据类型一致性、模型数据精度一致性、模型对应的数据内容是否为空、模型对应的数据量进行计算；
数据识别的方法为：使用基于高维词向量分析的深度学习算法，对数据中的往来单位、组织部门、岗位、人员、设备、物资、项目等40多类数据内容进行识别。对于识别后的数据，表示其为潜在业务主数据和公共主数据；
关系发现的方法为：借鉴物质化学构成原理构建人工智能模型，为具有相同、相似原子的文本数据建立一致的链接关系，并对其中组织机构、人员、业务对象的关系信息进行聚类，便于进行数据关联性、一致性和及时性分析；
流程还原的方法为：结合数据链接关系、发生时间、发生过程和衍生关系四方面进行数据流程还原，辅助用户清晰对应业务流程，验证对应关系是否准确；
第四步：通过第三步得出数据现状评估，数据现状评估包括元数据、主数据及数据流程；模型计算得出元数据，元数据包括模型现状和参考数据现状；数据识别得出主数据，主数据包括市场现状、客户现状、安全现状、综合现状、人资现状、物资现状、项目现状、财务现状、资产现状、电网现状、人资流程、物资流程、项目流程、财务流程、资产流程、电网流程；流程还得出原数据流程，数据流程包括市场流程、客户流程、安全流程、综合流程；元数据现状分析包括模型现状和参考数据现状两部分，模型现状是根据模型计算结果生成模型差异分析报告，供用户进行差异分析和数据治理；参考数据现状是根据数据内容形成的数据状态集，例如：例如计量单位、性别等；主数据现状包括推荐的主数据清单和主数据差异分析报告，主数据清单是指各系统中本身资产内容一致的数据资产形成的清单，主数据差异分析报告是指各系统中不一致的数据资产形成的报告；数据流程现状包括数据流程报告和数据流程差异报告；数据流程报告是指和标准流程对比后本身就一致的资产节点形成的流程报告，数据流程差异报告是指和标准流程不一致的内容形成的报告，标准流程是指国网五位一体流程；
第五步：根据第四步的数据及流程得出数据规则库，数据规则库包括流程环节主数据管理、流程环节特征计算、流程环节规则审核、流程环节规则入库，
第六步：数据质量检测引擎，其包括模型监测、主数据监测、参考数据监测、流程数据监测、业务规则监测和数据规则监测，进入第七步；如果采用历史数据治理的结果则进入第二步中的原始数据，原子数据一，进入第三步，进入第四步，进入第五步，进入业务规则库，业务规则库包括流程环节主数据管理、流程环节标准制度入库、流程环节运行导则入库和流程环节专家规则入库，进入第六步；历史数据治理是根据数据现状差异报告中的内容进行历史数据治理，其治理结果会同步到原始数据中。再重新压缩为原子数据，并重新运行知识发现引擎就可以在数据现状评估中看到修正效果；所述历史数据治理，包括人资数据治理、物资数据治理、资产数据治理、其他数据治理：历史数据治理是根据数据现状差异报告中的内容进行治理，其治理结果会同步到原始数据中；再重新压缩为原子数据，并重新运行知识发现引擎就可以在数据现状评估中看到修正效果；
第七步：SG-RDB明细数据增量区，包括ERP、营销和财务；
第八步：SG-RDB明细数据全量区，包括ERP、营销和财务；
第九步：MPP数仓明细数据区，包括ERP、营销和财务；
第十步：数据资源服务目录，包括按业务分类、按业务流程和按设备结构；
第十一步：专题场景支撑，包括实物ID、五位一体和资产全寿命。
所述大文本数据是大于或等于256个字符。
所述外部文件格式数据可以是word或wps产生的文件。
所述第四步所述的数据状态集包括计量单位和性别。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.基于人工智能技术的数据资产管理与监测方法，其特征在于：包括如下步骤：
第一步：连接外部数据源，其包括结构化数据源和非结构化数据源，结构化数据源包括ERP系统、PMS系统、营销应用、人资管控、财务管控、物质管控、基建管控及GIS系统的国网业务系统；非结构化数据源包括国网非结构化平台和统一数据交换平台，统一数据交换平台包括影像信息；
第二步：对第一步中数据库涉及的数据进行分类及处理，得到原子数据，原子数据包括如下：
数据模型，数据库获取的用户表结构；
原始数据，关系数据库是按行存储的，不利用关系寻找和使用，原始数据将关系数据库的数据转为列式存储，原子数据是将列存储的数据进行数据去重压缩形成；
原子数据一，其具有结构化的特征，原子数据一是将列存储的数据进行数据去重压缩形成；
E文件数据，即电力标准调度文件格式；
原子数据二，其文本化的特征，原子数据二是从步骤一数据库获取的大文本数据以及外部文件格式数据；
原子数据三，具有图片及视频特征的数据，原子数据三是从第一步的非结构化数据源及统一数据交换平台接入的影像信息；
原子数据四，具有声音特征的数据，原子数据四是从第一步的非结构化数据源；
第三步：对第二步中的数据进行分析计算，得出数据发现引擎，数据发现引擎包括模型计算、数据识别、关系发现及流程还原；第二步中的数据包括原子数据一、原始数据、E文件数据、原子数据二、原子数据三、原子数据四；
模型计算的方法为：根据第二步的数据模型，利用原子数据进行内容级别的模型结果计算，主要是针对模型中文注释完整性、模型命名准确性、模型命名一致性、模型数据类型一致性、模型数据精度一致性、模型对应的数据内容是否为空、模型对应的数据量进行计算；
数据识别的方法为：使用基于高维词向量分析的深度学习算法，对数据中的往来单位、组织部门、岗位、人员、设备、物资、项目等40多类数据内容进行识别；对于识别后的数据，表示其为潜在业务主数据和公共主数据；
关系发现的方法为：借鉴物质化学构成原理构建人工智能模型，为具有相同、相似原子的文本数据建立一致的链接关系，并对其中组织机构、人员、业务对象的关系信息进行聚类，便于进行数据关联性、一致性和及时性分析；
流程还原的方法为：结合数据链接关系、发生时间、发生过程和衍生关系四方面进行数据流程还原，辅助用户清晰对应业务流程，验证对应关系是否准确；
第四步：通过第三步得出数据现状评估，数据现状评估包括元数据、主数据及数据流程；模型计算得出元数据，元数据包括模型现状和参考数据现状；模型现状是根据模型计算结果生成模型差异分析报告，供用户进行差异分析和数据治理；参考数据现状是根据数据内容形成的数据状态集；
数据识别得出主数据，主数据包括市场现状、客户现状、安全现状、综合现状、人资现状、物资现状、项目现状、财务现状、资产现状、电网现状、人资流程、物资流程、项目流程、财务流程、资产流程、电网流程；其中，主数据现状包括推荐的主数据清单和主数据差异分析报告，主数据清单是指各系统中本身资产内容一致的数据资产形成的清单，主数据差异分析报告是指各系统中不一致的数据资产形成的报告；
流程还得出数据流程，数据流程包括市场流程、客户流程、安全流程、综合流程；数据流程现状是数据流程的文字化记录，包括数据流程报告和数据流程差异报告；数据流程报告是指和标准流程对比后本身就一致的资产节点形成的流程报告，数据流程差异报告是指和标准流程不一致的内容形成的报告；
第五步：根据第四步的数据及流程得出数据规则库，数据规则库包括流程环节主数据管理、流程环节特征计算、流程环节规则审核、流程环节规则入库，
第六步：数据质量检测引擎，其包括模型监测、主数据监测、参考数据监测、流程数据监测、业务规则监测和数据规则监测，进入第七步；如果采用历史数据治理的结果则进入第二步中的原始数据，原子数据一，进入第三步，进入第四步，进入第五步，进入业务规则库，业务规则库包括流程环节主数据管理、流程环节标准制度入库、流程环节运行导则入库和流程环节专家规则入库，进入第六步；历史数据治理是根据数据现状差异报告中的内容进行历史数据治理，其治理结果会同步到原始数据中；再重新压缩为原子数据，并重新运行知识发现引擎就可以在数据现状评估中看到修正效果；所述历史数据治理，包括人资数据治理、物资数据治理、资产数据治理、其他数据治理：历史数据治理是根据数据现状差异报告中的内容进行治理，其治理结果会同步到原始数据中；再重新压缩为原子数据，并重新运行知识发现引擎就可以在数据现状评估中看到修正效果；
第七步：SG-RDB明细数据增量区；
第八步：SG-RDB明细数据全量区；
第九步：MPP数仓明细数据区；
第十步：数据资源服务目录；
第十一步：专题场景支撑。
2.根据权利要求1所述的基于人工智能技术的数据资产管理与监测方法，其特征在于：所述大文本数据是大于或等于256个字符。
3.根据权利要求1所述的基于人工智能技术的数据资产管理与监测方法，其特征在于：外部文件格式数据可以是word或wps产生的文件。
4.根据权利要求1所述的基于人工智能技术的数据资产管理与监测方法，其特征在于：第四步所述的数据状态集包括计量单位和性别。
CN201810154657.1A 2018-02-23 2018-02-23 基于人工智能技术的数据资产管理与监测方法 Withdrawn CN110163458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810154657.1A CN110163458A (zh) 2018-02-23 2018-02-23 基于人工智能技术的数据资产管理与监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810154657.1A CN110163458A (zh) 2018-02-23 2018-02-23 基于人工智能技术的数据资产管理与监测方法

Publications (1)

Publication Number Publication Date
CN110163458A true CN110163458A (zh) 2019-08-23

Family

ID=67635550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810154657.1A Withdrawn CN110163458A (zh) 2018-02-23 2018-02-23 基于人工智能技术的数据资产管理与监测方法

Country Status (1)

Country Link
CN (1) CN110163458A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078780A (zh) * 2019-12-23 2020-04-28 北京中创信测科技股份有限公司 一种ai优化数据治理的方法
CN111460016A (zh) * 2020-03-18 2020-07-28 金现代信息产业股份有限公司 实物id数据管控方法、系统及存储介质
CN111930729A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 动态实时计算大数据量的六西格玛数值的方法及系统
CN112347112A (zh) * 2020-09-16 2021-02-09 北京中兵数字科技集团有限公司 航空数据治理方法、航空数据治理装置和存储介质
CN112685425A (zh) * 2021-01-08 2021-04-20 东云睿连(武汉)计算技术有限公司 一种数据资产元信息处理系统和方法
CN113673889A (zh) * 2021-08-26 2021-11-19 上海罗盘信息科技有限公司 一种智能化数据资产识别的方法
CN114519101A (zh) * 2020-11-18 2022-05-20 易保网络技术(上海)有限公司 数据聚类方法和系统、数据存储方法和系统以及存储介质
CN115829186A (zh) * 2022-12-02 2023-03-21 杨恒 基于人工智能的erp管理方法及数据处理ai系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078780A (zh) * 2019-12-23 2020-04-28 北京中创信测科技股份有限公司 一种ai优化数据治理的方法
CN111460016A (zh) * 2020-03-18 2020-07-28 金现代信息产业股份有限公司 实物id数据管控方法、系统及存储介质
CN111930729A (zh) * 2020-07-02 2020-11-13 上海微亿智造科技有限公司 动态实时计算大数据量的六西格玛数值的方法及系统
CN112347112A (zh) * 2020-09-16 2021-02-09 北京中兵数字科技集团有限公司 航空数据治理方法、航空数据治理装置和存储介质
CN114519101A (zh) * 2020-11-18 2022-05-20 易保网络技术(上海)有限公司 数据聚类方法和系统、数据存储方法和系统以及存储介质
CN114519101B (zh) * 2020-11-18 2023-06-06 易保网络技术(上海)有限公司 数据聚类方法和系统、数据存储方法和系统以及存储介质
CN112685425A (zh) * 2021-01-08 2021-04-20 东云睿连(武汉)计算技术有限公司 一种数据资产元信息处理系统和方法
CN112685425B (zh) * 2021-01-08 2022-06-17 东云睿连(武汉)计算技术有限公司 一种数据资产元信息处理系统和方法
CN113673889A (zh) * 2021-08-26 2021-11-19 上海罗盘信息科技有限公司 一种智能化数据资产识别的方法
CN115829186A (zh) * 2022-12-02 2023-03-21 杨恒 基于人工智能的erp管理方法及数据处理ai系统
CN115829186B (zh) * 2022-12-02 2023-09-22 上海赢他网络科技有限公司 基于人工智能的erp管理方法及数据处理ai系统

Similar Documents

Publication Publication Date Title
CN110163458A (zh) 基于人工智能技术的数据资产管理与监测方法
Rodriguez et al. On software engineering repositories and their open problems
CN109523446A (zh) 一种面向价格领域的大数据处理分析系统
CN114925045B (zh) 大数据集成和管理的PaaS平台
CN107945086A (zh) 一种应用于智慧城市的大数据资源管理系统
CN112651126B (zh) 一种基于bim的建筑工程施工优化系统、方法、终端及存储介质
CN110851667B (zh) 一种多源头大量数据的整合分析方法及工具
CN109754219A (zh) 一种基于城市管理的大数据管理及分析平台系统
CN109491642A (zh) 一种基于场景的需求建模系统及方法、信息数据处理终端
CN111080261A (zh) 一种基于大数据的可视化数据资产管理系统
CN115423429A (zh) 基于图像和声音信息的多模态一体化配网运营系统
CN114880405A (zh) 一种基于数据湖的数据处理方法及系统
CN112883001A (zh) 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质
CN106355489A (zh) 一种面向管理的数据中心系统及数据处理方法
CN115358522A (zh) 一种企业在线监测系统和方法
CN109829615B (zh) 一种基于专有云的目标任务多级监控装置和方法
Salih et al. Data quality issues in big data: a review
CN113393922A (zh) 一种辅助诊疗类人工智能应用评估框架和评估方法
CN115016902B (zh) 工业流程数字化管理系统及方法
CN113505167A (zh) 一种链路预测关系推荐的用户数据预处理系统
Liu et al. Social-Transportation Analytic Toolbox (STAT) for Transit Networks
CN112396349A (zh) 一种基于业务实体的数据质量监控方法
Cheng et al. Smart Home Service Experience Strategic Foresight Using the Social Network Analysis and Future Triangle
CN117217412B (zh) 一种基于资源化利用的无废城市建设管理系统
Aydin Prominent quality attributes of crisis software systems: a literature review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190823

WW01 Invention patent application withdrawn after publication