CN112256673A - 一种基于人工智能的数据标准分析建立方法 - Google Patents

一种基于人工智能的数据标准分析建立方法 Download PDF

Info

Publication number
CN112256673A
CN112256673A CN202011186011.5A CN202011186011A CN112256673A CN 112256673 A CN112256673 A CN 112256673A CN 202011186011 A CN202011186011 A CN 202011186011A CN 112256673 A CN112256673 A CN 112256673A
Authority
CN
China
Prior art keywords
data
standard set
establishing
library
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011186011.5A
Other languages
English (en)
Inventor
彭海宇
陈燕群
李晓红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinpengcheng Data Technology Development Co ltd
Original Assignee
Shanghai Xinpengcheng Data Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinpengcheng Data Technology Development Co ltd filed Critical Shanghai Xinpengcheng Data Technology Development Co ltd
Priority to CN202011186011.5A priority Critical patent/CN112256673A/zh
Publication of CN112256673A publication Critical patent/CN112256673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/219Managing data history or versioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于人工智能的数据标准分析建立方法,涉及数据分析技术领域,包括以下步骤:预先采集源数据信息,并基于数据协议建立基础数据标准集合;对建立的基础数据标准集合进行预处理,获取各个标准集的子数据仓;建立基础数据标准集合的管理数据库,用于对建立基础数据标准集合和各个标准集的子数据仓,提供标准管理和版本管理工具;建立通用数据导入工具和数据采集库,用于为建立的管理数据库提供标准化数据采集,实现各类采集数据的自动入库。本发明实现标准化数据采集,便于各类采集数据的自动入库,满足数据互通互联,同时消除数据重复采集的现象,能解决数据不一致、统计不准确的问题。

Description

一种基于人工智能的数据标准分析建立方法
技术领域
本发明涉及数据分析技术领域,具体来说,涉及一种基于人工智能的数据标准分析建立方法。
背景技术
中职学校在智能化校园建设过程中,随着学校管理对信息化要求的提高,尤其是随着诊断与改进工作的全面推进,学校无法通过信息化手段完成围绕着诊改推行要求的规范管理工作,也无法通过信息化平台为诊改数据采集系统提供准确及时的过程数据和应对其余多项数据填报工作。
目前学校已有的各业务管理系统中,数据采集标准不统一,数据口径不唯一,缺乏完整性、真实性和准确性,无法实现数据共享和互通,数据的共享均靠数据表格导入导出,方式陈旧落后。系统间的数据无法完全同步,造成数据管理交叉杂乱,学校数据采集、录入、填报、校对工作烦乱复杂。各业务系统有交叉业务,但系统因建设部门的管理职责问题,绝大多数系统无法对其他业务部门开放,无法进行共享数据分享查看,甚至无法协同管理和流转应用,更无法实时进行数据交换,尚属于按业务条线有壁垒的运行状态。各业务系统因采购时期不同,需求设计和业务流转内容不同,所使用的开发语言、技术框架、系统设计的用户量级均不同,会给后期整合和维护工作造成较高风险。也有系统因无法持续更新而停用,过往资料和业务系统数据没有保存留档;新进更新过的业务系统没有留存老系统历史数据等问题。因此,技术问题造成的系统间协同、集成难以实现问题非常明显。
检索中国发明专利CN110476158A公开了一种数据分析设备,包括:频率分析单元,其在预定条件下对多个训练数据块中的每块执行频率分析,所述多个训练数据块包括其中一些已经被分配了指示数据类的标签的多个类的训练数据块;聚类分析单元,其将频率分析后训练数据块聚类成数个类的频率分析后训练数据;计算单元,其基于聚类来计算被分配了同一标签的频率分析后训练数据块没有被包括在同一聚类中的程度;以及选择单元,其从多个被计算出的程度当中选择根据当最小的程度被计算出时的聚类分析单元的聚类结果,作为用于对训练数据块分配标签的聚类模型。但其不能满足标准化数据采集,以及各类采集数据的自动入库,数据之间协调性较差。
针对相关技术中的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题,本发明提出一种基于人工智能的数据标准分析建立方法,以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的:
一种基于人工智能的数据标准分析建立方法,包括以下步骤:
步骤S1,预先采集源数据信息,并基于数据协议建立基础数据标准集合;
步骤S2,对建立的基础数据标准集合进行预处理,获取各个标准集的子数据仓;
步骤S3,建立基础数据标准集合的管理数据库,用于对建立基础数据标准集合和各个标准集的子数据仓,提供标准管理和版本管理工具;
步骤S4,建立通用数据导入工具和数据采集库,用于为建立的管理数据库提供标准化数据采集,实现各类采集数据的自动入库。
进一步的,所述采集源数据信息,还包括以下步骤:
进行样本数据采集,包括外部数据填报;
对获取的数据信息进行数据治理和异常数据处理;
对处理后的数据进行数据质量监测。
进一步的,步骤所述标准集的子数据仓,包括语义分析、聚类分析或关联分析对建立基础数据标准集合进行处理。
进一步的,步骤所述建立通用数据导入工具和数据采集库对各类采集数据的自动入库,还包括以下步骤:
符合基础数据标准集合的信息进入数据采集库;
不符合基础数据标准集合的信息纳入异常数据库。
进一步的,步骤所述不符合数据标准集协议的信息纳入异常数据库,包括以下步骤:
重新标定所述基础数据标准集合和各个标准集的子数据仓;
对异常数据库中提取样本数据进行数据回归,直至将异常数据库的全部数据都转化到数据采集库中。
进一步的,还包括以下步骤:
新引入一批数据,进行标准化数据采集。
进一步的,所述采集源数据信息,包括采集代码库、机构库、场地与设备库、财务基础信息库、教职工库和教师库、学生库和专业库。
本发明的有益效果:
本发明基于人工智能的数据标准分析建立方法,通过预先采集源数据信息,并基于数据协议建立基础数据标准集合,对建立的基础数据标准集合进行预处理,获取各个标准集的子数据仓,建立基础数据标准集合的管理数据库,用于对建立基础数据标准集合和各个标准集的子数据仓,提供标准管理和版本管理工具,建立通用数据导入工具和数据采集库,实现标准化数据采集,便于各类采集数据的自动入库,满足数据互通互联,同时消除数据重复采集的现象,能解决数据不一致、统计不准确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于人工智能的数据标准分析建立方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明的实施例,提供了一种基于人工智能的数据标准分析建立方法。
如图1所示,根据本发明实施例的基于人工智能的数据标准分析建立方法,包括以下步骤:
步骤S1、预先采集源数据信息,并基于数据协议建立基础数据标准集合;
步骤S2、对建立的基础数据标准集合进行预处理,获取各个标准集的子数据仓;
步骤S3、建立基础数据标准集合的管理数据库,用于对建立基础数据标准集合和各个标准集的子数据仓,提供标准管理和版本管理工具;
步骤S4、建立通用数据导入工具和数据采集库,用于为建立的管理数据库提供标准化数据采集,实现各类采集数据的自动入库。
借助于上述技术方案,通过预先采集源数据信息,并基于数据协议建立基础数据标准集合,对建立的基础数据标准集合进行预处理,获取各个标准集的子数据仓,建立基础数据标准集合的管理数据库,用于对建立基础数据标准集合和各个标准集的子数据仓,提供标准管理和版本管理工具,建立通用数据导入工具和数据采集库,实现标准化数据采集,便于各类采集数据的自动入库,满足数据互通互联,同时消除数据重复采集的现象,能解决数据不一致、统计不准确的问题。
其中,所述采集源数据信息,还包括以下步骤:
进行样本数据采集,包括外部数据填报;
对获取的数据信息进行数据治理和异常数据处理;
对处理后的数据进行数据质量监测。
其中,步骤所述标准集的子数据仓,包括语义分析、聚类分析或关联分析对建立基础数据标准集合进行处理。
其中,步骤所述建立通用数据导入工具和数据采集库对各类采集数据的自动入库,还包括以下步骤:
符合基础数据标准集合的信息进入数据采集库;
不符合基础数据标准集合的信息纳入异常数据库。
其中,步骤所述不符合数据标准集协议的信息纳入异常数据库,包括以下步骤:
重新标定所述基础数据标准集合和各个标准集的子数据仓;
对异常数据库中提取样本数据进行数据回归,直至将异常数据库的全部数据都转化到数据采集库中。
其中,还包括以下步骤:
新引入一批数据,进行标准化数据采集。
其中,所述采集源数据信息,包括采集代码库、机构库、场地与设备库、财务基础信息库、教职工库和教师库、学生库和专业库。
具体的,还可实现建立统一、稳定、规范的信息资源标准平台及配套管理体系,保证信息在采集、处理、交换、传输的过程中有统一、科学、规范的分类和描述,能够使信息更加有序流通、最大限度地实现信息资源共享;建立全局共享数据的信息服务架构与运行体系,实现信息数据资源的共享;发挥数据采集的多种技术手段,快速构建学校基础库;提供数据管理工具,满足集中访问的要求;构建强大的基础数据管理工具,为平台后期扩展提供支持;建立完善基础数据的日常维护和运行保障机制,制定数据管理标准、技术对接标准、数据安全管理流程等各项制度,保障基础数据库与各个业务系统之间的持续运行;包含职业院校诊断改进、质量年报、督导评估等业务所需要的数据信息与标准;实现历史数据的集中管理。
另外,还包括数据标准集管理模块,管理所有数据标准的定义,包括数据项名称、数据项类型、数据存储要求、合理取值范围等。数据通用采集工具模块,完成采集数据的入库。支持多种结构化数据格式,允许使用人员自定义格式。数据标准的差异化分析比对模块,实现数据标准内容、格式、长度等信息比对,完成数据标准集的自动扩展。其通过异常数据的管理与自动回溯,将传统的人工分析转化为机器自动分析通过自动化的模拟测试,解决数据标准集的复核、优化、合并等自动处理。利用特征向量、经验性归纳学习、类比学习等方法实现深度学习算法。
综上所述,借助于本发明的上述技术方案,通过预先采集源数据信息,并基于数据协议建立基础数据标准集合,对建立的基础数据标准集合进行预处理,获取各个标准集的子数据仓,建立基础数据标准集合的管理数据库,用于对建立基础数据标准集合和各个标准集的子数据仓,提供标准管理和版本管理工具,建立通用数据导入工具和数据采集库,实现标准化数据采集,便于各类采集数据的自动入库,满足数据互通互联,同时消除数据重复采集的现象,能解决数据不一致、统计不准确的问题。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于人工智能的数据标准分析建立方法,其特征在于,包括以下步骤:
预先采集源数据信息,并基于数据协议建立基础数据标准集合;
对建立的基础数据标准集合进行预处理,获取各个标准集的子数据仓;
建立基础数据标准集合的管理数据库,用于对建立基础数据标准集合和各个标准集的子数据仓,提供标准管理和版本管理工具;
建立通用数据导入工具和数据采集库,用于为建立的管理数据库提供标准化数据采集,实现各类采集数据的自动入库。
2.根据权利要求1所述的基于人工智能的数据标准分析建立方法,其特征在于,所述采集源数据信息,还包括以下步骤:
进行样本数据采集,包括外部数据填报;
对获取的数据信息进行数据治理和异常数据处理;
对处理后的数据进行数据质量监测。
3.根据权利要求1所述的基于人工智能的数据标准分析建立方法,其特征在于,步骤所述标准集的子数据仓,包括语义分析、聚类分析或关联分析对建立基础数据标准集合进行处理。
4.根据权利要求1所述的基于人工智能的数据标准分析建立方法,其特征在于,步骤所述建立通用数据导入工具和数据采集库对各类采集数据的自动入库,还包括以下步骤:
符合基础数据标准集合的信息进入数据采集库;
不符合基础数据标准集合的信息纳入异常数据库。
5.根据权利要求4所述的基于人工智能的数据标准分析建立方法,其特征在于,步骤所述不符合数据标准集协议的信息纳入异常数据库,包括以下步骤:
重新标定所述基础数据标准集合和各个标准集的子数据仓;
对异常数据库中提取样本数据进行数据回归,直至将异常数据库的全部数据都转化到数据采集库中。
6.根据权利要求1所述的基于人工智能的数据标准分析建立方法,其特征在于,还包括以下步骤:
新引入一批数据,进行标准化数据采集。
7.根据权利要求1所述的基于人工智能的数据标准分析建立方法,其特征在于,所述采集源数据信息,包括采集代码库、机构库、场地与设备库、财务基础信息库、教职工库和教师库、学生库和专业库。
CN202011186011.5A 2020-10-29 2020-10-29 一种基于人工智能的数据标准分析建立方法 Pending CN112256673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011186011.5A CN112256673A (zh) 2020-10-29 2020-10-29 一种基于人工智能的数据标准分析建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011186011.5A CN112256673A (zh) 2020-10-29 2020-10-29 一种基于人工智能的数据标准分析建立方法

Publications (1)

Publication Number Publication Date
CN112256673A true CN112256673A (zh) 2021-01-22

Family

ID=74267764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011186011.5A Pending CN112256673A (zh) 2020-10-29 2020-10-29 一种基于人工智能的数据标准分析建立方法

Country Status (1)

Country Link
CN (1) CN112256673A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574657A (zh) * 2015-12-11 2016-05-11 山东新网格信息技术有限公司 智能警务实战综合应用平台
CN105740339A (zh) * 2016-01-25 2016-07-06 河北中科恒运软件科技股份有限公司 民政大数据融合管理系统
CN110377697A (zh) * 2019-06-19 2019-10-25 平安国际智慧城市科技股份有限公司 元数据标准的更新方法、装置、设备及存储介质
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法
CN110796570A (zh) * 2019-10-30 2020-02-14 成都中科大旗软件股份有限公司 一种智慧文旅系统
CN111680029A (zh) * 2020-06-12 2020-09-18 普元信息技术股份有限公司 基于数据标准系统落标的优化管理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574657A (zh) * 2015-12-11 2016-05-11 山东新网格信息技术有限公司 智能警务实战综合应用平台
CN105740339A (zh) * 2016-01-25 2016-07-06 河北中科恒运软件科技股份有限公司 民政大数据融合管理系统
CN110377697A (zh) * 2019-06-19 2019-10-25 平安国际智慧城市科技股份有限公司 元数据标准的更新方法、装置、设备及存储介质
CN110796570A (zh) * 2019-10-30 2020-02-14 成都中科大旗软件股份有限公司 一种智慧文旅系统
CN110765337A (zh) * 2019-11-15 2020-02-07 中科院计算技术研究所大数据研究院 一种基于互联网大数据的服务提供方法
CN111680029A (zh) * 2020-06-12 2020-09-18 普元信息技术股份有限公司 基于数据标准系统落标的优化管理方法

Similar Documents

Publication Publication Date Title
CN107609835B (zh) 一种电网人力配置应用系统及方法
CN107909300A (zh) 智能工厂管理平台和方法
CN105574593B (zh) 基于云计算和大数据的轨道状态静态检控系统及方法
CN109359950B (zh) 一种电网监控信息全过程管控的方法
CN112183379A (zh) 一种面向报表的多维度管理分析方法及系统
CN111080261A (zh) 一种基于大数据的可视化数据资产管理系统
CN113283772A (zh) 一种电力营销稽查业务规则分析应用方法
CN116932523B (zh) 一种整合和监管第三方环境检测机构的平台
CN113506098A (zh) 基于多源数据的电厂元数据管理系统及方法
CN116894639B (zh) 一种物联网多信息融合计划管理系统及方法
CN112735571A (zh) 一种医疗健康数据上传管理平台
CN112256673A (zh) 一种基于人工智能的数据标准分析建立方法
CN117371933A (zh) 一种基于物联网的智慧实验室管理系统
CN114201734A (zh) 基于数据中台的项目节点数据监测与预警方法及系统
CN112287116A (zh) 一种基于知识图谱的院校数据分析方法
CN111241086B (zh) 一种基于医疗大数据的数据质量改进方法及系统
CN114118717A (zh) 一种矿山企业生产状态监管监察方法及系统
CN111625616A (zh) 一种能够海量存储的企业级的数据管理系统
CN110298585A (zh) 一种变电站设备监控信息分层分级自动审核方法
CN109918353A (zh) 自动化信息处理的方法及终端设备
CN113377926B (zh) 一种质量信息本体演化的注册元模型的构建方法
Peng Research on the Precise Funding System for College Students with Financial Difficulties from Families in the Perspective of Big data
CN114092062A (zh) 一种用于配电网的项目改造管理方法及系统
CN117114504A (zh) 一种基于数据挖掘的电网安全管理督查及违章追溯方法
Blat Remote monitoring and diagnostics of devices based on distributed database system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122