CN114003586A - 一种智慧教育大数据平台建设方法 - Google Patents

一种智慧教育大数据平台建设方法 Download PDF

Info

Publication number
CN114003586A
CN114003586A CN202111384088.8A CN202111384088A CN114003586A CN 114003586 A CN114003586 A CN 114003586A CN 202111384088 A CN202111384088 A CN 202111384088A CN 114003586 A CN114003586 A CN 114003586A
Authority
CN
China
Prior art keywords
data
education
analysis
management
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111384088.8A
Other languages
English (en)
Inventor
王大林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaxun High Tech Co ltd
Original Assignee
Huaxun High Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaxun High Tech Co ltd filed Critical Huaxun High Tech Co ltd
Priority to CN202111384088.8A priority Critical patent/CN114003586A/zh
Publication of CN114003586A publication Critical patent/CN114003586A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了大数据技术领域的一种智慧教育大数据平台建设方法,该智慧教育大数据平台建设方法包括如下步骤:以国家系统数据为基础,建设全面覆盖学生、教师、后勤基础建设与办学条件、财务四大类教育基础数据库,可以在不影响师生教学活动的情况下,实时、持续地采集更多微观的教与学的过程性数据,对用户不同行为类型、不同方式进行采集和存储,在建设完善数据的同时,明确数据的标准来源、更新周期和调用原则,为上层各类应用提供统一的基础数据支撑,本发明需要依据各应用的基础数据和生产数据,汇总到数据中台,进行统计分析,形成多个维度的报表和直观的可视化图形,作为教育决策者的决策依据。

Description

一种智慧教育大数据平台建设方法
技术领域
本发明涉及大数据技术领域,具体为一种智慧教育大数据平台建设方法。
背景技术
教育是由政府主导和制约的一种特殊的“社会供给”,教育信息化是推动实现教育现代化的必然途径。教育信息化建设是一个复杂的系统工程,从“做起来”到“用起来”再到“推广开来”必将需要业务部门结合地区实际拿出攻关精神,开拓创新地扎实推进。教育信息化建设中先进的顶层设计、有效的推进机制和保障措施缺一不可;教育信息化建设应依据发展的长远规划,进行适配的信息化发展建设;还应当与教学融合创新,让优质教学资源覆盖全区师生。
现阶段各学校信息化建设程度各不相同,应用建设分散、无法实现连通整合,优质教育教学资源无法汇聚,无法在较高角度上进行教学资源和应用管理的统筹规划,存在大量数据孤岛,而且教育局与学校之间的网路尚未实现互通,教育局无法实现对一线教育教学数据的全面采集、分析和监管,虽然先前阶段已经进行了教学和校园的信息化建设,但是校园教室智慧化程度不够高,在智慧校园的建设中,有更多的建设空间完善教学和校园环境。
发明内容
本发明的目的在于提供一种智慧教育大数据平台建设方法,以解决上述背景技术中提出的现阶段各学校信息化建设程度各不相同,应用建设分散、无法实现连通整合,优质教育教学资源无法汇聚,无法在较高角度上进行教学资源和应用管理的统筹规划,存在大量数据孤岛,而且教育局与学校之间的网路尚未实现互通,教育局无法实现对一线教育教学数据的全面采集、分析和监管的问题。
为实现上述目的,本发明提供如下技术方案:一种智慧教育大数据平台建设方法,该智慧教育大数据平台建设方法包括如下步骤:
S1:数据来源与支撑:以国家系统数据为基础,建设全面覆盖学生、教师、后勤基础建设与办学条件、财务四大类教育基础数据库,在此基础上,建设教育行为动态跟踪数据库,可以在不影响师生教学活动的情况下,实时、持续地采集更多微观的教与学的过程性数据,对用户不同行为类型、不同方式进行采集和存储,在建设完善数据的同时,明确数据的标准来源、更新周期和调用原则,为上层各类应用提供统一的基础数据支撑;
S2:数据接入方式:对于在线教育数据利用大数据平台数据采集功能实现汇聚,并统一存储和管理,离线教育数据利用本地上报的方式,然后大数据平台与呼和浩特市教育云平台和国家教育云平台对接,实现地方教育数据统一出口、自动上报;
S3:教育业务数据标准制定:从地方教育信息化发展的总体目标出发,参考和遵循国家、教育部相关标准规范,建设地方教育信息化标准规范体系,为地方教育信息化建设提供标准规范指导和依据,实现数据统一管理、动态呈现和可视化感知,以一种更直观的方式展现教育数据资产,提升师生及各级教育主管单位的数据意识,持续保障数据质量监管,提高数据应用水平;
S4:按标准转化数据形成标准库:为了实现数据源头采集、过程留痕,设计原始库、标准库、主题库三层架构;
S5:基于应用业务和场景构建主题库:主题库为各业务域数据集中存储的仓库,为上层应用提供敏捷数据支撑服务。将极大减少数据的采集、使用与沟通所占用的时间与人力成本。建设数据交换共享工具,为数据的互联互通提供工具支撑,在避免基础数据重复采集的同时,实现业务数据的二次提取和利用;真正实现横向集成、纵向贯通、全局共享的信息资源及服务中心,形成“一师一档、一生一档、终身服务”的教育数据资产管理体系;
S6:构建数据挖掘与分析模型:通过数据挖掘中的关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等用户可快速对数据进行分析展示和公开,系统可支持日常超过90%以上的数据类型作为智慧教育大数据分析的数据源进行对接,用户只需要在智慧教育大数据分析进行数据库连接和本地文件上传即可。结果通过留存分析模型、漏斗分析模型、全行为路径分析、热图分析模型、事件分析模型、用户分群模型、用户分析模型、黏性分析模型等进行分析;
S7:数据分析与价值释放:针对地方教育实际情况,梳理符合政策文件的评价指标,并对指标的预警值进行调研,最终形成学位压力分析与预警、师资均衡决策与预警、疫情分析与预警、大班额分析与预警、控辍保学分析与预警等分析预警一张图,整合对接省级平台和市域相关部门数据,形成区域教育云应用体系,区域深度融合的地方教育大数据应用体系;
S8:数据分析与结果共享:建设教育信息资源目录,建设“数据商城”式教育信息交换共享与运营机制,将数据服务的发布、使用授权审批流程制度化、透明化、常态化。
优选的,所述步骤S1中的教育基础数据库包括教育资源数据库、用户数据库、业务数据库和管理数据库。
优选的,所述步骤S1中的对用户不同行为类型、不同方式进行采集和存储包括学生的学习轨迹、在每道作业题的作答情况和教师课堂中利用多媒体设备进行提问的次数。
优选的,所述步骤S3中的实现数据统一管理、动态呈现和可视化感知包括对元数据、数据质量、数据血缘、数据生命周期等进行管理和展示。
优选的,所述步骤S4中的主题库包括基础数据库和各主题应用库。
优选的,所述步骤S4中的原始库保证全量数据采集,原始数据可查,标准库通过数据治理实现数据标准转换,积累数据资产,减少数据应用建设的反复沟通、重复采集问题。
与现有技术相比,本发明的有益效果是:本发明需要依据各应用的基础数据和生产数据,汇总到数据中台,进行统计分析,形成多个维度的报表和直观的可视化图形,作为教育决策者的决策依据。
附图说明
图1为本发明建设方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种智慧教育大数据平台建设方法,建设数据中台,需要依据各应用的基础数据和生产数据,汇总到数据中台,进行统计分析,形成多个维度的报表和直观的可视化图形,作为教育决策者的决策依据;
S1:数据来源与支撑:以国家系统数据为基础,建设全面覆盖学生、教师、后勤基础建设与办学条件、财务四大类教育基础数据库,包括教育资源数据库(包括教材、教案、课件、习题、试卷和微课等)、用户数据库(包括学生、教师、管理者等用户账号数据)、业务数据库(包括智慧作业、学业学情等数据)、管理数据库(包括各类教育指标、统计分析数据等),进一步建设包括人事、研训、科研、名师工作室、采购管理、资产管理、资产台账等系统数据支撑,在此基础上,建设教育行为动态跟踪数据库,可以在不影响师生教学活动的情况下,实时、持续地采集更多微观的教与学的过程性数据,对用户不同行为类型、不同方式进行采集和存储,比如学生的学习轨迹(鼠标点击动作、页面动作、内容交互等)、在每道作业题的作答情况(正误率、逗留时间等)、教师课堂中利用多媒体设备进行提问的次数等,在建设完善数据的同时,明确数据的标准来源、更新周期和调用原则,为上层各类应用提供统一的基础数据支撑;
S2:数据接入方式:对于在线教育数据利用大数据平台数据采集功能实现汇聚,并统一存储和管理,离线教育数据利用本地上报的方式,然后大数据平台与呼和浩特市教育云平台和国家教育云平台对接,实现地方教育数据统一出口、自动上报;
S3:教育业务数据标准制定:从地方教育信息化发展的总体目标出发,参考和遵循国家、教育部相关标准规范,建设地方教育信息化标准规范体系,为地方教育信息化建设提供标准规范指导和依据,标准规范制定相对容易,但如何保证标准规范适用、好用、易用,确保在后续信息化项目得到贯彻执行则相对较难;成功的标准规范,很大程度取决于标准规范参与者的经验沉淀和对行业的理解,因此需要制定《地方教育数据管理规范》,实现数据统一管理、动态呈现和可视化感知,包括对元数据、数据质量、数据血缘、数据生命周期等进行管理和展示,以一种更直观的方式展现教育数据资产,提升师生及各级教育主管单位的数据意识,持续保障数据质量监管,提高数据应用水平;
S4:按标准转化数据形成标准库:为了实现数据源头采集、过程留痕,设计原始库、标准库、主题库(含基础数据库、各主题应用库)三层架构,原始库保证全量数据采集,原始数据可查;标准库通过数据治理实现数据标准转换,积累数据资产,减少数据应用建设的反复沟通、重复采集问题;
S5:基于应用业务和场景构建主题库:主题库为各业务域数据集中存储的仓库,为上层应用提供敏捷数据支撑服务,将极大减少数据的采集、使用与沟通所占用的时间与人力成本,建设数据交换共享工具,为数据的互联互通提供工具支撑,在避免基础数据重复采集的同时,实现业务数据的二次提取和利用;真正实现横向集成、纵向贯通、全局共享的信息资源及服务中心,完成从“数出多门”到“一数一源、数入一库、数出一门”的转变,让数据成为政府的核心战略资产,形成“一师一档、一生一档、终身服务”的教育数据资产管理体系;
S6:构建数据挖掘与分析模型:通过数据挖掘中的关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等用户可快速对数据进行分析展示和公开,系统可支持日常超过90%以上的数据类型作为智慧教育大数据分析的数据源进行对接,用户只需要在智慧教育大数据分析进行数据库连接和本地文件上传即可,结果通过留存分析模型、漏斗分析模型、全行为路径分析、热图分析模型、事件分析模型、用户分群模型、用户分析模型、黏性分析模型等进行分析;
S7:数据分析与价值释放:针对地方教育实际情况,梳理符合政策文件的评价指标,并对指标的预警值进行调研,最终形成学位压力分析与预警、师资均衡决策与预警、疫情分析与预警、大班额分析与预警、控辍保学分析与预警等分析预警一张图,此外,整合对接省级平台和市域相关部门数据(如户籍、房产、卫生等数据),形成区域教育云应用体系,区域深度融合的地方教育大数据应用体系
S8:数据分析与结果共享:建设教育信息资源目录,建设“数据商城”式教育信息交换共享与运营机制,将数据服务的发布、使用授权审批流程制度化、透明化、常态化,使数据“给的放心、用的明白”,每一个人都是数据的生产者、链接者和使用者,伴随着教育业务信息化程度的提升,教育从业者对数据意识越来越强,数据服务的供、需、管三方对数据授权与安全保障的沟通则成为挖掘数据价值的拦路虎,因此,需要建设运营体系和安全体系,使地方大数据平台得以健康、持续运转,持续发挥数据应用价值。
实施例
1.1数据汇聚平台建设
1.1.1总体目标
平台数据资源汇聚主要利用多种大数据汇聚工具,实现多源异构数据的“一横一纵”全面全量汇聚,包括部门内部、外部各信息资源,采用整合匹配、多维度融合方法手段,为相关数据从采集、加工、清洗、挖掘、共享提供一体化、全生命周期的综合管理方案,为相关领域数据价值挖掘、业务协同共享奠定大数据基础,实现各维度各来源数据的整合关联,形成专题数据体系,服务于后续的决策分析与共享应用;
1.1.2功能模块设计
数据汇聚平台将以结构化数据采集为准,设计结构化数据采集、结构化任务查看、采集任务配置、API接口采集、本地文件采集、数据源管理、项目管理、数据同步等功能模块;
1.1.3详细建设内容
1.1.3.1结构化采集
智慧校园大数据中台建设中,数据汇聚将以结构化采集为主,系统支持mysql、oracle、sqlserver、postgressql、db2数据库的采集,提供批量采集表的功能,每个采集任务支持定时采集,查看采集结果,对不同的表配置不同的资源做采集,提供每个数据源的采集统计,统计每天的执行任务数,采集数量,采集成功和采集失败数量,提供每个表每次执行采集数量展示;
1.1.3.2结构化任务查看
智慧校园大数据中台支持结构化采集任务查看,可查看当前任务执行情况、完成、失败、运行中和排队;
(1)任务执行情况
支持非结构化数据采集任务执行情况查看,可查看任务执行进度条,任务耗时、任务预计完成时间等信息;
(2)任务完成情况
系统可查看任务是否完成,已经完成的将标记为已完成;
(3)任务失败
系统可查看失败任务,提供中断、取消、失败等状态标记;
(4)任务运行中
针对正在运行的任务,系统提供运行监管功能,查看任务进度详情功能;
(5)任务排队中
系统按照优先级,设置最大运行任务数量,对于未开始的任务将标记为排队中;
1.1.3.3采集任务配置
智慧校园大数据中台支持结构化采集任务资源自动配置,根据采集数量自动配置采集所需资源;
1.1.3.4API接口采集
智慧校园大数据中台支持对API接口的采集,并可对API中的数据保存为结构化数据;
1.1.3.5本地文件采集
智慧校园大数据中台支持文件批量上传,文件查看下载,对文件添加标签管理,支持对文件标签的统计分析,支持对数据文件导入为结构化数据;
(1)文件批量上传
可固化文件字段,固化模板,通过批量上传本地文件;
(2)文件查看和下载
用户可点击文件详情查看文件字段,并提供文件下载功能;
(3)文件标签
用户可根据实际情况对文件进行标签管理;
(4)文件标签统计
系统支持按照标签统计和导出功能;
(5)导入结构化数据
系统支持将本地文件倒入味结构化的数据;
1.1.3.6数据源管理
智慧校园大数据中台数据源管理主要提供各类数据源的信息配置、连接测试、元数据获取等功能,对数据源的连接名、主机IP、端口、服务名、用户名、密码、URL及数据库表等信息进行管理,提供数据源新增、修改、删除等操作;
1.1.3.7项目管理
智慧校园大数据中台平台提供数据汇聚项目的管理功能,可对平台中的数据资源汇聚情况进行分类管理,提供项目新增、修改、删除等操作;
1.1.3.8数据同步
智慧校园大数据中台提供数据同步的web操作界面,无需用户操作数据库即可进行数据同步,提供数据同步任务管理和同步日志管理,通过设定数据同步任务,进行数据同步频次、字段映射、脚本、数据源、写入数据库表等信息进行配置,即可配置相应的数据同步任务,用户可通过平台查询数据同步日志,查看任务执行情况和结果及详细的同步日志;
1.2数据治理平台建设
1.2.1总体目标
根据数据使用要求,通过配置相应规则,对现有数据资源进行治理,从而提升数据价值,数据治理是实现数字战略的基础,它是一个数据的管理体系,包括组织、制度、流程、工具等要素,数据质量内容包括数据校验、数据脱敏、数据标准化等过程;
1.2.2功能模块设计
数据治理平台设计内容包括数据预处理、流程配置、自定义流程、输入数据、输出数据、数据加密、代码管理、数据项标准管理、数据项版本管理、分类标准管理、数据审核管理、元数据管理等14项功能;
1.2.3详细建设内容
1.2.3.1数据预处理
智慧校园大数据中台提供拖拉拽的数据预处理功能,同时支持批量开启、批量关闭处理任务,也可对数据预处理流程进行预览,数据预处理列表能展示所处理的数据流程名称、目的库表、上次预处理的时间等信息,同时支持运行频率批量设置;
(1)数据预处理
智慧校园大数据中台的数据预处理将提供拖拉拽处理功能,支持个性化的选择、配置服务,便于数据治理任务的灵活处理;
(2)批量开启/关闭
数据治理平台可以对数据预处理列表进行批量维护服务,可通过复选框进行选择列表进行批量开启服务、批量关闭服务;
(3)数据预处理列表
数据预处理列表将按照行政区划、组织机构、主题分类进行逐级钻取展示,列表将展示数据预处理流程名称、目的库表、上次预处理时间等信息,支持预览、查看详情、开启、关闭等快捷处理;
(4)运行频率批量设置
针对数据预处理列表,可批量设置数据预处理的频率;
1.2.3.2流程配置
智慧校园大数据中台数据治理模块中配置新增数据预处理流程,支持便捷的操作方式,在数据预处理配置过程中只需要拖拽相关的模块进行配置就可以完成整个数据预处理工作,如:选择一个输入源、其次选择一个或多个处理模块组合配置,最后通过输出模块进行输出就能完成整个处理流程;
1.2.3.3自定义流程
智慧校园大数据中台在新建数据处理流程时,数据治理平台提供数据预处理模块帮助文档,方便用户自定义数据预处理流程,帮助文档将提供自定义流程的操作指南、注意事项、常见问题及服务热线;
1.2.3.4输入数据
智慧校园大数据中台数据预处理输入数据源除支持平台hive输入外,同时支持jdbc数据源输入;
1.2.3.5输出数据
智慧校园大数据中台在数据治理后输出数据源时,数据治理平台支持输出到平台进行存储,同时支持输出到外置数据库进行存储,并支持文件输出;
1.2.3.6数据表处理
智慧校园大数据中台针对数据预处理时,对数据表的处理提供重复数据、表合并、表拆分、多表关联等数据处理功能,包括:数据清洗模块中的选择列、常量列、条件列、去重、过滤、替换、合并、关联等;
1.2.3.7数据加密
智慧校园大数据中台数据加密模块支持数据加密和脱敏功能,数据加密支持BASE64和MD5两种加密方式;数据脱敏支持针对电话号码身份证等信息进行*号脱敏,数据加密是对部分敏感信息通过加密规则进行“数据变形”,实现敏感隐私数据的可靠保护,在涉及安全数据或敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号等个人信息都需要进行数据脱敏,在脱敏后的数据,可以综合应用于平台各项功能应用,在实际的数据运用阶段,应加强对于数据安全和隐私的手段,应进行数据脱敏,在便捷的基础上兼顾安全,数据中台围绕数据使用的全生命周期流程,为政府单位构建完善的数据使用管控体系;
(1)数据发布阶段
提供字段级的数据加密及脱敏策略,在发布时一键将高敏感或与个人隐私高度相关的数据实现加密发布,例如学生个人联系方式、教师工资等;
(2)数据申请阶段
基于token的身份验证机制和权限控制机制,保障调用方身份的唯一性和有效性;
(3)数据审核阶段
提供基于条件限制的内容过滤功能,例如新开发的成绩查询APP需要获取学生管理数据集中的本专科成绩信息时,在提交了数据API申请请求后,管理人员可对每个字段添加对应的限制条件,例如对学期字段添加仅当前学期的限制,从而避免数据的过度暴露;
(4)数据调用阶段
提供数据访问黑/白名单设计,例如设可访问数据的IP段,若不在此IP段中将无法接触到校内的数据资产;
同时基于可视化操作灵活控制接口的停用和启用等操作,实现调用过程的自主可控;
(5)数据运维阶段
灵敏预警:建立健全的高效灵敏预警体系,通过对系统各模块完善监测机制,得到量化的数据,分析发现并预测潜在危机,及时上报,预警风险;
1.2.3.8数据清洗
针对数据清洗,智慧校园大数据中台满足不同层次的人员对数据预处理的需求,一般人员可以通过固化的清洗模块完成数据处理,专业人员可通过UDF中的SQL和Python模块以代码的方式完成数据处理;
(1)固化数据清洗
为普通用户提供数据清洗模板,用户根据规则自主完成数据清洗工作;
(2)UDF数据清洗
UDF数据清洗过程中,首先首编写UDF,然后去除“[]”的UDF,再将时间日志格式化UDF,编写插入数据hive脚本,最后输入数据,完成数据清洗工作;
1.2.3.9代码管理
智慧校园大数据中台提供代码管理功能,为学校提供统一的代码维护界面;支持对学校代码标准的批量导入、导出功能;支持对代码标准的搜索功能,可按照编码、标准类型、审核状态等条件进行搜索查询;新增代码支持提交详情查看功能;
(1)代码维护
为用户提供代码维护功能,按照统一的维护界面,统一口径,实现系统代码管理;
(2)代码导入导出
系统支持学校代码标准的批量导入导出功能,实现了灵活的代码管理服务;
(3)代码标准搜索
系统支持按照编码、标准类型、审核状态等条件进行高级查询功能;
(4)代码查看
针对新增的代码,支持提交、查看详情功能,
1.2.3.10数据项标准管理
智慧校园大数据中台提供数据项标准管理,通过结合学校调研后产生的数据项标准,提供学校数据项颗粒度级别的标准的查看、修改、删除、添加等功能,并且对数据项所属编码标准、对应数据项执行的检测规则进行管理;投标时提供真实产品演,数据项标准版本管理颗粒度细化到单个数据项,记录并展示单个数据项的变化历程及使用情况,便于学校掌握现有标准变化为后续标准变化提供决策依据;对于单个数据项可以绑定代码标准,体现治理过程中代码标准和数据项标准的关联性;
1.2.3.11数据项版本管理
智慧校园大数据中台可查看所有版本记录数,可升序或者降序查看数据版本,支持数据版本比对,包括:新增标准项、修改标准项详细信息,形成更加细致的版本管理;
1.2.3.12分类标准管理
智慧校园大数据中台支持对数据项和检核规则的分类方式进行管理,对数据项进行分类管理,保证再使用数据项时能够快速定位到需要使用的数据项提升治理效率;
1.2.3.13数据审核管理
智慧校园大数据中台对发布、变更的数据标准进行审核管理,对于数据标准变更、新增等操作进行审核保留审核记录,使学校数据标准变更流程标准化、透明化;
1.2.3.14元数据管理
智慧校园大数据中台支持元数据管理功能,提供新建数据元素、学校数据标准类型、数据项标准、编码标准、数据地图、数据字典以及UC矩阵等,UC矩阵根据数据采集和交换情况自动生成UC矩阵表,UC矩阵追踪颗粒度精细到字段级别,增加UC矩阵字段级别溯源,可手动修改字段来源,当需要提高数据质量或处理数据问题时方便进行追踪;
1.3数据资产管理平台建设
1.3.1总体目标
智慧教育业务繁多,不同类型业务可能存在很多重复数据,所谓的数据资产就是把数据的模型去重、归一、梳理,变成一个树状结构,这个树状结构不直接对应数据库中的字段,数据资产管理是从业务层面出发制定数据标准,将各类数据按规则抽取出来,形成供于查询、使用、分析、挖掘的有价值的数据资产;
1.3.2功能模块设计
智慧校园大数据中台数据资产管理平台提供数据资产概况、数据资产趋势、数据库、主题库、数据统计、检核分类分布、数据质量报告和数据质量排行等8项功能;
1.3.3详细建设内容
1.3.3.1数据资产概况
智慧校园大数据中台提供数据资产的总体概括,包括数据量、数据源、专题资产、主题资产的总体情况,通过图、表、关系图等方式进行展示,可直观掌握平台所有数据资产分布情况,包含系统标准化排行、平台数据量趋势、原始库、标准库、主题库数据情况、主题域数据情况统计、检核类别分布、数据质量报告、系统质量排行系统标准化排行能展示系统标准化排行情况等信息;
1.3.3.2数据资产趋势
智慧校园大数据中台提供数据量趋势展示功能,包括原始库、标准库、主题库近一个月的数据量变化情况,并能根据趋势情况逐级钻取查看数据资产详情;
1.3.3.3数据库
智慧校园大数据中台提供原始库展示和标准库的数据统计情况,并能根据统计图、表钻取查看数据库详情;
1.3.3.4主题库
智慧校园大数据中台提供主题库管理功能,主题库能够展示主题资产统计情况、主题域情况,并能够根据统计图、趋势图等下钻查看主题库详情;
1.3.3.5数据统计
智慧校园大数据中台能够展示各主题域数据统计情况和共享交换情况,通过不同的主题、专题进行数据的汇聚、数据治理、数据加密等任务统计情况;
1.3.3.6检核类别分布
智慧校园大数据中台提供检核类别分布功能,通过展示平台所使用检核类别分布情况来反映数据资产分布情况;
1.3.3.7数据质量报告
智慧校园大数据中台提供数据质量报告展示功能,能展示数据质量问题率、总体概况、质量情况、问题详情、重点字段、检核概况系统质量排行,并能够逐级下钻查看数据质量报告详情;
1.3.3.8数据质量排行
智慧校园大数据中台能够展示平台接入业务系统数据质量排行情况,同时支持下钻至系统质量报告进行问题详情查看;
1.4数据服务平台建设
1.4.1总体目标
智慧校园大数据中台面向各类用户,梳理数据服务清单,按不同服务进行分类配置,对服务启用、调用、停用、下线等状态进行科学管理,实现灵活便捷的数据应用服务;
1.4.2功能模块设计
数据服务平台建设内容包括分布式架构管理、数据封装、数据源管理、数据源列表、用户管理、数据安全管理、API列表展示、API详情、API共享配置、API统计和数据服务接口管理等11项功能;
1.4.3详细建设内容
1.4.3.1分布式架构管理
智慧校园大数据中台数据服务采用分布式架构设计,提供负载均衡满足高并发场景,同时也提供高可用接口不受单个程序异常的影响,采用目前成熟的分布式技术包括J2EE,CORBA和.NET(DCOM),从应用软件的开发过程的角度看,J2EE是完全开放式的平台,体现为既面向设计人员,也面向开发人员的规范;CORBA也是一种规范,但更多体现为中间产品,CORBA产品的提供商才是这种规范的真正执行者,.NET作为Microsoft在网络环境的主打,体现为一系列产品化的开发工具,比如C#,C++,等;
1.4.3.2数据封装
数据服务主要是针对大数据平台中的结构化数据,以及外置数据库进行二次封装以接口方式提供数据共享功能,数据二次封装时,首先第一步就是配置greendao,在工程(project.gradle)的gradle中添加classpath,然后在app.gradle中添加;第二步是写实体类,新建实体类,里面包括要数据库表中的键,这些greendao都会在数据库中帮我们完成;第三步就是新建一个类DaoManager.java,此类用来对数据库的创建表,更新数据库;第四步是新建一个DbUtil类,用来对数据库的增删改查方法进行封装,由此,完成数据的二次封装;
1.4.3.3数据源管理
在数据服务中数据源管理,外置数据库支持常见的mysql、sqlserver、oracle、kudu数据库;内置数据库支持大数据平台Hive库中的数据进行共享,数据服务平台提供外置数据库和内置数据库的数据源管理功能;
1.4.3.4数据源列表
数据源列表应含数据源名称、注册库信息、地址信息、数据库类型等信息,不论是内置数据库还是外置数据库,系统均提供数据源列表,通过主题逐级钻取查看和查询数据源详情;
1.4.3.5用户管理
智慧校园大数据中台针对数据服务的用户提供管理功能,用户管理列表包含:用户名、创建人、创建时间、帐号、重置密码、帐号权限、API关联等信息;
1.4.3.6数据安全管理
智慧校园大数据中台数据服务提供多方位的数据安全管理,权限配置可细化到字段级别,对于所有字段可进行安全登记配置,形成不同层次、不同级别的数据安全管理;
1.4.3.7API列表展示
智慧校园大数据中台API列表展示包含API的名称、API的类型、API地址、来源库、配置时间、状态等信息;
1.4.3.8API详情
通过API列表可查看API详情,API查看可展示API基本信息情况、所授权的字段情况以及API所授权的用户等,同时支持配置该API下的ip和访问次数的限制;
1.4.3.9API共享配置
API共享配置支持对可访问数据的细化,并支持对敏感数据的脱敏操作,
1.4.3.10API统计
智慧校园大数据中台数据服务提供API统计功能,以API访问量、用户访问量、日期访问量进行统计展示;
1.4.3.11数据服务接口管理
智慧校园大数据中台提供统一的数据服务接口,支持JDBC和API两种连接方式;
1.5数据分析平台建设
1.5.1总体目标
智慧校园大数据中台数据分析将进行多层面、多角度分析研究并形成系列报告,通过智慧校园大数据中台,揭示智慧校园工作的真面貌,反映了教师、学生等现状,为更加客观、科学地想问题、做决策提供了重要依据,我们对“大数据”进行系列分析研究,目的在于开发“大数据”、运用“大数据”,进而转化为我们的工作思路和行动措施,真正做到对症下药、对号入座地开展工作;
1.5.2功能模块设计
智慧校园大数据中台数据分析平台建设内容包括学生个人画像、教师个人画像、学位压力分析与预警、柿子均衡决策与预警、疫情分析与预警、大班额分析与预警、控辍保学分析与预警和校园安全数据分析等8项功能;
1.5.3详细建设内容
1.5.3.1学生个人画像
学生个人画像包括学生综合画像、学习成绩分析、运动体制分析、综合素质分析、社会实践分析、社交关系分析和电子档案分析;
1.5.3.1.1学生综合画像
学生综合画像将综合分析学生基础信息、学习水平、综合素质、运动体质、饮食健康、社交关系方面的特征,描绘学生综合画像,同时分析学生近一月行为轨迹,展示学生在校职务及获奖等关键数据;
1.5.3.1.2学习成绩
综合分析学生不同年级、学期、课程科目成绩情况及综合排名,分析整体学习水平情况,分析学生成绩变化趋势,描绘成绩发展趋势;
1.5.3.1.3运动体制
根据学生体测数据,综合分析学生运动及各项运动健康数据,分析各项指标变化趋势,分析指标健康状况,推送预警及推荐运动方式,并分析学生体质特征;
1.5.3.1.4综合素质
综合分析学生德、智、体、美、劳相关素质数据(综合自我评价、老师评价、学生评价数据等),分析学生素质发展状况;
1.5.3.1.5社会实践
综合分析学生社会实践数据,记录学生实践活动,分析学生社会实践趋向;
1.5.3.1.6社交关系
构建学生综合关系图谱,分析学生社交关系及社交能力;
1.5.3.1.7电子档案
汇总学生历史数据,生成详细的数据记录,生成电子档案;
1.5.3.2教师个人画像
建设老师个人大数据档案,并根据权限查看教师数据范围,围绕综合画像、电子档案、教师发展和综合比对四个方面进行分析;
1.5.3.2.1教师综合画像
分析包括老师基础信息,教育经历,教学经历,荣誉,教研成果,综合印象等维度,描绘教师综合画像;
1.5.3.2.2教师电子档案
涵盖教师基础信息,教育经历,教学经历,成果,荣誉等,生成电子档案;
1.5.3.2.3教师发展分析
综合分析教师培训进修,教学教研成果,思政学习等内容
1.5.3.2.4综合对比
针对个人分析个人在整个学校和区县中综合排名,包括教研成果,荣誉、进修学习等,推荐优秀教师简要经历,供参考学习;
1.5.3.3学位压力分析与预警
实现包括义务教育阶段公办学校学区划分、学校办学规模、每年招生计划、学区内适龄户籍生人数等的跨部门信息整合,便于相关部门实时分析研判各学区户籍生的动态变化情况,为教育相关部门提供各地区户籍、学生动态变化情况及预警服务,为教育行政管理者对义务教育学校布局调整提供决策依据;
1.5.3.4师资均衡决策与预警
1.5.3.4.1综合展示和分析师资水平分布
根据教师年龄、教师职称等信息建立师资配比模型综合展示各校未来师资发展情况,辅助教育资源均衡决策;
1.5.3.4.2推送预警和建议
以地图方式呈现各校师资变化预警(上升或下降),提醒教育管理部门调配师资力量;
1.5.3.5疫情分析与预警
采集各校上报学生请假信息,以地图方式呈现各校病假热力图、标注图,对密度较高区域进行预警,
1.5.3.6大班额分析与预警
1.5.3.6.1大班额统计分析
依托在校生、专任教师数据台账,计算并显示学区内各学校大班额、超大班额数量及占比;
1.5.3.6.2大班额预警
以地图方式呈现大班额热力地图,显示大班额高占比预警;
1.5.3.7控辍保学分析与预警
为进一步防控义务教育学生失学辍学,推进控辍保学目标的达成,开展失学儿童少年的监测及引导劝返;建立学生学籍与户籍数据比对机制,重点对贫困生、学困生、残疾生、随迁子女接受义务教育情况进行跟踪,及时发现疑似辍学失学儿童少年;
1.5.3.8校园安全数据分析
根据校园实际情况,采集学校安全隐患分析、学生轨迹分析等;
1.6系统管理平台建设
1.6.1功能模块设计
系统管理平台建设内容包括数据资源配置、用户管理、角色权限管理、日志审计、部门管理、系统管理6项功能;
1.6.2详细建设内容
1.6.2.1数据资源配置
系统资源配置用于管理数据后台,实现平台资源的统一化管理,基础配置管理主要实现针对平台中涉及字典项的统一管理;
1.6.2.2用户管理
用户管理依据业务目的,将本系统的目标用户分为浏览型用户、数据编辑用户、管理员三类,不同用户类型具有不同的权限范围,为了系统安全有序运行,系统识别用户身份后,自动将用户不具有权限的功能模块锁定,不能使用,管理员能够进行系统用户管理、权限分配、日志查看等高级功能;
1.6.2.3角色权限管理
智慧校园大数据中台角色管理主要包括:新建角色、删除角色、修改角色和查询角色功能;
针对系统管理人员使用,提供不同类型的用户权限设置的功能,一方面权限管理包含数据权限和功能权限两个方面的内容;另一方面权限管理包含平台端权限管理;
权限管理包括了对用户授权和对角色授权,其中用户授权是将功能模块直接授予用户,用户界面根据权限的不同,有不同的功能展示,角色授权是将功能模块先授权给角色,再将角色授权给用户,对服务接口授权,用户使用服务接口,需要有相应的权限;
1.6.2.4日志审计
针对系统运行情况提供日志监测和审计功能,确保数据中台各个子系统、子模块均处于一个安全、稳定和高效的环境下运行;
1.6.2.5部门管理
部门管理主要管理所属组织机构单位,进行添加、修改、删除操作,实现行政机构层级管理,主要包括:新建组织单位,删除组织单位、修改组织单位、查询组织单位功能,与用户管理紧密衔接,实现统一管控,分级管理的管理模式,
1.6.2.6系统管理
系统管理主要是针对与数据中台相关联的各个信息系统、子系统进行综合管理,包括系统维护管理、安全管理、配置管理等;
1.7工作台建设
1.7.1总体目标
工作台是为管理员配置功能提供的工作平台,提供脚本编辑器、运维中心、数据分析可视化管理、大数据模型和数据报表组件等功能,可通过智能机器化治理工具的内置智慧匹配、智慧推荐功能,为数据推荐标准,并根据推荐的结果通过机器化治理工具自动翻译为标准数据,实现源数据资源与校本标准的快速对接,减少大量的人力投入;
1.7.2功能模块设计
工作台建设内容包括脚本编辑器、运维中心、数据分析可视化、大数据模型和数据报表组件5项功能;
1.7.3详细建设内容
1.7.3.1脚本编辑器
脚本编辑器为数据中台各项功能的脚本处理工具,提供脚本的编辑、执行、停止、提交、回退、美化、删除、保存及事务提交等功能,脚本编辑器包括脚本编辑调试和脚本历史记录等功能;
1.7.3.2运维中心
运维中心是对服务器的实时监测,围绕集群信息监控、CPU、内存、网络、磁盘等进行监管,
(1)集群信息
对集群信息监控将围绕名称、IP、操作系统、系统架构、最后更新时间等指标进行监控;
(2)CPU
CPU监控围绕属性、核心数、用户使用率、系统使用率、当前空闲率等进行监测;
(3)内存
内存监控围绕总内存、已用内存、剩余内存、使用率等方面进行监测;
(4)网络状况
网络监测围绕网络接口名称、MAC地址、上行bps、下行bps、IP地址等方面进行监测;
(5)磁盘状态
磁盘状态监测包括盘符路径、盘符类型、盘符名称、总大小(G)、可用(G)、已用(G)、使用率等方面;
1.7.3.3数据分析可视化
数据分析可视化工作台围绕项目、数据集、图表、看板等方面进行可视化配置,配置数据分析可视化的名称、图表类型、所属项目、创建时间等进行配置,并执行展示、编辑、删除等操作;
1.7.3.4大数据模型
大数据模型配置是对算法、模型、统计等进行配置,通过工作台配置后,可形成固化的大数据模型分析,为数据中台大数据分析提供工具;
1.7.3.5数据报表组件
数据报表服务是对数据服务报表的管理,通过工作台可以配置数据报表所包含的指标项,并提供增、删、改、查功能;
1.8智能上报平台建设
1.8.1总体目标
智慧校园大数据中台提供数据智能上报功能,按照预设模板进行批量数据智能获取,实现了人工到智能的转变;
1.8.2功能模块设计
智能上报平台建设内容包括填报模板管理、上报流程管理、数据填报、填报数据分析、数据输出等5项内容;
1.8.3详细建设内容
1.8.3.1填报模板管理
智慧校园大数据中台提供模版表单制作模块,提供上报表单自定义功能,可进行上报表单名称、文本字段、应用字段、附件、数值字段、富文本字段等单表字段数据类型的定义,同时支持定义多级子集表单定义,上报数据内容配置功能是针对以文件为单位进行数据上报或以文件形式进行上报的数据上报需求提供支持,数据库采集是数据源库信息配置的功能配置完成后,进行数据源中的表数据采集的详细配置功能,针对采集内容进行采集数据限制、转换、频率等规则设置功能,客户端采集进行数据库的数据采集、加密、传输的本地化程序,智能上报平台是解决大数据管理、治理和共享平台的数据采集问题,为其提供跨网数据采集的通道型节点工具;
1.8.3.2上报流程管理
上报流程管理是智慧校园大数据中台上报流程制定的基础功能,其提供流程节点信息配置功能,功能配置范围包含:模版填报节点配置、数据库上报节点配置、文件模版上报节点配置三类,将客观数据上报与主观人为审计的结合点,为数据的准确和完整提供支撑的功能;
1.8.3.3数据填报
数据上报平台基于模版管理和流程管理两个模块完成配置后,在进行填报批次配置,即填报计划,批次设定可支持多轮次数据采集数据,并支持定义轮巡批次创建,即定时发起填报批次任务进行填报,提供批次增加填报说明,指定填报前必须阅读说明方可进行上报;
1.8.3.4填报数据分析
智慧校园大数据中台数据质量分析功能是基于批次数据填报结束后针对数据的质量问题进行检查,找出问题数据,追溯数据源头进行数据基本质量修正,功能内容包含:质量标准制定、数据筛查规则制定、问题数据追溯、质量报告生成、质量报告发送等内容;
1.8.3.5数据输出
智慧校园大数据中台数据接口管理功能是基于上报完成后,在服务端进行数据接口建模,设置加密方式、配置使用权限、接口参数等信息后,对有权限的使用者开放数据调用的数据接口服务功能;
1.9数据驾驶舱建设
1.9.1总体目标
智慧校园大数据中台数据驾驶舱是为解决教育机构对于各单元学生资源、教学资源、师资资源和资产资源等方面数据的指挥平台,提供全面、准确、完整的指标分析功能,为实时监测教育机构数据资源及业务分析提供基础依据,系统提供按照趋势图、直方图、饼图等分析,配置统计表,支持逐级下钻查看详细统计功能;
1.9.2功能模块设计
数据驾驶舱建设内容拨款学生主题指标、教学主题指标、师资主题指标和资产主题指标4个方面的内容;
1.9.3详细建设内容
1.9.3.1学生主题指标
智慧校园大数据中台针对学生主题指标,根据数据源支撑情况,对接全国中小学生学籍信息管理系统、全国学前教育管理信息系统、所有学生数据,结合地理空间信息,优化展示全省学生结构情况,配置8个指标,内容如下:
(1)学生生源分布:提供学生生源地分布功能,结合GIS地图展示;
(2)学生基础信息分布:结合学生民族、性别、户籍等信息,进行专题分布和综合分布;
(3)年龄分布:展示各个学校各个年龄段的学生分布情况;
(4)学生结构:展示各个学校各个年级学生的组成情况;
(5)历年入学、毕业人数情况及变化趋势:展示各个学校历年入学、毕业人数及发展趋势;
(6)升学率变化情况:展示各个学校特殊教育学生占比、民办教育在校生占比、学生体质健康优良达标率;
(7)优化展示学生热点群体情况,展示各地随迁子女、留守儿童、寄宿生等分布情况及变化趋势,通过大数据预警分析各阶段学校学位未来需求情况;
(8)卫生安全:展示各个学校有卫生室学校占比、配备专职校医占比、在校生死亡人数占比;
1.9.3.2教学主题指标
根据数据源支撑情况,配置8个指标,内容如下:
(1)学生成绩查询:从成绩的平均分、及格率、优秀率、标准方差、离散系数等维度来建立区域教学质量评估模;
(2)教学质量分析:统筹教学数据,分析各校区的教学质量情况,对下一步教学资源调配、课程调整提供数据支持;
(3)学生成绩趋势分析:展示学生成绩下滑分析,对下滑人数较多学校进行预警;
(4)偏科学生分析预警:展示偏科学生信息,对偏科学生人数较多的学校进行预警;
(5)临界生统考统阅成绩查询:提供各校临界生统考统阅成绩查询;
(6)临界生成绩发展趋势分析:以折线图方式呈现各校临界生统考统阅成绩;
(7)临界生学业发展横向对比:横向对比各学校临界生统考统阅成绩;
(8)临界生学业发展排名
展示各个校区临界生成绩发展排名,展示top10排名;
1.9.3.3师资主题指标
对全国教师管理信息系统、教育事业统计数据中的各学段教师信息进行清洗、汇集、整理并实时可视化,评价分析,根据数据源支撑情况,配置8个指标,内容如下:
(1)教师基础信息:提供教师基础信息分布功能,展示各个校区教师分布功能,统计教师籍贯、学历、民族、整治面貌、教龄等基础信息;
(2)教师学科分布:统计教师擅长学科分布,以单科、多科进行综合分析;
(3)年龄结构:统计各个年龄段的教师;
(4)师资结构:按照教师级别进行统计;
(5)男女比例:针对全区教师进行男女比例统计;
(6)学校比例:对全区学校级别、属性进行统计;
(7)专任教师:对专任教师进行专项统计;
(8)师资分析:展示一线二线教师比例、结构性缺编、教师培训情况、教师学历构成、教师职称等,展示当前教师队伍基本情况、师资均衡情况、教师队伍发展等内容;
1.9.3.4资产主题指标
根据数据源支撑情况,配置8个指标,内容参考如下:
校舍:对比各地区学校学生数、教师数、生均面积、生均建筑,以及办公、教学、实验等用房面积情况,根据国家规定建立评估学校的基础设施信息模型,从教育均衡化角度分析是否需要增加建筑面积、教室,是否需要新建校,直观展示区域相关指标得分对比,并通过图形直观展示区域差距;
(1)校舍统计:展示全区各个学校的校舍情况;
(2)校舍面积:统计各个学校校舍面积;
(3)生均面积分析:根据学生数和校舍面积,综合分析生均面积,对于不达标的,教学管理机构进行决策,判断是否需增设教学面积;
(4)教学面积分析:针对教学面积进行专项分析;
(5)办公面积分析:针对办公面积进行专项分析,形成学校对比分析,掌握学校间的差距;
(6)实验面积分析:针对实验室面积进行总分,形成对比图;
(7)资产分析:分析学校资产,宏观掌握资产情况,针对耗材及使用,建立预警及推荐模型,助力决策耗材购置及投入;
(8)图书、仪器:分析学校生均图书、生均仪器设备达标率,图书阅读量等。
综上所述,
大数据统计分析
建设数据中台,需要依据各应用的基础数据和生产数据,汇总到数据中台,进行统计分析,形成多个维度的报表和直观的可视化图形,作为教育决策者的决策依据;
对接业务系统
需要本期项目建设的软件对接一体化平台,进行业务的衔接,完善业务流转链条的信息化补充,实现教学资源和数据以及教育反馈内容的接入,从而提高学校的管理的完整性和效率,为学校的教务管理和教研分析提供依据;
教育管理和教学资源
实现教师资源以及学校的信息共享、教学资源应用、协作交互、成绩管理的业务衔接。同时通过平台接入的信息资源,提升信息化水平,建设老师、学生、家长之间的协作和沟通的完整性,最终提升教学效率和质量;
数据整合
不同应用的数据,通过系统对接或者接口的方式,汇聚到数据中台,可以实现数据源的管理,以及汇聚数据的通用清洗和定制规格标准进行清洗存储,实现多元化和可定制数据颗粒度等不同的维度进行存储。可以使用数据进行查询、对比、合并等统计分析操作,分析界面内容和主题可按不同分析指标进行定制;
应用汇集
所有的应用,实现统一身份认证,统一入口,方便应用使用者的业务操作便捷性、习惯性和系统性;教学资源型内容的分权限管理,实现教育管理和统筹工作;
提升校园网络基础条件
依据于现在各学校网络建设不尽相同的情况,对于网络等基础条件较差的学校进行网络的改造和优化,完善学校接入“智慧校园”所需的必要条件;
教育资源汇集
需要将不同的软件应用和教育教学资源进行整合汇集,统筹管理;实现按照中小学的不同年级进行分权限使用和管理的需求。精准支持到学校和教师的教务和教学的业务工作;
平台建设要求
平台需统一标准,根据各级各类学校应用需求提供相应用,为全区教育的智慧管理、智慧教学、智慧家校、智慧环境等智慧应用提供服务;与原有系统对接。为提高资源利用率,需统一数据标准,为现有系统对接提供接口,可根据业务需求按需对接各学校及区教委现有业务系统;与其他单位对接。按需为市智慧教育平台提供教育相关信息。
虽然在上文中已经参考实施例对本发明进行了描述,然而在不脱离本发明的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是,只要不存在结构冲突,本发明所披露的实施例中的各项特征均可通过任意方式相互结合起来使用,在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此,本发明并不局限于文中公开的特定实施例,而是包括落入权利要求的范围内的所有技术方案。

Claims (6)

1.一种智慧教育大数据平台建设方法,其特征在于:该智慧教育大数据平台建设方法包括如下步骤:
S1:数据来源与支撑:以国家系统数据为基础,建设全面覆盖学生、教师、后勤基础建设与办学条件、财务四大类教育基础数据库,在此基础上,建设教育行为动态跟踪数据库,可以在不影响师生教学活动的情况下,实时、持续地采集更多微观的教与学的过程性数据,对用户不同行为类型、不同方式进行采集和存储,在建设完善数据的同时,明确数据的标准来源、更新周期和调用原则,为上层各类应用提供统一的基础数据支撑;
S2:数据接入方式:对于在线教育数据利用大数据平台数据采集功能实现汇聚,并统一存储和管理,离线教育数据利用本地上报的方式,然后大数据平台与呼和浩特市教育云平台和国家教育云平台对接,实现地方教育数据统一出口、自动上报;
S3:教育业务数据标准制定:从地方教育信息化发展的总体目标出发,参考和遵循国家、教育部相关标准规范,建设地方教育信息化标准规范体系,为地方教育信息化建设提供标准规范指导和依据,实现数据统一管理、动态呈现和可视化感知,以一种更直观的方式展现教育数据资产,提升师生及各级教育主管单位的数据意识,持续保障数据质量监管,提高数据应用水平;
S4:按标准转化数据形成标准库:为了实现数据源头采集、过程留痕,设计原始库、标准库、主题库三层架构;
S5:基于应用业务和场景构建主题库:主题库为各业务域数据集中存储的仓库,为上层应用提供敏捷数据支撑服务。将极大减少数据的采集、使用与沟通所占用的时间与人力成本。建设数据交换共享工具,为数据的互联互通提供工具支撑,在避免基础数据重复采集的同时,实现业务数据的二次提取和利用;真正实现横向集成、纵向贯通、全局共享的信息资源及服务中心,形成“一师一档、一生一档、终身服务”的教育数据资产管理体系;
S6:构建数据挖掘与分析模型:通过数据挖掘中的关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等用户可快速对数据进行分析展示和公开,系统可支持日常超过90%以上的数据类型作为智慧教育大数据分析的数据源进行对接,用户只需要在智慧教育大数据分析进行数据库连接和本地文件上传即可。结果通过留存分析模型、漏斗分析模型、全行为路径分析、热图分析模型、事件分析模型、用户分群模型、用户分析模型、黏性分析模型等进行分析;
S7:数据分析与价值释放:针对地方教育实际情况,梳理符合政策文件的评价指标,并对指标的预警值进行调研,最终形成学位压力分析与预警、师资均衡决策与预警、疫情分析与预警、大班额分析与预警、控辍保学分析与预警等分析预警一张图,整合对接省级平台和市域相关部门数据,形成区域教育云应用体系,区域深度融合的地方教育大数据应用体系;
S8:数据分析与结果共享:建设教育信息资源目录,建设“数据商城”式教育信息交换共享与运营机制,将数据服务的发布、使用授权审批流程制度化、透明化、常态化。
2.根据权利要求1所述的一种智慧教育大数据平台建设方法,其特征在于:所述步骤S1中的教育基础数据库包括教育资源数据库、用户数据库、业务数据库和管理数据库。
3.根据权利要求2所述的一种智慧教育大数据平台建设方法,其特征在于:所述步骤S1中的对用户不同行为类型、不同方式进行采集和存储包括学生的学习轨迹、在每道作业题的作答情况和教师课堂中利用多媒体设备进行提问的次数。
4.根据权利要求3所述的一种智慧教育大数据平台建设方法,其特征在于:所述步骤S3中的实现数据统一管理、动态呈现和可视化感知包括对元数据、数据质量、数据血缘、数据生命周期等进行管理和展示。
5.根据权利要求4所述的一种智慧教育大数据平台建设方法,其特征在于:所述步骤S4中的主题库包括基础数据库和各主题应用库。
6.根据权利要求5所述的一种智慧教育大数据平台建设方法,其特征在于:所述步骤S4中的原始库保证全量数据采集,原始数据可查,标准库通过数据治理实现数据标准转换,积累数据资产,减少数据应用建设的反复沟通、重复采集问题。
CN202111384088.8A 2021-11-19 2021-11-19 一种智慧教育大数据平台建设方法 Pending CN114003586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111384088.8A CN114003586A (zh) 2021-11-19 2021-11-19 一种智慧教育大数据平台建设方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111384088.8A CN114003586A (zh) 2021-11-19 2021-11-19 一种智慧教育大数据平台建设方法

Publications (1)

Publication Number Publication Date
CN114003586A true CN114003586A (zh) 2022-02-01

Family

ID=79929796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111384088.8A Pending CN114003586A (zh) 2021-11-19 2021-11-19 一种智慧教育大数据平台建设方法

Country Status (1)

Country Link
CN (1) CN114003586A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114465824A (zh) * 2022-04-11 2022-05-10 四川高速公路建设开发集团有限公司 面向智慧建设工程信息系统平台的授权访问控制方法
CN114691948A (zh) * 2022-03-21 2022-07-01 中国图片社有限责任公司 大学生图片信息展示方法、装置、设备及介质
CN115277672A (zh) * 2022-07-04 2022-11-01 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) 一种医院文件的跨网传输方法、装置及系统
CN115329156A (zh) * 2022-10-14 2022-11-11 北京云成金融信息服务有限公司 基于历史数据的数据治理方法及系统
CN115456843A (zh) * 2022-09-14 2022-12-09 北京易思汇商务服务有限公司 一种基于留学大数据分析的智能风控系统及方法
CN115618842A (zh) * 2022-12-15 2023-01-17 浙江蓝鸽科技有限公司 一体化智慧校园数据中台系统
CN116226894A (zh) * 2023-05-10 2023-06-06 杭州比智科技有限公司 一种基于元仓的数据安全治理系统及方法
CN116739387A (zh) * 2023-08-14 2023-09-12 广东南方电信规划咨询设计院有限公司 一种多维度分析数据的方法及装置、计算机存储介质
CN116894032A (zh) * 2023-09-05 2023-10-17 江苏数兑科技有限公司 一种基于数据探查分析结果自动生成数据清洗规则的方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114691948A (zh) * 2022-03-21 2022-07-01 中国图片社有限责任公司 大学生图片信息展示方法、装置、设备及介质
CN114465824A (zh) * 2022-04-11 2022-05-10 四川高速公路建设开发集团有限公司 面向智慧建设工程信息系统平台的授权访问控制方法
CN115277672A (zh) * 2022-07-04 2022-11-01 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) 一种医院文件的跨网传输方法、装置及系统
CN115277672B (zh) * 2022-07-04 2024-03-01 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) 一种医院文件的跨网传输方法、装置及系统
CN115456843A (zh) * 2022-09-14 2022-12-09 北京易思汇商务服务有限公司 一种基于留学大数据分析的智能风控系统及方法
CN115329156A (zh) * 2022-10-14 2022-11-11 北京云成金融信息服务有限公司 基于历史数据的数据治理方法及系统
CN115618842A (zh) * 2022-12-15 2023-01-17 浙江蓝鸽科技有限公司 一体化智慧校园数据中台系统
CN116226894A (zh) * 2023-05-10 2023-06-06 杭州比智科技有限公司 一种基于元仓的数据安全治理系统及方法
CN116739387A (zh) * 2023-08-14 2023-09-12 广东南方电信规划咨询设计院有限公司 一种多维度分析数据的方法及装置、计算机存储介质
CN116739387B (zh) * 2023-08-14 2024-01-12 广东南方电信规划咨询设计院有限公司 一种多维度分析数据的方法及装置、计算机存储介质
CN116894032A (zh) * 2023-09-05 2023-10-17 江苏数兑科技有限公司 一种基于数据探查分析结果自动生成数据清洗规则的方法
CN116894032B (zh) * 2023-09-05 2023-11-21 江苏数兑科技有限公司 一种基于数据探查分析结果自动生成数据清洗规则的方法

Similar Documents

Publication Publication Date Title
CN114003586A (zh) 一种智慧教育大数据平台建设方法
Williams Jr et al. Re-examining systematic literature review in management research: Additional benefits and execution protocols
Jindal et al. A survey on educational data mining and research trends
García-Holgado et al. Analysis of knowledge management experiences in Spanish public administration
CN105740339A (zh) 民政大数据融合管理系统
Li et al. Design of higher education quality monitoring and evaluation platform based on big data
Javidi et al. Educational data mining and learning analytics: overview of benefits and challenges
Fernandes et al. Identifying critical success factors for the General Data Protection Regulation implementation in higher education institutions
Matzner et al. Climate engineering as a communication challenge: contested notions of responsibility across expert arenas of science and policy
KR102260591B1 (ko) 데이터 기반의 의사결정 지원시스템 및 동작 방법
Pensyl Emerging roles for academic librarians in the technology transfer process
Alstete et al. Big data in managerial decision-making: concerns and concepts to reduce risk
Hall et al. Open data and charities
Sigman et al. Visualization of Twitter Data in the Classroom
Hu et al. Research on smart education service platform based on big data
Peng et al. A decision support system model for middle school education management based on sparse clustering Algorithm
CN112950156A (zh) 一种基于教育云平台的人才遴选方法
Mohammed et al. Data warehouse for human resource by Ministry of Higher Education and Scientific Research
Carballo-Garcia et al. Fair data: history and present context
Xi et al. [Retracted] Application of Teaching Administrating Informatization in Universities Based on the Era of Big Data
CN111353074A (zh) 一种大数据在线教学平台
Lange et al. Bringing Order into Chaos: Building an Integrated School Management Information System—A Case Study from Germany
Ekstrom et al. A research agenda for information technology: does research literature already exist?
Rehman et al. Proposed Framework for HEC Pakistan Data Warehouse
Salnikov et al. Experiences Creating an Automated Information System for Gathering and Analyzing the Results of Activities of Researchers and Scientific Groups

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination