CN107621979A - 一种学生发展档案大数据算法与分析系统 - Google Patents

一种学生发展档案大数据算法与分析系统 Download PDF

Info

Publication number
CN107621979A
CN107621979A CN201711023775.0A CN201711023775A CN107621979A CN 107621979 A CN107621979 A CN 107621979A CN 201711023775 A CN201711023775 A CN 201711023775A CN 107621979 A CN107621979 A CN 107621979A
Authority
CN
China
Prior art keywords
task
data
priority
module
students
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711023775.0A
Other languages
English (en)
Inventor
郑金林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711023775.0A priority Critical patent/CN107621979A/zh
Publication of CN107621979A publication Critical patent/CN107621979A/zh
Withdrawn legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种学生发展档案大数据算法与分析系统,所述学生发展档案大数据算法包括如下步骤:离散化处理、降维存储和输出结果;学生发展档案大数据分析系统包括待调度任务生成模块、待调度任务存储模块、任务调度模块和任务处理模块;本发明由于在数据分析系统的底层利用Hadoop系统进行数据分析,而在数据分析系统的上层则以任务调度模块来实现对任务的统筹管理,从而可以利用Hadoop系统简化了数据分析流程,以及能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点,进而可以快速的处理学生发展档案大数据。

Description

一种学生发展档案大数据算法与分析系统
技术领域
本发明涉及大数据算法与分析系统技术领域,具体为一种学生发展档案大数据算法与分析系统。
背景技术
随着计算机、互联网的快速发展,其在各个领域的应用也在逐渐加大加深,现在,几乎每个领域、每个人都离不开计算机和互联网。其不断地改变着人们的工作方式、交流方式、学习方式以及生活的各个方面。计算机和互联网也在逐渐改变着学校的教学管理等方式,从以前的粉笔头和黑板到现在的投影仪和PPT,其对教育教学的大环境影响重大。但目前主要涉及关于教育教学系统,档案系统包括维护学生成长信息和浏览学生成长档案。主要对学生成长发展的维护和管理,促进学生全面发展,对于学生起着至关重要的作用,该系统主要使用用户有:学生、家长及教师。通过本系统能够使学生从小到大、从学习到生活很立体的呈现在面前,这些都是大数据,普通的数据算法和分析系统以不能满足现在的学生发展档案的计算和分析。
所以,如何设计种学生发展档案大数据算法与分析系统,成为我们当前要解决的问题
发明内容
本发明提供一种学生发展档案大数据算法与分析系统,由于在数据分析系统的底层利用Hadoop系统进行数据分析,而在数据分析系统的上层则以任务调度模块来实现对任务的统筹管理,从而既可以利用Hadoop系统简化了数据分析流程,又提供了更为方便地对任务进行调度、管理的系统,以及能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点,进而可以快速的处理学生发展档案大数据,可以有效解决上述背景技术中的问题。
为实现上述目的,本发明提供如下技术方案:一种学生发展档案大数据算法,包括如下步骤:
1)离散化处理:从数据库中抽取数据,确定每一种标识对应的分类规则,并采用对应的分类规则对抽取的数据进行离散化处理;从所获取的数据库中抽取数据组成训练集;用所得的训练集训练哈希函数;
2)降维存储:对数据库中还没得到二进制代码的实例进行二进制编码;去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;消除数据中的不一致对象和冗佘对象,冗佘对象为条件属性相同而决策属性也相同的对象;确定神经元网络模型;
3)输出结果:训练神经元网络模型,并通过运行算法实现数据分析处理;对获取数据进行有效范围筛选的筛选,对筛选后数据进行权值分配,并对分配权值后数据进行融合后显示输出结果。
根据上述技术方案,包括待调度任务生成模块、待调度任务存储模块、任务调度模块和任务处理模块,所述待调度任务生成模块用于根据预先定义的任务参数将收集的数据生成待调度的任务;所述任务调度模块具体包括:主任务调度组件和从任务调度组件;所述主任务调度组件用于从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述从任务调度组件用于在所述主任务调度组件退出运行或者无法正常运行后,从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述待调度任务存储模块,用于存储所述待调度任务生成模块生成的待调度的任务;所述任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。
根据上述技术方案,所述不一致对象是指条件属性相同而决策属性不同的对象。
根据上述技术方案,所述数据库为MySQL数据库。
根据上述技术方案,所述数据仓库服务器服务器为Apache服务器。
根据上述技术方案,所述大数据的具体分析包括如下步骤:
1)任务生成:待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块;
2)任务处理:任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;
3)数据分析:所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。
根据上述技术方案,所述根据加载的任务的任务类型调用相应的任务处理模块之前,还包括:所述任务处理模块将加载的任务封装到任务处理线程中;以及所述调用相应的任务处理模块具体为:所述任务处理线程在运行过程中根据所述任务的任务类型调用相应的任务处理模块;所述任务调度模块从所述待调度任务存储模块加载待调度的任务具体为:所述任务调度模块将待调度的任务加载到调度栈;以及在所述任务调度模块将加载的任务封装到任务处理线程之前,还包括:所述任务调度模块监测所述调度栈中各待调度的任务的任务执行时间;从调度栈中取出任务执行时间到达的任务;在所述从调度栈中取出任务执行时间到达的任务之后,还包括:所述任务调度模块将从所述调度栈中取出的任务转换为任务实例,并将转换的任务实例封装为优先级对象,该优先级对象的优先级是根据该任务的任务属性确定的;所述任务调度模块将所述优先级对象发送到优先级队列模块;所述优先级队列模块在接收到优先级对象后,根据该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较,根据比较结果自动对该优先级对象进行排序;所述任务调度模块从所述优先级队列模块中获取优先级最高的优先级对象;并初始化一个任务处理线程,将获取的优先级对象中的任务实例传至该任务处理线程中;以及,所述调用相应的任务处理模块具体为:该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块。
与现有技术相比,本发明的有益效果:由于在数据分析系统的底层利用Hadoop系统进行数据分析,而在数据分析系统的上层则以任务调度模块来实现对任务的统筹管理,从而既可以利用Hadoop系统简化了数据分析流程,又提供了更为方便地对任务进行调度、管理的系统,以及能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点,进而可以快速的处理学生发展档案大数据。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
在附图中:
图1为本发明的算法流程图;
图2为本发明的分析流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例:如图1-2所示,本发明提供一种学生发展档案大数据算法,包括如下步骤:
1)离散化处理:从数据库中抽取数据,确定每一种标识对应的分类规则,并采用对应的分类规则对抽取的数据进行离散化处理;从所获取的数据库中抽取数据组成训练集;用所得的训练集训练哈希函数;
2)降维存储:对数据库中还没得到二进制代码的实例进行二进制编码;去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;消除数据中的不一致对象和冗佘对象,冗佘对象为条件属性相同而决策属性也相同的对象;确定神经元网络模型;
3)输出结果:训练神经元网络模型,并通过运行算法实现数据分析处理;对获取数据进行有效范围筛选的筛选,对筛选后数据进行权值分配,并对分配权值后数据进行融合后显示输出结果。
根据上述技术方案,包括待调度任务生成模块、待调度任务存储模块、任务调度模块和任务处理模块,所述待调度任务生成模块用于根据预先定义的任务参数将收集的数据生成待调度的任务;所述任务调度模块具体包括:主任务调度组件和从任务调度组件;所述主任务调度组件用于从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述从任务调度组件用于在所述主任务调度组件退出运行或者无法正常运行后,从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述待调度任务存储模块,用于存储所述待调度任务生成模块生成的待调度的任务;所述任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。
根据上述技术方案,所述不一致对象是指条件属性相同而决策属性不同的对象。
根据上述技术方案,所述数据库为MySQL数据库。
根据上述技术方案,所述数据仓库服务器服务器为Apache服务器。
根据上述技术方案,所述大数据的具体分析包括如下步骤:
1)任务生成:待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块;
2)任务处理:任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;
3)数据分析:所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。
根据上述技术方案,所述根据加载的任务的任务类型调用相应的任务处理模块之前,还包括:所述任务处理模块将加载的任务封装到任务处理线程中;以及所述调用相应的任务处理模块具体为:所述任务处理线程在运行过程中根据所述任务的任务类型调用相应的任务处理模块;所述任务调度模块从所述待调度任务存储模块加载待调度的任务具体为:所述任务调度模块将待调度的任务加载到调度栈;以及在所述任务调度模块将加载的任务封装到任务处理线程之前,还包括:所述任务调度模块监测所述调度栈中各待调度的任务的任务执行时间;从调度栈中取出任务执行时间到达的任务;在所述从调度栈中取出任务执行时间到达的任务之后,还包括:所述任务调度模块将从所述调度栈中取出的任务转换为任务实例,并将转换的任务实例封装为优先级对象,该优先级对象的优先级是根据该任务的任务属性确定的;所述任务调度模块将所述优先级对象发送到优先级队列模块;所述优先级队列模块在接收到优先级对象后,根据该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较,根据比较结果自动对该优先级对象进行排序;所述任务调度模块从所述优先级队列模块中获取优先级最高的优先级对象;并初始化一个任务处理线程,将获取的优先级对象中的任务实例传至该任务处理线程中;以及,所述调用相应的任务处理模块具体为:该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块。
基于上述,本发明的优点在于,由于在数据分析系统的底层利用Hadoop系统进行数据分析,而在数据分析系统的上层则以任务调度模块来实现对任务的统筹管理,从而既可以利用Hadoop系统简化了数据分析流程,又提供了更为方便地对任务进行调度、管理的系统,以及能够从大量无序、潜在的信息中获得有效信息,通过对数据离散处理、降维存储,能够有效提高数据处理效率,具有处理量大、效率高等显著的优点,进而可以快速的处理学生发展档案大数据。
最后应说明的是:以上所述仅为本发明的优选实例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种学生发展档案大数据算法,其特征在于:包括如下步骤:
1)离散化处理:从数据库中抽取数据,确定每一种标识对应的分类规则,并采用对应的分类规则对抽取的数据进行离散化处理;从所获取的数据库中抽取数据组成训练集;用所得的训练集训练哈希函数;
2)降维存储:对数据库中还没得到二进制代码的实例进行二进制编码;去掉不必要的条件属性,从而分析所得到约简中的条件属性对于决策属性的决策规则;消除数据中的不一致对象和冗佘对象,冗佘对象为条件属性相同而决策属性也相同的对象;确定神经元网络模型;
3)输出结果:训练神经元网络模型,并通过运行算法实现数据分析处理;对获取数据进行有效范围筛选的筛选,对筛选后数据进行权值分配,并对分配权值后数据进行融合后显示输出结果。
2.一种学生发展档案大数据分析系统,其特征在于:包括待调度任务生成模块、待调度任务存储模块、任务调度模块和任务处理模块,所述待调度任务生成模块用于根据预先定义的任务参数将收集的数据生成待调度的任务;所述任务调度模块具体包括:主任务调度组件和从任务调度组件;所述主任务调度组件用于从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述从任务调度组件用于在所述主任务调度组件退出运行或者无法正常运行后,从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述待调度任务存储模块,用于存储所述待调度任务生成模块生成的待调度的任务;所述任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。
3.根据权利要求1所述的一种学生发展档案大数据算法,其特征在于:所述不一致对象是指条件属性相同而决策属性不同的对象。
4.根据权利要求1所述的一种学生发展档案大数据算法,其特征在于:所述数据库为MySQL数据库。
5.根据权利要求2所述的一种学生发展档案大数据分析系统,其特征在于:所述数据仓库服务器服务器为Apache服务器。
6.根据权利要求2所述的一种学生发展档案大数据分析系统,其特征在于:所述大数据的具体分析包括如下步骤:
1)任务生成:待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块;
2)任务处理:任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;
3)数据分析:所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。
7.根据权利要求6所述的一种学生发展档案大数据分析系统,其特征在于:所述根据加载的任务的任务类型调用相应的任务处理模块之前,还包括:所述任务处理模块将加载的任务封装到任务处理线程中;以及所述调用相应的任务处理模块具体为:所述任务处理线程在运行过程中根据所述任务的任务类型调用相应的任务处理模块;所述任务调度模块从所述待调度任务存储模块加载待调度的任务具体为:所述任务调度模块将待调度的任务加载到调度栈;以及在所述任务调度模块将加载的任务封装到任务处理线程之前,还包括:所述任务调度模块监测所述调度栈中各待调度的任务的任务执行时间;从调度栈中取出任务执行时间到达的任务;在所述从调度栈中取出任务执行时间到达的任务之后,还包括:所述任务调度模块将从所述调度栈中取出的任务转换为任务实例,并将转换的任务实例封装为优先级对象,该优先级对象的优先级是根据该任务的任务属性确定的;所述任务调度模块将所述优先级对象发送到优先级队列模块;所述优先级队列模块在接收到优先级对象后,根据该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较,根据比较结果自动对该优先级对象进行排序;所述任务调度模块从所述优先级队列模块中获取优先级最高的优先级对象;并初始化一个任务处理线程,将获取的优先级对象中的任务实例传至该任务处理线程中;以及,所述调用相应的任务处理模块具体为:该任务处理线程调用与所述任务实例中的任务的任务类型相应的任务处理模块。
CN201711023775.0A 2017-10-27 2017-10-27 一种学生发展档案大数据算法与分析系统 Withdrawn CN107621979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711023775.0A CN107621979A (zh) 2017-10-27 2017-10-27 一种学生发展档案大数据算法与分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711023775.0A CN107621979A (zh) 2017-10-27 2017-10-27 一种学生发展档案大数据算法与分析系统

Publications (1)

Publication Number Publication Date
CN107621979A true CN107621979A (zh) 2018-01-23

Family

ID=61093324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711023775.0A Withdrawn CN107621979A (zh) 2017-10-27 2017-10-27 一种学生发展档案大数据算法与分析系统

Country Status (1)

Country Link
CN (1) CN107621979A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549713A (zh) * 2018-04-20 2018-09-18 上海筑监宝信息技术有限公司 一种基于人工智能及专家互动的建筑监测方法及系统
CN111898865A (zh) * 2020-07-02 2020-11-06 常州市第二人民医院 一种智慧校园数据动态管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880503A (zh) * 2012-08-24 2013-01-16 新浪网技术(中国)有限公司 数据分析系统及数据分析方法
CN103559082A (zh) * 2013-11-04 2014-02-05 北京华胜天成科技股份有限公司 一种基于队列的分布式任务调度方法、装置及系统
CN104102533A (zh) * 2014-06-17 2014-10-15 华中科技大学 一种基于带宽感知的Hadoop调度方法和系统
CN104462459A (zh) * 2014-12-16 2015-03-25 芜湖乐锐思信息咨询有限公司 基于神经网络的大数据分析处理系统及方法
CN106570081A (zh) * 2016-10-18 2017-04-19 同济大学 基于语义网的大规模离线数据分析框架
CN106855863A (zh) * 2015-12-09 2017-06-16 上海渤元信息科技有限公司 一种新的大数据分析算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880503A (zh) * 2012-08-24 2013-01-16 新浪网技术(中国)有限公司 数据分析系统及数据分析方法
CN103559082A (zh) * 2013-11-04 2014-02-05 北京华胜天成科技股份有限公司 一种基于队列的分布式任务调度方法、装置及系统
CN104102533A (zh) * 2014-06-17 2014-10-15 华中科技大学 一种基于带宽感知的Hadoop调度方法和系统
CN104462459A (zh) * 2014-12-16 2015-03-25 芜湖乐锐思信息咨询有限公司 基于神经网络的大数据分析处理系统及方法
CN106855863A (zh) * 2015-12-09 2017-06-16 上海渤元信息科技有限公司 一种新的大数据分析算法
CN106570081A (zh) * 2016-10-18 2017-04-19 同济大学 基于语义网的大规模离线数据分析框架

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549713A (zh) * 2018-04-20 2018-09-18 上海筑监宝信息技术有限公司 一种基于人工智能及专家互动的建筑监测方法及系统
CN108549713B (zh) * 2018-04-20 2022-04-12 上海筑监宝信息技术有限公司 一种基于人工智能及专家互动的建筑监测方法及系统
CN111898865A (zh) * 2020-07-02 2020-11-06 常州市第二人民医院 一种智慧校园数据动态管理方法
CN111898865B (zh) * 2020-07-02 2022-03-18 常州市第二人民医院 一种智慧校园数据动态管理方法

Similar Documents

Publication Publication Date Title
CN109933306A (zh) 混合计算框架生成、数据处理方法、装置及混合计算框架
JP2019079302A (ja) 営業活動支援システム、営業活動支援方法および営業活動支援プログラム
Shambour et al. Modified global flower pollination algorithm and its application for optimization problems
US11657302B2 (en) Model selection in a forecasting pipeline to optimize tradeoff between forecast accuracy and computational cost
CN103092683A (zh) 用于数据分析的基于启发式的调度
CN109033277A (zh) 基于机器学习的类脑系统、方法、设备及存储介质
Khmeleva et al. Fuzzy-logic controlled genetic algorithm for the rail-freight crew-scheduling problem
CN114327844A (zh) 内存分配方法、相关设备及计算机可读存储介质
Mirzayi et al. A hybrid heuristic workflow scheduling algorithm for cloud computing environments
KR20190134982A (ko) 빅데이터 기반의 인공지능 통합 플랫폼
CN110188210A (zh) 一种基于图正则化与模态独立的跨模态数据检索方法及系统
CN108830100B (zh) 基于多任务学习的用户隐私泄漏检测方法、服务器及系统
CN106776575A (zh) 一种实时语义搜索工作机会的系统及方法
CN111159429B (zh) 基于知识图谱的数据分析方法及装置、设备、存储介质
CN107621979A (zh) 一种学生发展档案大数据算法与分析系统
Marichelvam et al. Solving tri-objective multistage hybrid flow shop scheduling problems using a discrete firefly algorithm
CN113392868A (zh) 一种模型训练的方法、相关装置、设备及存储介质
CN115905293A (zh) 作业执行引擎的切换方法及装置
CN109523031A (zh) 一种用于深度分析的大数据智能机器学习系统
CN115796937A (zh) 一种大数据复杂关联性的电力供需趋势分析方法和装置
Li Application of multisource big data mining technology in sports economic management analysis
CN114327925A (zh) 一种电力数据实时计算调度优化方法及系统
CN106357676A (zh) 一种云服务资源开销优化方法
Li et al. A hybrid artificial bee colony algorithm to solve multi-objective hybrid flowshop in cloud computing systems
CN111753992A (zh) 筛选方法和筛选系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180123