CN110020762A - 一种学校综合督导评估系统及方法 - Google Patents

一种学校综合督导评估系统及方法 Download PDF

Info

Publication number
CN110020762A
CN110020762A CN201810020757.5A CN201810020757A CN110020762A CN 110020762 A CN110020762 A CN 110020762A CN 201810020757 A CN201810020757 A CN 201810020757A CN 110020762 A CN110020762 A CN 110020762A
Authority
CN
China
Prior art keywords
index
module
data
evaluation
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810020757.5A
Other languages
English (en)
Inventor
强三平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing International Education Technology Co Ltd
Original Assignee
Beijing International Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing International Education Technology Co Ltd filed Critical Beijing International Education Technology Co Ltd
Priority to CN201810020757.5A priority Critical patent/CN110020762A/zh
Publication of CN110020762A publication Critical patent/CN110020762A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种学校综合督导评估系统及方法,属于学校教育评估领域。所述学校综合督导评估系统包括:测评工具、数据采集模块、数据处理模块、合并统计模块;所述数据采集模块从测评工具中采集数据,并将采集到的数据发送给数据处理模块;所述数据处理模块对数据进行处理,并将处理后的需要合并统计的数据发送给合并统计模块;所述合并统计模块对处理后的需要合并统计的数据进行合并统计。本发明一方面有效地解决了以往教育测评量化较难的问题,另一方面通过电子化平台进行大规模施测以及后台自动生成测评结果,大大提高了测评的效率,减少了人力、物力的投入。

Description

一种学校综合督导评估系统及方法
技术领域
本发明属于学校教育评估领域,具体涉及一种学校综合督导评估系统及方法。
背景技术
以评估对象为划分依据,目前教育评估方法主要有三类:一是面向学生的教育评估方法;二是面向学校的教育评估方法;三是面向区域的教育评估方法。
方法一主要为国内外大型学生测评项目(如OECD的PISA项目、我国的国家义务教育质量监测项目等)所采用,目前综合运用了矩阵取样、项目反应理论模型、多层线性模型等多种现代教育测量学技术和方法,基本流程包括:确定测评框架==>编制指标体系和具体指标==>研制测评工具(含测试卷、调查问卷)==>抽取学生样本参加测试(以纸笔测试为主)==>收集、清理数据并建立数据库==>综合运用项目反应理论模型、表现水平划定技术等将学生测试成绩从低到高划分为若干个等级并明确每一个等级的内涵描述(即确定达到每一个等级的学生,具体能够做什么)==>综合运用多层线性模型等有关技术方法分析影响学生学业水平的相关因素,即分析影响学生学业水平的原因是什么。
方法二主要为中小学校教育督导评估(如我国部分地方开展的学校综合督导评估、随机督导评估等)所采用,目前主要以定性方法(访谈、观察等)为主、辅之以定量方法(如问卷调查),基本流程包括:确定评估目的和范围==>编制评估指标体系和指标==>督学人员进校收集有关指标的信息和数据==>督学人员讨论、分析并整合形成对学校的评价结论。
方法三主要为政府教育行政督导评估(如我国的省域政府履责情况督导、县域义务教育均衡督导等)所采用,目前主要以定量方法为主、辅之以定性方法,基本流程包括:确定评估目的和原则==>编制评估指标体系和具体指标==>收集、分析有关客观指标(如教育经费投入、学校公用经费、教师学历合格率等)的数据==>督学人员实地考察、收集并验证有关指标的信息和数据==>督学人员讨论、分析并整合形成对区域教育的评价结论。
以上三类方法指向的是不同层面教育状况的评价,方法一指向的是学生层面学业水平的评价,方法二指向的是学校层面办学水平的评价,方法三指向的是区域层面教育发展水平的评价。以上三类方法均存在一定局限:方法一实现的是对学生学习结果的评价,难以有效实现对教师教学过程、学生学习过程的评价,不利于形成对学校教育质量的全面评价;方法二更依赖于督学人员的经验和水平,但受制于目前督学人员整体水平不高、科学有效测评工具的欠缺,相关评价的主观色彩较浓,不够客观科学;方法三更注重于客观、外在条件或指标的评价,难以关注到教育的内涵发展状况。
随着我国中小学校办学条件的不断改善,提升教育质量、促进内涵发展成为中小学校各项工作的重点,如何建立一个科学有效的学校教育督导评估体系来支持和保障学校内涵发展,正成为教育机构和社会各界关注的问题。然而,从以上有关当前教育评估方法的局限性分析中可看出,目前的主要教育评估方法不仅在评价指标的全面性(偏重于结果性指标、外在性指标的评价)存在欠缺,而且在评价方法(如学校督导评估方法更依赖督学人员的主观经验和判断)上不够科学,难以对学校内涵发展状况实行客观、有效的评估。
发明内容
本发明的目的在于解决上述现有技术中存在的难题,提供一种学校综合督导评估系统及方法,建立科学全面、注重内涵发展的中小学校督导评价指标、评估工具和评估方法,以实现对学校内涵发展状况的有效评价,并提高测评的效率,减少了人力、物力的投入。
本发明是通过以下技术方案实现的:
一种学校综合督导评估系统,包括:测评工具、数据采集模块、数据处理模块、合并统计模块;
所述数据采集模块从测评工具中采集数据,并将采集到的数据发送给数据处理模块;
所述数据处理模块对数据进行处理,并将处理后的需要合并统计的数据发送给合并统计模块;
所述合并统计模块对处理后的需要合并统计的数据进行合并统计。
所述测评工具包括测评表、访谈记录、观察记录、指标体系表;
优选地,在所述指标体系表内存储有指标体系以及指标体系与测评表中的题目、访谈记录、观察记录的对应关系。
所述指标体系包括一级指标、二级指标和三级指标;
优选地,每个一级指标下设有至少一个二级指标;
每个二级指标下设有至少一个三级指标;
每个三级指标下设有测评表中的至少一个题目、访谈记录和/或观察记录;
更优选地,所述一级指标、二级指标和三级指标的权重分别采用百分数来表示,每个一级指标下的所有二级指标的权重之和等于100%,每个二级指标下的所有三级指标的权重之和等于100%。
所述数据采集模块包括选择模块、测评表输入模块、文本输入模块、展示模块;
优选地,用户通过所述选择模块选择测评表、访谈记录和/或观察记录,所述选择模块根据用户的选择结果向测评表输入模块或者文本输入模块发送请求;
所述测评表输入模块接到请求后,调出用户选择的测评表,用户通过测评表输入模块填答测评表中的各个题目,并将填答结果发送给数据处理模块;
所述文本输入模块接到请求后,调出用户选择的访谈记录或者观察记录,用户通过文本输入模块输入访谈记录和/或观察记录,并将填答结果发送给数据处理模块;
所述展示模块以文字形式显示测评表、访谈记录、观察记录的使用方法;
优选地,所述测评表包括问卷和/或表单。
所述数据处理模块对填答结果中的测评表进行处理,获得测评表中各个题目的分值,并将各个题目的分值发送给合并统计模块;所述数据处理模块对填答结果中的访谈记录、观察记录进行处理,获得关键词的出现频率;
优选地,所述数据处理模块将其接收到的测评表内的每道题目的答案转化为对应的分值,并利用所述指标体系表查询到各个三级指标与题目的对应关系,然后将对应每个三级指标的所有题目的分值发送给合并统计模块;
更优选地,所述数据处理模块将其接收到的访谈记录、观察记录中的关键词进行数字化编码,获得关键词的编码表,然后根据所述编码表统计各个关键词的出现频率,获得各个关键词的出现频率。
所述合并统计模块将其接收到的每个三级指标下的所有题目的分值合并得到该三级指标的分值,将每个二级指标下的所有三级指标的分值按权重相加得到该二级指标的分值,将每个一级指标下的所有二级指标的分值按权重相加得到该一级指标的分值,最后将所有一级指标的分值按权重相加得到总分值。
所述学校综合督导评估系统进一步包括报告输出模块;
所述数据处理模块将访谈记录、观察记录中的各个关键词的出现频率发送给报告输出模块;
所述合并统计模块将总分值发送给报告输出模块;
所述报告输出模块将其接收到的各个关键词的出现频率、总分值形成报告,并将报告输出。
一种利用所述的学校综合督导评估系统实现的学校综合督导评估方法,所述方法包括:
(1)根据一级指标选择测评表,用户填答测评表;对用户进行访谈、观察并填答访谈记录、观察记录;
(2)对测评表进行处理,获得测评表中各个题目的分值;对访谈记录、观察记录进行处理,获得各个关键词的出现频率;
(4)对测评表中的各个题目的分值进行合并统计获得总分值;
(4)将步骤(2)得到的各个关键词的出现频率和步骤(3)得到的总分值形成报告,并将报告输出。
所述步骤(2)中的对测评表进行处理,获得测评表中各个题目分值的操作包括:
将测评表内的每道题目的答案转化为对应的分值,并利用所述指标体系表查询到各个三级指标与题目的对应关系;
所述步骤(2)中的对访谈记录、观察记录进行处理,获得关键词出现频率的操作包括:
首先通过样本确定关键词,然后对关键词进行数字化编码,获得关键词的编码表,最后根据编码表对访谈记录、观察记录进行分析,得到各个关键词的出现频率。
所述步骤(3)的操作包括:
将每个三级指标下的所有题目的分值合并得到该三级指标的分值,将每个二级指标下的所有三级指标的分值按权重相加得到该二级指标的分值,将每个一级指标下的所有二级指标的分值按权重相加得到该一级指标的分值,最后将所有一级指标的分值按权重相加得到总分值。
与现有技术相比,本发明的有益效果是:
(1)本发明一方面有效地解决了以往教育测评量化较难的问题,另一方面通过电子化平台进行大规模施测以及后台自动生成测评结果,大大提高了测评的效率,减少了人力、物力的投入。
(2)本发明对访谈结果或观察结果进行自动编码,提取关键词,能更好地补充量化测评的结果,发现学校存在的问题,进而督导学校进一步改进和完善,达到促进学校内涵发展的学校督导的目标。
(3)本发明对测量工具的区分度、信度、效度进行检验,保证了工具的科学性,与以往研究相比,该测量工具更加可靠、有效。
(4)发明采用结构方程模型探讨指标之间的相互关联性,更能深入的分析指标间的因果关系,使结果更加系统化,使问题更具有针对性;
(5)本发明涵盖了学校内涵发展的主要方面,能全面有效评价学校内涵发展状况;剔除了客观、外在办学条件的内容,使评估更加聚焦于学校的内涵发展上,有效克服了现有方法中的方法三过于注重外在条件评价的不足;不仅注重对学生发展结果的评价,也注重对学校管理、教育教学、课程实施、队伍建设等过程性内容的评价,克服了现有方法中的方法一过于注重学生发展结果的不足。
附图说明
图1本发明系统的研发流程框图
图2本发明系统的信息数据分类图
图3本发明系统的指标体系框图
图4本发明系统的面向评估体系信息集成框架图
图5本发明系统的信息源关系图
图6本发明系统的功能模块关系图。
具体实施方式
下面结合附图对本发明作进一步详细描述:
如图1所示,为了克服现有教育评估方法的不足,本发明经过确定评估指标体系和具体指标、确定各指标的权重、研发测评工具后提供了一种促进内涵发展的学校督导评估系统及方法,该系统和方法尤其适用于中小学校的督导评估。
本发明方法采用质性研究和量化研究相结合的方式。质性研究主要采用访谈法和观察法,对研究问题进行更好的反映,本发明对访谈结果或观察结果,进行自动编码,提取关键词,能更好地补充量化测评的结果;量化研究主要采用测评表的方式,将调查结果进行均分或总分的统计,最终评估在每个指标上所达到的分数,并将其进行标准化,再根据各个指标所占的权重,将所得均分或总分进行加权求和,最终得到学校综合督导评估的总质量得分。所述测评表包括问卷和/或量表。
本发明采用因子分析法将促进内涵发展的学校督导评估指标体系分解为6个一级指标、23个二级指标、72个三级指标;每个一级指标下设有至少一个二级指标,每个二级指标下设有至少一个三级指标。具体如下:
采用探索性因素分析,建构评估体系:
1.收集观测变量:采用抽样的方法,按照实际情况收集观测变量数据。
2.构造相关矩阵:根据相关矩阵确定各变量是否适合进行因子分析。在此采用“共同度”来判断原始变量与公共因子之间关系的密切程度。“共同度”指变量在每个公共因子的载荷量的平方和:
也就是该原始变量可以被公共因子解释的方差百分比。越接近于1,表示用这m个公共因子来描述此变量就越有效。因子载荷量是指因子分析模型中公共因子的系数。因子载荷aij(i=1,2,…,m,j=1,2,…,n)越大,表示xi与公共因子fi的关系越密切。如果变量在各个因子上的载荷量都比较小,考虑剔除该变量。
3.提取因子:采用主成分分析法提取因子。假设有p个变量,则可以找出p个主成分。将所得p个主成分按由大到小的顺序排列,记为Y1,Y2,Y3,…,Yp,主成分与原始变量之间存在如下关系式:
式中,γij为随机向量X的相关矩阵的特征值所对应的特征向量的分量,将该公式进行转换,并只保留前m个主成分:
其中,一般设λ1≥λ2≥…≥λp为样本相关矩阵R的特征根。特征根表示因子影响力度大小的指标,即引入该因子后可以解释平均多少原始变量的信息。如果特征根小于1,说明该因子的解释程度还不如直接引入一个原始变量的平均解释程度大,因此在确定因子个数时,常常选取特征根大于1的因子,最终确定了6个一级指标。
4.因子旋转:由于初始因子综合性太强,难以找出实际意义,因此需要对因子进行正交旋转,对因子结构进行合理解释。
5.解释因子结构:根据实际情况及载荷大小对因子具体解释。
最终确定的指标体系和具体指标体系包括:
将促进内涵发展的学校督导评估指标体系分解为6个一级指标,分别是对学校领导与管理的评价、对学校德育的评价、对学校教学的评价、对学校教师队伍建设的评价、对学校课程的评价、对学校学生发展的评价,具体如下:
(1)对学校领导与管理的评价包括对依法办学、自主管理、民主监督、社会参与4个二级指标的评价。其中,依法办学包括办学理念、办学目标与方向、制度建设3个三级指标,自主管理包括组织机构管理、课程与教学管理、德育管理、后勤保障与安全管理4个三级指标,民主监督包括民主决策、校务公开、民主评议3个三级指标,社会参与包括家校合作、校际合作、学校与社区合作3个三级指标;
(2)对学校德育的评价包括对德育主体、德育内容、德育活动、德育环境4个二级指标的评价。其中,德育主体包括管理者行为、教师行为、学生行为3个三级指标,德育内容包括学科课程渗透、德育课程实施、心理健康课程实施3个三级指标,德育活动包括爱国主义教育活动、思想道德活动2个三级指标,德育环境包括物质文化环境、精神文化环境、制度文化环境、校园舆论环境4个三级指标;
(3)对学校教学的评价包括对教师的“教”、学生的“学”2个二级指标的评价。其中,教师的“教”包括学情与教材分析、教学手段与方式、教学实施、教学评价4个三级指标,学生的“学”包括学习态度、学习习惯、学习方法3个三级指标;
(4)对学校教师队伍建设的评价包括对教师队伍结构、教师专业化发展、教师培训、教师评价、教师激励5个二级指标的评价。其中,教师队伍结构包括学历结构、年龄结构、职称结构、学科结构4个三级指标,教师专业化发展包括专业理念与师德、专业知识、专业能力3个三级指标,教师培训包括外出培训、校本培训2个三级指标,教师评价包括评价内容、评价方式、评价结果3个三级指标,教师激励包括物质激励、精神激励2个三级指标;
(5)对学校课程的评价包括对课程设置、课程实施、课程评价3个二级指标的评价。其中,课程设置包括国家课程设置、地方课程设置、校本课程设置3个三级指标,课程实施包括课程资源利用与开发、课程编排与教学安排2个三级指标,课程评价包括课程评价理念、评价标准、评价反馈与指标3个三级指标;
(6)对学校学生发展的评价包括对学生思想品德、科学素养、身心健康、认知能力、审美素养5个二级指标的评价。其中,学生思想品德包括爱国主义、诚实守信、尊重与理解、责任意识、规则与法律意识5个三级指标,科学素养包括科学兴趣、科学态度、科学过程与方法3个三级指标,身心健康包括健康生活习惯、体质健康、心理健康3个三级指标,认知能力包括言语能力、推理能力、空间能力3个三级指标,审美素养包括审美感受、审美理解、审美创造3个三级指标。
每个一级指标下都设有不同权重的二级指标,每个二级指标下设有不同权重的三级指标,每个三级指标下设有至少一个具体题目,这些具体题目的选项被赋予不同分值,例如,选项:1.很少、2.有时、3.经常可以分别赋予1分、2分、3分,用户答完每一个题目后会得到一个分值,把每一个三级指标下的题目的分值进行合并(总分或者平均分)后即得到该三级指标的分值,然后将每个二级指标下的所有三级指标的分值按权重相加得到该二级指标的分值,同理,将每个一级指标下的所有二级指的分值标按权重相加得到该一级指标的分值。
每一个三级指标对应测评表中的至少一个题目,在系统中设置有指标体系表,在指标体系表内存储有题目与指标的对应关系,即某指标对应哪些题目,用户答完后即可直接转化,例如,诚实守信指标下设了5道题目,测评工具的指标体系表里预先设定了这5道题目测评的是学生的诚实守信,学生答完这5道题目后就可转化为诚实守信指标。
三级指标、二级指标、一级指标,是层层递进的关系,即是说,三级指标按权重相加得到二级指标的分值,二级指标按权重相加得到一级指标的分值,如果单独考察某个一级指标,只需对这个一级指标下面的二级、三级指标进行合并统计即可。
在设立权重的时候,各级指标总和为100%来设计的。一级指标根据相应的权重合成总的分数或指数。
所述指标权重是这样得到的:
运用德尔菲法逐层对所述指标进行重要性排序,并依据重要性程度确定指标的相对权重,各指标权重相加为1,具体如下;
本发明中各级指标的权重采用百分数来表示,同级指标的权重之和等于100%。
确定权重的最基本方法主要是利用专家和个人的经验,主要有专家会议法又称集体经验判断法、专家评判平均法、德尔菲法、层次分析法等,其中德尔菲法是使用较多的方法,因此,本发明选用德尔菲法,邀请相关领域知名专家对已确定的指标,判断其重要性,这种方法简单易行,且评估效果较好。
各级指标权重分配的具体步骤如下:
第一步,专家选择
主要选择校长、有经验的督导评估工作者和教师、以及相关领域的理论专家,大约10-15人,组成专家评判小组。
第二,第一轮专家咨询材料准备
主要包括三种材料,一是介绍研究目的和相关背景的材料,供专家参考;二是,将指标体系整理成专家便于直接打分的形式,这样专家可以在线一个指标上根据其重要性直接赋值。三是,请专家打分的具体规则和要求整理成文档,并发放给专家,便于专家高效的完成评定工作。本发明要求同一级的同属上某一指标的各指标权重之和为100%,具体到本发明中,可以设定6个一级指标的权重之和是100%,每个一级指标下的所有二级指标的权重之和为100%,每个二级指标下的所有三级指标的权重之和为100%。
第三步,计算权重
对第一轮收回的专家打分表进行统计处理和分析,计算各项指标的赋值求平均值和标准差;对于是否还要进行第二轮征询,则采用均值检验法,用收敛性检验参数来检验专家意见的集中程度,公式如下:
式中Vi为第i位专家的评价结果,s为标准差,n为专家人数。当收敛性参数C<5%时,作为可接受标准,只要专家咨询的收敛性参数大于这个数字时,则需要反复进行专家征询,直到专家意见收敛性低于这一水平为止。
第四步,进行多轮征询和反馈
逐轮收集意见和信息,在专家意见的收敛性参数低于5%之前进行反复征询和反馈。
第五步,专家评分的可靠性分析
由于德尔菲法属于主观加权法,因此,还需要通过考查专家参与调查的积极程度、专家的代表性和专家的协调度来验证德尔菲法专家评分的可靠性。
(1)专家参与调查的积极程度,主要通过评分表回收率情况;
(2)专家的代表性,主要通过专家的权威系数来判定。包括以下几个方面:a.对指标的判断依据和对指标的熟悉程度。专家对条目的判断依据(Ca):按常规分为理论依据、实践经验、国内外资料、直觉四类,影响程度为大中小,分别赋值;专家对条目的熟悉程度(Cs),分为五个等级,用12345赋值,专家的权威系数Cr=(Cs+Ca)/2,当专家权威系数(Cr)大于等于0.7为可接受的系数。
(3)专家的协调度,主要通过专家一致性判断,计算Kendall’sW系数来判断,系数越大,则说明协调度越高。一般协调性系数在0.7以上就已经很高。
第六步,整合指标权重结果
将最后一轮的专家咨询结果进行整理,形成最终的权重结果,如表1所示。
表1
本发明方法的具体步骤如下:
(1)用户通过测评工具填答测评表,督学人员对用户进行访谈、观察并填答访谈记录、观察记录,所述访谈记录和观察记录以文本的形式提交给数据采集模块,然后使用自动编码软件(例如:atlas.ti,nvivo,maxqda),对文本中关键词进行数字化编码(例如可以先选择10%左右的样本进行试评,确定关键词;根据关键词设置编码表,对主观作答内容根据主题逐一给定代码;然后根据编码表对所有文本进行分析,得到编码的出现频率(可以百分比的形式进行展现。),进行结果统计获得访谈记录结果、观察记录结果,并展示给用户。
(2)根据指标权重和测评结果分别对各级指标进行处理得到各个一级指标的分值:
(3)将各个一级指标按权重进行合并统计;
(4)形成对学校的总体评价结果。
利用本发明除了可以从整体上将学校的内涵式发展进行量化评估之外,还可以分开不同的一级指标进行专项的深入关联分析,根据研究目的对其进行编码,将研究结果量化,可以更好的辅助评价学校内涵式发展的水平,以及发现当前主要存在的问题。例如,教师队伍建设中,教师的专业化发展水平,对学生的全面发展产生影响,通过进一步关联数据,可以发现教师专业化发展水平在不同的方面,对学生的学业成绩或心理健康影响很大。
如图6所示,本发明系统包括测评工具、数据采集模块、数据处理模块、合并统计模块、报告输出模块、数据仓库。
其中,所述测评工具包括测评表、访谈记录、观察记录、指标体系表,其均存储在数据仓库中;
在所述指标体系表内存储有指标体系以及指标体系与测评表中的题目、访谈记录、观察记录的对应关系;
所述数据采集模块包括选择模块、测评表输入模块、文本输入模块、展示模块;用户根据一级指标通过选择模块选择测评表、访谈记录或者观察记录,选择模块根据用户的选择结果向测评表输入模块或者文本输入模块发送请求,测评表输入模块接到请求后,从数据仓库调出用户选择的测评表,用户通过测评表输入模块填答测评表中的各项;文本输入模块接到请求后,从数据仓库调出访谈记录或者观察记录,用户通过文本输入模块输入基本信息、访谈记录或观察记录,并将基本信息、访谈记录、观察记录存储在数据仓库中,填写好的测评表、访谈记录、观察记录均发送给数据处理模块,同时存储在数据仓库中;所述测评表包括问卷和/或表单。所述基本信息包括学校信息、组织结构信息、人员信息、学历信息、培训信息等。
所述数据处理模块将接收到的测评表内的每道题目的答案转化为对应的分值,并利用所述指标体系表查询到各个三级指标与题目的对应关系,然后将对应每个三级指标的所有题目的分值发送给合并统计模块;同时使用自动编码软件,对接收到的访谈记录、观察记录中的关键词进行数字化编码,编码后得到的是编码表,发送给报告输出模块;
所述合并统计模块将其接收到的每个三级指标的所有题目的分值合并得到该三级指标的分值,将每个二级指标下的所有三级指标的分值按权重相加得到该二级指标的分值,将每个一级指标下的所有二级指标的分值按权重相加得到一级指标的分值,最后将各个一级指标按权重进行合并统计,得到总分值,并将总分值发送给报告输出模块。
所述报告输出模块将总分值、关键词的出现频率以表格的形式或者其它统计形式进行显示。
所述展示模块以文字形式展示测评表、访谈记录、观察记录的使用方法;所述测评表的使用方法包括:学生和教师的选取方法、测试组织方法、测评结果的使用方法等;所述访谈工具的使用方法包括:访谈对象的选取方法、访谈的组织与实施方法、访谈结果的使用方法等;所述观察工具的使用方法包括:观察场所的选取方法、观察结果的使用方法等。
所述测评工具、数据采集模块、数据处理模块、合并统计模块分别与数据仓库连接。所述数据处理模块、合并统计模块均建立在云计算服务上,采用并行云计算的方式进行数据处理;所述数据仓库的存储形式采用云存储方式。
具体实施时,所述测评工具是这样得到的:
依据所述指标研制测评工具(包括调查问卷、量表、访谈记录、观察记录),研发在线测试系统;组织用户进行预试,检验测试工具信度、效度,修订完善测试工具和测试系统。
所述测评工具包括:面向学生、教师、校长的调查问卷和量表;为督学人员提供的针对学生访谈、教师访谈、校长访谈的访谈记录;为督学人员提供的有关课堂观察、校园观察的观察记录。这些调查问卷、量表、访谈记录、观察记录以标准化的形式存储在系统中。
以上测评工具和使用方法使评估更加规范、客观,也便于督学人员进行数据收集,大大降低整个评估对督学人员主观经验的依赖,有效克服了上面所述方法二过于依赖督学人员经验和判断的不足。
测评工具研发完毕后对其进行检验,具体如下:
(一)采用题总相关系数,分析项目区分度:
X表示某个项目的平均分,Y表示工具中其他项目总分的平均分。r的值介于-1与+1之间,|r|越接近于1,表示两变量之间线性关系越密切。根据这一标准对r较低的项目进行修改或删除。
(二)采用内部一致性信度(同质性信度),分析工具信度:
其中,K为构成测验项目数,为项目间相关系数的平均数,rkk同质性信度值。一般情况下,要求工具信度达到0.8以上。
(三)采用验证性因素分析,对构建的指标框架进行检验:
1.定义因子模型:包括选择因子个数和定义因子载荷。因子载荷可以事先定为0、或者其他自由变化的常数、或者在一定的约束下变化的数(比如与另一载荷相等)。
2.收集观测量:根据研究目的收集观测值。
3.获得相关系数矩阵:根据原始资料数据获得变量协方差阵。
4.拟合模型:采用极大似然估计法估计自由变化的因子载荷。
5.评价模型:当模型能够拟合数据时,因子载荷的选择要使模型暗含的相关矩阵与实际观测矩阵之间的差异最小,常用的统计参数有:卡方拟合指数(χ2)、比较拟合指数(CFI)、拟合优度指数(GFI)和估计误差均方根(RMSEA)。根据Bentler的建议标准,χ2/df≤3.0,CFI≥0.9,GFI≥0.85,RMSEA≤0.08,则表明该模型的拟合程度是可接受的。
6.修正模型:如果模型拟合效果不佳,应根据理论分析修正或重新限定约束关系,对模型进行修正,以得到最优模型。
从数据的获取和应用将本发明系统中的数据分为两大类,一类是数据采集处理产生的基础信息(即上述步骤(1)获得的测评表的各项信息),一类是基于指标评估进行归纳重组生成的评估分析应用信息(即上述步骤(2)-(3)获得的信息),如图2所示,其中业务操作信息主要是本发明系统需要进行收集、汇总、采集的相关的督导数据,如调查数据,评价数据等;管理应用信息主要是系统基础数据,如:用户信息、权限、功能菜单、代码库等;评估应用信息:主要是评估指标以及分析数据、分析结果数据。
应用数据是支撑本发明软件运行的基础数据,主要是用户权限、业务模块涉及的数据,在这个基础上,通过业务操作获取督导相关数据,再通过评估应用进行对采集到的数据进行分析、评估并生成最终的统计结果数据。
通过这几大块数据的应用归纳最终获得本发明系统的总体评价相关信息。
基于信息系统数据分类资源,根据评估指标体系应用需求将网络环境下统计指标体系按多层框架构建。三层框架分别是基础数据、指标体系数据和评估分析数据。如图3所示。图3中的基础数据主要指系统运行涉及的用户、组织信息、课程等基础信息,包括系统基本信息、人员基本信息、学校基本信息、组织结构基本信息、学历基本信息、培训基本信息等等,图3中的环节指标主要是各个业务运行中使用的指标信息,包括环节指标、调研环节指标、下校工作指标、工作总结指标、典型经验指标,指标内容提供评估结果需要的基础数据。这2个指标信息的结构内容提供分析指标进行提取、挖掘、分析使用。
本发明系统的平台框架主要内容包括信息管理应用模型设计、信息集成平台设计、综合信息服务应用设计、统计指标标准化数据库设计以及基于Web的技术服务平台设计),如图4所示,其分别与测评工具、数据处理模块、合并统计模块连接。
图4中的“业务信息管理应用模型设计”,是系统运行时的信息模型大分类,具体如下:
1.管理应用信息模型由以下四部分核心类构成:
λ评估业务管理活动类:即评估体系管理员所有管理活动的集合。一级子类包括计划、组织、监测、协调、控制、分析、检查、评价、预测、决策等。
λ评估参与者类:即所有参与评估活动的人和组织。一级子类包括评估者类和评估对象类,二级子类在一级子类基础上细化。
λ评估参与角色类:指参与者在评估活动中充当的角色。
λ评估信息主题类:任何一项评估活动中需要获取的数据集合,由类别、维度和计量单位三个类聚合而成。类别类是管理活动所需统计指标的分类,领导与管理、德育、教学、教师队伍建设、课程和学生发展,维度类是指标归纳汇总的统计标识,如学校、成绩、课程等,计量单位是指指标的最小单位,如:人、分、次等。
2.评估数据的归纳与重组设计
评估数据的归纳与重组设计包括以下方面:
需求分析:以评估活动的类别为基础,以评估对象为单位,按照模型中的信息主题类别、维度和计量单位,进行评估数据资源的归纳与重组数据表设计。
中间库设计:建立归纳重组数据表内容与评估数据结构的对应关系,抽取尽可能对主题内容详细描述的字段。如评估成绩数据集成表应包括学生基本信息、各科成绩信息、课程信息等内容。不同主题间可忽略数据冗余影响,归纳出的主题数据全集应满足现有条件下的各种可能的数据组合要求。
数据质量核查:对重组数据表的内容进行数据采集核查设计,包括非空核查、逻辑核查、字典核查、术语标准核查、关联校验等内容设计,保证重组数据资料的准确性和规范化。
动态数据的静态转储:设置独立于评估信息系统的数据库服务器,按中间库设计的内容,建立评估数据每日运算、存储与汇总转储机制,生成长期在线的静态数据记录表。
构建基于云计算的统计数据资源库是开发评估应用的数据基础。它的最大特点是同时具有事务处理和分析处理的特点,一方面比较接近现有的业务数据,另一方面又与业务数据相分离,是按照服务于管理、决策的宗旨面向主题进行组织的。
本发明将系统搭建在云计算服务上,通过软件应用时段设置相应的负载均衡,对采集的数据采用云存储的方式,对于海量采集数据分析时采用并行云计算的方式进行快速全面的评估操作。
从物理上把评估信息源分为三类,一是基于在线事务处理数据资源,二是基于云计算的企业级数据资源,三是基于在线分析处理数据资源,如图5所示。
本发明系统的测评工具、数据采集模块、数据处理模块、合并统计模块属于业务处理应用,是系统前端展现形式,管理应用是业务处理的基石属于中间服务层,指标分析应用属于数据存储层。
云计算是面向大数据、全局一致的多层次信息处理环境。云计算作为中间层次:一方面,它可以包含全局一致的、细节的、当前或接近当前的数据;另一方面,它又是一种面向主题、集成的数据环境,且数据量小,适用于辅助评估管理者完成日常管理工作的数据分析处理需求。
通常评估各部门事务处理之间是相对独立的,而在线分析处理需要对分散在多个事务处理应用中的相关数据进行归纳重组。但由于事务处理应用的分散性、多个应用间数据的不一致以及历史数据的离线,使目前以事务处理为主体的数据环境难以满足分析型处理对数据在时间空间上以及广度和深度上的需求,因此需要建立独立于应用的数据环境和相应的技术支持。
信息服务的管理应用设计
服务设计包括查询、报表、分析、评价等方式的信息应用需求,设计方法包括专项服务、通用服务和主题服务。
●专项服务是面向科室或项目管理者,给某类管理对象在单项管理活动中所需信息提供的相应查询、报表服务;
●通用服务是面向部门管理者,对某类管理对象在多项管理活动中所需信息提供的综合查询、报表服务;
●主题服务是面向部门以上管理者,提供围绕主题设计的数据挖掘服务。
由于任何信息服务的设计不可能穷尽所有的内容组合,同时,信息服务系统又需要适应不断发展变化着的应用需求,因此需要建立满足自定义的信息服务机制。为此,本发明系统还提供了两种接口,一是在数据采集模块中的资源库原始数据表设计平台上提供自定义数据表设计接口,用于设计数据存储结构,是数据存储方式,通过设计数据表结构将数据清洗、加工操作,以数据冗余为代价,主要对象是评估统计专业人员;二是在查询、报表、分析、评价设计平台,一方面在合并统计模块中提供开放的表格设计接口(实现通过定义数据模板生成相应的统计数据报表),满足各类用户自主查询、报表设计;另一方面在数据处理模块中提供高端的数据处理工具(例如:SPSS、SPA、FineBI、NVIVO等)实现通过数据处理接口进行分析操作,满足方便快捷的数据处理和统计分析需求,应用对象是使用本系统的所有人员。
上述技术方案只是本发明的一种实施方式,对于本领域内的技术人员而言,在本发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施方式所描述的方法,因此前面描述的方式只是优选的,而并不具有限制性的意义。

Claims (10)

1.一种学校综合督导评估系统,其特征在于:所述学校综合督导评估系统包括:测评工具、数据采集模块、数据处理模块、合并统计模块;
所述数据采集模块从测评工具中采集数据,并将采集到的数据发送给数据处理模块;
所述数据处理模块对数据进行处理,并将处理后的需要合并统计的数据发送给合并统计模块;
所述合并统计模块对处理后的需要合并统计的数据进行合并统计。
2.根据权利要求1所述的学校综合督导评估系统,其特征在于:所述测评工具包括测评表、访谈记录、观察记录、指标体系表;
优选地,在所述指标体系表内存储有指标体系以及指标体系与测评表中的题目、访谈记录、观察记录的对应关系。
3.根据权利要求2所述的学校综合督导评估系统,其特征在于:所述指标体系包括一级指标、二级指标和三级指标;
优选地,每个一级指标下设有至少一个二级指标;
每个二级指标下设有至少一个三级指标;
每个三级指标下设有测评表中的至少一个题目、访谈记录和/或观察记录;
更优选地,所述一级指标、二级指标和三级指标的权重分别采用百分数来表示,每个一级指标下的所有二级指标的权重之和等于100%,每个二级指标下的所有三级指标的权重之和等于100%。
4.根据权利要求1所述的学校综合督导评估系统,其特征在于:所述数据采集模块包括选择模块、测评表输入模块、文本输入模块、展示模块;
优选地,用户通过所述选择模块选择测评表、访谈记录和/或观察记录,所述选择模块根据用户的选择结果向测评表输入模块或者文本输入模块发送请求;
所述测评表输入模块接到请求后,调出用户选择的测评表,用户通过测评表输入模块填答测评表中的各个题目,并将填答结果发送给数据处理模块;
所述文本输入模块接到请求后,调出用户选择的访谈记录或者观察记录,用户通过文本输入模块输入访谈记录和/或观察记录,并将填答结果发送给数据处理模块;
所述展示模块以文字形式显示测评表、访谈记录、观察记录的使用方法;
优选地,所述测评表包括问卷和/或表单。
5.根据权利要求1所述的学校综合督导评估系统,其特征在于:所述数据处理模块对填答结果中的测评表进行处理,获得测评表中各个题目的分值,并将各个题目的分值发送给合并统计模块;所述数据处理模块对填答结果中的访谈记录、观察记录进行处理,获得关键词的出现频率;
优选地,所述数据处理模块将其接收到的测评表内的每道题目的答案转化为对应的分值,并利用所述指标体系表查询到各个三级指标与题目的对应关系,然后将对应每个三级指标的所有题目的分值发送给合并统计模块;
更优选地,所述数据处理模块将其接收到的访谈记录、观察记录中的关键词进行数字化编码,获得关键词的编码表,然后根据所述编码表统计各个关键词的出现频率,获得各个关键词的出现频率。
6.根据权利要求1-5任一项所述的学校综合督导评估系统,其特征在于:所述合并统计模块将其接收到的每个三级指标下的所有题目的分值合并得到该三级指标的分值,将每个二级指标下的所有三级指标的分值按权重相加得到该二级指标的分值,将每个一级指标下的所有二级指标的分值按权重相加得到该一级指标的分值,最后将所有一级指标的分值按权重相加得到总分值。
7.根据权利要求1所述的学校综合督导评估系统,其特征在于:所述学校综合督导评估系统进一步包括报告输出模块;
所述数据处理模块将访谈记录、观察记录中的各个关键词的出现频率发送给报告输出模块;
所述合并统计模块将总分值发送给报告输出模块;
所述报告输出模块将其接收到的各个关键词的出现频率、总分值形成报告,并将报告输出。
8.一种利用权利要求1至7任一所述的学校综合督导评估系统实现的学校综合督导评估方法,其特征在于:所述方法包括:
(1)根据一级指标选择测评表,用户填答测评表;对用户进行访谈、观察并填答访谈记录、观察记录;
(2)对测评表进行处理,获得测评表中各个题目的分值;对访谈记录、观察记录进行处理,获得各个关键词的出现频率;
(3)对测评表中的各个题目的分值进行合并统计获得总分值;
(4)将步骤(2)得到的各个关键词的出现频率和步骤(3)得到的总分值形成报告,并将报告输出。
9.根据权利要求8所述的学校综合督导评估方法,其特征在于:所述步骤(2)中的对测评表进行处理,获得测评表中各个题目分值的操作包括:
将测评表内的每道题目的答案转化为对应的分值,并利用所述指标体系表查询到各个三级指标与题目的对应关系;
所述步骤(2)中的对访谈记录、观察记录进行处理,获得关键词出现频率的操作包括:
首先通过样本确定关键词,然后对关键词进行数字化编码,获得关键词的编码表,最后根据编码表对访谈记录、观察记录进行分析,得到各个关键词的出现频率。
10.根据权利要求9所述的学校综合督导评估方法,其特征在于:所述步骤(3)的操作包括:
将每个三级指标下的所有题目的分值合并得到该三级指标的分值,将每个二级指标下的所有三级指标的分值按权重相加得到该二级指标的分值,将每个一级指标下的所有二级指标的分值按权重相加得到该一级指标的分值,最后将所有一级指标的分值按权重相加得到总分值。
CN201810020757.5A 2018-01-10 2018-01-10 一种学校综合督导评估系统及方法 Pending CN110020762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810020757.5A CN110020762A (zh) 2018-01-10 2018-01-10 一种学校综合督导评估系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810020757.5A CN110020762A (zh) 2018-01-10 2018-01-10 一种学校综合督导评估系统及方法

Publications (1)

Publication Number Publication Date
CN110020762A true CN110020762A (zh) 2019-07-16

Family

ID=67187884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810020757.5A Pending CN110020762A (zh) 2018-01-10 2018-01-10 一种学校综合督导评估系统及方法

Country Status (1)

Country Link
CN (1) CN110020762A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503346A (zh) * 2019-08-30 2019-11-26 杨帆 基于数据深度分析的校本培训质量评估平台、系统及方法
CN111242478A (zh) * 2020-01-11 2020-06-05 上海应用技术大学 校外培训机构考核管理系统和方法
CN113011738A (zh) * 2021-03-18 2021-06-22 四川文化传媒职业学院 一种教学督导云方法
CN113554326A (zh) * 2021-07-28 2021-10-26 广东工业大学 一种实时反馈的教学质量评估系统
CN113673877A (zh) * 2021-08-23 2021-11-19 成都正载教育科技有限公司 一种教育质量评价数据采集方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110145368A1 (en) * 2008-05-30 2011-06-16 Mamoru Ito Assessment feedback system
CN104077657A (zh) * 2014-06-27 2014-10-01 江苏华大天益电力科技有限公司 一种基于量化指标的信息化评价方法
CN105469208A (zh) * 2015-11-24 2016-04-06 江苏省电力公司南通供电公司 基于模糊综合评估法的员工培训测评系统
CN107545791A (zh) * 2017-08-29 2018-01-05 广州思涵信息科技有限公司 一种利用课件自动生成课堂教学知识图谱的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110145368A1 (en) * 2008-05-30 2011-06-16 Mamoru Ito Assessment feedback system
CN104077657A (zh) * 2014-06-27 2014-10-01 江苏华大天益电力科技有限公司 一种基于量化指标的信息化评价方法
CN105469208A (zh) * 2015-11-24 2016-04-06 江苏省电力公司南通供电公司 基于模糊综合评估法的员工培训测评系统
CN107545791A (zh) * 2017-08-29 2018-01-05 广州思涵信息科技有限公司 一种利用课件自动生成课堂教学知识图谱的系统和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503346A (zh) * 2019-08-30 2019-11-26 杨帆 基于数据深度分析的校本培训质量评估平台、系统及方法
CN111242478A (zh) * 2020-01-11 2020-06-05 上海应用技术大学 校外培训机构考核管理系统和方法
CN113011738A (zh) * 2021-03-18 2021-06-22 四川文化传媒职业学院 一种教学督导云方法
CN113554326A (zh) * 2021-07-28 2021-10-26 广东工业大学 一种实时反馈的教学质量评估系统
CN113673877A (zh) * 2021-08-23 2021-11-19 成都正载教育科技有限公司 一种教育质量评价数据采集方法及系统

Similar Documents

Publication Publication Date Title
Gibb et al. Strategic awareness, personal commitment and the process of planning in the small business
Polski et al. An institutional framework for policy analysis and design
Jung et al. Connecting Dimensions of School Leadership for Partnerships with School and Teacher Practices of Family Engagement.
Moynihan et al. Look for the silver lining: When performance‐based accountability systems work
CN110020762A (zh) 一种学校综合督导评估系统及方法
Agasisti et al. Evaluating the efficiency of research in academic departments: An empirical analysis in an Italian region
Manning et al. Public officials and their institutional environment: An analytical model for assessing the impact of institutional change on public sector performance
KR102260591B1 (ko) 데이터 기반의 의사결정 지원시스템 및 동작 방법
Öz et al. School principals' opinions on data-based school management: A Case Study
Gungor et al. The evaluation of instructional leadership researches between 2002 and 2017 in Turkey
CN103559585A (zh) 图书馆综合绩效评价的实现方法及系统
Powell The relationship of library user studies to performance measures: a review of the literature
Wallace et al. Review of policy evaluation in natural resources
Zhang et al. EVALUATION SYSTEM FOR LEAN KNOWLEDGE MANAGEMENT ABILITY BASED ON IMPROVED GRAY CORRELATION ANALYSIS.
KR102275986B1 (ko) 솔루션 기반 데이터 분석 및 예측 장치 및 동작 방법
Busco et al. Managing and measuring social impact through integrated thinking and reporting: the case of a european university
Tezera et al. Assessment of material resource utilization practices and its challenges: The Case of Wollega University
Leiber Performance data governance and management in learning and teaching: Basic elements and desiderata in the light of a European case study
Al-Rubaye et al. The Impact of Digital Knowledge Management on Tax Compliance Efficiency: An Empirical Study of the General Tax Authority
Moreland et al. Auditing: a tool for institutional development
Peters et al. A framework for ‘constructing’water quality monitoring programs
ENDIARTIA The Influence of Think Tank Capacity toward Research Impact on Policy: Case Study on the National Resilience Institute
Pan et al. DIIS Method of Third-Party Evaluation
Li et al. A structured and hierarchical safe climate model and its application to safe communities
Abdille Influence of knowledge management strategy on the financial performance of small and medium enterprises in Wajir County, Kenya

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716