CN112258058A - 一种“生评教”数据效度快速定量分析和评价方法 - Google Patents

一种“生评教”数据效度快速定量分析和评价方法 Download PDF

Info

Publication number
CN112258058A
CN112258058A CN202011167243.6A CN202011167243A CN112258058A CN 112258058 A CN112258058 A CN 112258058A CN 202011167243 A CN202011167243 A CN 202011167243A CN 112258058 A CN112258058 A CN 112258058A
Authority
CN
China
Prior art keywords
evaluation
data
education
live
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011167243.6A
Other languages
English (en)
Inventor
项荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202011167243.6A priority Critical patent/CN112258058A/zh
Publication of CN112258058A publication Critical patent/CN112258058A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种“生评教”数据效度快速定量分析和评价方法。通过收集教务处已有“生评教”数据，基于同一任课教师的同一门课程的多个平行班级的“生评教”数据计算“生评教”测量标准差，通过所有课程的“生评教”数据计算被测对象标准差，进而基于被测对象标准差与“生评教”测量标准差计算数据分级数ndc，将其作为“生评教”数据效度评价指标，进一步建立“生评教”效度评价标准，即ndc≥5时，“生评教”数据效度合格，最终实现“生评教”数据效度的定量分析和评价。应用本发明无需通过额外专门组织“生评教”测评收集“生评教”数据，可直接使用教务处现有“生评教”数据，快速定量计算和评价“生评教”数据效度。

Description

一种“生评教”数据效度快速定量分析和评价方法
技术领域
本发明涉及一种“生评教”数据效度快速定量分析和评价方法。
背景技术
教学质量是高校教学工作的生命线。教学质量评价是教学质量监控的主要手段。在高校教学质量评价体系中，“生评教”作为教学质量评价数据的主要来源，已被高校普遍采用。由于“生评教”结果是课程教学质量改进、教师教学工作测评、教师职称评定及晋升、教学管理决策的重要依据，因此对“生评教”信效度进行分析，就显得尤为重要。“生评教”信效度分析研究主要包括定性和定量分析。比较而言，定性分析多为从管理、操作规范及“生评教”问卷整体的合理性等角度进行存在问题的分析，虽可获得“生评教”信效度定性分析结果，但由于缺乏实际“生评教”数据的统计分析，因此分析结果粗略，所得效度可信性较差。相反，定量评价可提供“生评教”有效性的精确量化评价，以确保为高校教学质量的精准管理决策提供精确可信赖的“生评教”数据。
当前“生评教”信效度量化分析主要为“生评教”总体及“生评教”各组成要素如教师、学生、课程、未知因素等对应的“生评教”数据变差分析。根据变差大小确定“生评教”信度，变差越小，“生评教”数据一致性越高，那么“生评教”信度就越高。然而，单一的变差评价方法并不能定量反映“生评教”效度。如：当“生评教”数据变差大时，若其相对教师课程教学质量变差较小，则“生评教”数据质量仍可满足“生评教”需求；反之，当“生评教”数据变差较小时，若其相对教师课程教学质量变差较大，则“生评教”数据质量仍可能无法满足“生评教”需求。因此，当前单纯基于“生评教”数据变差大小进行“生评教”信度分析的方法具有片面性和局限性。另外，当前“生评教”效度分析通常采用专家评定的方法，且无明确的定量评价指标和标准。已有的一种“生评教”系统有效性的定量分析方法虽也可实现“生评教”数据效度的定量分析，同时可区分“生评教”测量系统的重复性和再现性变差，但因为需要同一班级对同一被测对象进行重复测评，因此无法直接使用教务处已有“生评教”数据进行效度分析，需要另外组织专门的“生评教”测评，以收集效度分析所需的同一班级对同一被测对象的重复测评“生评教”数据，费时费力。因此，非常需要一种“生评教”数据效度快速定量分析和评价方法，利用教务处已有的“生评教”数据，实现“生评教”数据效度的快速定量分析和评价，确保“生评教”数据质量，在便于教师进行课堂教学质量自我诊断，自我改进的同时，也利于高校使用高质量的“生评教”数据进行教学质量管理和决策。
发明内容
本发明的目的在于提供一种“生评教”数据效度快速定量分析和评价方法，以利用高校教务处已有“生评教”数据实现“生评教”数据效度的快速定量分析和评价。
本发明采用的技术方案是：
一种“生评教”系统有效性的定量分析方法，包含如下步骤：
①“生评教”数据收集：从教务处收集使用同一“生评教”测评问卷的近m(m≥1)个学年的同一任课教师的同一课程含多个班级的“生评教”数据；
②“生评教”数据清洗：剔除所收集的“生评教”数据中，同一班级参与测评学生数少于20位的课程“生评教”数据；将同一任课教师的同一课程视为一个被测对象，进一步剔除同一被测对象的参与测评班级数少于2的“生评教”数据；“生评教”数据收集步骤中的学年数m应足够大，以确保经“生评教”数据清洗后，保留的“生评教”数据中所包含的被测对象数大于1；
③被测对象“生评教”数据计算：将各被测对象的各班级所有参与测评学生的“生评教”数据求均值作为该被测对象的班级“生评教”数据；将同一被测对象的所有班级“生评教”数据求均值作为被测对象“生评教”数据；
④“生评教”测量标准差计算：计算同一被测对象的所有班级“生评教”数据标准差，即为“生评教”测量标准差，如式(1)所示：
σm＝5.15Ro’/d2 * (1)
式中：σm为“生评教”测量系统标准差，表示“生评教”测量精度；Ro’表示所有的同一被测对象的班级“生评教”数据的极差的均值；d2 *系数可根据极差个数，为被测对象数，和获得单个极差数据个数，为同一被测对象的测评班级数，查d2 *系数表获得；
⑤被测对象标准差计算：当被测对象数少于10时，被测对象标准差σp可通过式(2)计算获得：
σp＝Rp/d2 * (2)
式中：Rp表示不同被测对象“生评教”数据的极差；d2 *系数可根据极差个数，为1，和获得单个极差数据个数，为被测对象数，查d2 *系数表获得；
当被测对象数大于等于10时，被测对象标准差σp通过贝塞尔公式计算获得；
⑥数据分级数计算：数据分级数ndc的计算如式(3)所示：
ndc＝1.41σp/σm (3)
将数据分级数ndc作为“生评教”数据效度评价指标；
⑦“生评教”数据效度定量评价：利用如下“生评教”数据效度评价准则实现“生评教”数据效度的评价：
数据分级数ndc≥5：“生评教”数据效度合格；
ndc＜5：“生评教”数据效度不合格。
本发明具有的有益效果是：本发明通过设计本发明涉及一种“生评教”数据效度快速定量分析和评价方法，无需为了收集效度分析所需的同一班级对同一被测对象的重复测评“生评教”数据而另外专门组织“生评教”测评，可直接使用教务处已有的“生评教”数据进行效度的快速定量分析和评价，有利于及时发现低质量的“生评教”数据，保障“生评教”数据质量，从而便于教师进行教学质量自我诊断和改进，同时也便于高校实现准确有效的教师教学质量监控和管理。
附图说明
图1是“生评教”系统组成示意图。
图2是一种“生评教”数据效度快速定量分析和评价系统构成图。
图3是“生评教”数据效度快速定量分析和评价流程。
图4是d2 *系数查找表。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
图1示意了“生评教”系统的一个具体实施例。将“生评教”测评表视作一种“软”测量仪器，将参与测评的班级视为测量人员，将被测评的同一课程的同一任课教师视为被测对象，将测评方法视为测量方法，将测评环境视为测量环境，将由上述要素组成的“生评教”系统视为一测量系统。其中，参与每个被测对象的测评的班级数p1，……pq，均大于等于2。
图2示意了“生评教”系统有效性定量分析系统的一个具体实施例。包括“生评教”系统、计算机和基于Matlab R2017b编程的“生评教”数据效度快速定量分析和评价软件。其中，“生评教”系统采用图1所示的“生评教”系统，计算机采用lenovo S230u Twist。将从教务处收集的“生评教”数据输入计算机，计算机应用“生评教”数据效度快速定量分析和评价软件进行“生评教”数据效度的快速定量分析和评价，输出“生评教”数据效度及其评价结果。如图3所示，“生评教”数据效度快速定量分析和评价方法的具体实现如下：
①“生评教”数据收集：从某校教务处收集了使用同一“生评教”测评问卷的近4个学年的同一任课教师的同一课程含多个班级的“生评教”数据，包括：工科、管科、文科三个专业，2015-2016，2016-2017，2018-2019，2019-2020共4个学年，8个学期的生评教数据。其中，每学年4个年级，工科7个同专业平行班级，管科3个同专业平行班级，文科2个同专业平行班级，合计共3097个班级，77536人次；
②“生评教”数据清洗：剔除所收集的“生评教”数据中，同一班级参与测评学生数少于20位的课程“生评教”数据；将同一任课教师的同一课程视为一个被测对象，进一步剔除同一被测对象的参与测评班级数少于2的“生评教”数据；“生评教”数据收集步骤中的学年数为4已足够大，经“生评教”数据清洗后，保留的“生评教”数据中所包含的被测对象数为3097个，大于1；
③被测对象“生评教”数据计算：将各被测对象的各班级所有参与测评学生的“生评教”数据求均值作为该被测对象的班级“生评教”数据；将同一被测对象的所有班级“生评教”数据求均值作为被测对象“生评教”数据；
④“生评教”测量标准差计算：计算同一被测对象的所有班级“生评教”数据标准差，即为“生评教”测量标准差，如式(1)所示：
σm＝5.15Ro’/d2 * (1)
式中：σm为“生评教”测量系统标准差，表示“生评教”测量精度；Ro’表示所有同一被测对象的班级“生评教”数据的极差的均值；d2 *系数可根据极差个数，为被测对象数，和获得单个极差数据个数，为同一被测对象的测评班级数，查图4中的d2 *系数表获得；本实施例经计算得到“生评教”测量标准差为2.6；
⑤被测对象标准差计算：当被测对象数少于10时，被测对象标准差σp可通过式(2)计算获得：
σp＝Rp/d2 * (2)
式中：Rp表示不同被测对象“生评教”数据的极差；d2 *系数可根据极差个数，为1，和获得单个极差数据个数，为被测对象数，查图4的d2 *系数表获得；
当被测对象数大于等于10时，被测对象标准差σp通过贝塞尔公式计算获得，由于本实施例中的被测对象数为3097个，因此，本实施例在求被测对象标准差时，使用贝塞尔公式，计算得到被测对象标准差为4.1；
⑥数据分级数计算：数据分级数ndc的计算如式(3)所示：
ndc＝1.41σp/σm (3)
将数据分级数ndc作为“生评教”数据效度评价指标，本实施例计算得到数据分级数ndc为2.2；
⑦“生评教”数据效度定量评价：利用如下“生评教”数据效度评价准则实现“生评教”数据效度的评价：
数据分级数ndc≥5：“生评教”数据效度合格；
ndc＜5：“生评教”数据效度不合格；
基于“生评教”数据效度评价准则，本实施例对应的“生评教”数据效度不合格。

Claims (1)

1.一种“生评教”数据效度快速定量分析和评价方法，其特征在于，包含如下步骤：
①“生评教”数据收集：从教务处收集使用同一“生评教”测评问卷的近m(m≥1)个学年的同一任课教师的同一课程含多个班级的“生评教”数据；
②“生评教”数据清洗：剔除所收集的“生评教”数据中，同一班级参与测评学生数少于20位的课程“生评教”数据；将同一任课教师的同一课程视为一个被测对象，进一步剔除同一被测对象的参与测评班级数少于2的“生评教”数据；“生评教”数据收集步骤中的学年数m应足够大，以确保经“生评教”数据清洗后，保留的“生评教”数据中所包含的被测对象数大于1；
③被测对象“生评教”数据计算：将各被测对象的各班级所有参与测评学生的“生评教”数据求均值作为该被测对象的班级“生评教”数据；将同一被测对象的所有班级“生评教”数据求均值作为被测对象“生评教”数据；
④“生评教”测量标准差计算：计算同一被测对象的所有班级“生评教”数据标准差，即为“生评教”测量标准差，如式(1)所示：
σm＝5.15Ro’/d2 * (1)
式中：σm为“生评教”测量系统标准差，表示“生评教”测量精度；Ro ’表示所有的同一被测对象的班级“生评教”数据的极差的均值；d2 *系数可根据极差个数，为被测对象数，和获得单个极差数据个数，为同一被测对象的测评班级数，查d2 *系数表获得；
⑤被测对象标准差计算：当被测对象数少于10时，被测对象标准差σp可通过式(2)计算获得：
σp＝Rp/d2 * (2)
式中：Rp表示不同被测对象“生评教”数据的极差；d2 *系数可根据极差个数，为1，和获得单个极差数据个数，为被测对象数，查d2 *系数表获得；
当被测对象数大于等于10时，被测对象标准差σp通过贝塞尔公式计算获得；
⑥数据分级数计算：数据分级数ndc的计算如式(3)所示：
ndc＝1.41σp/σm (3)
将数据分级数ndc作为“生评教”数据效度评价指标；
⑦“生评教”数据效度定量评价：利用如下“生评教”数据效度评价准则实现“生评教”数据效度的评价：
数据分级数ndc≥5：“生评教”数据效度合格；
ndc＜5：“生评教”数据效度不合格。
CN202011167243.6A 2020-10-27 2020-10-27 一种“生评教”数据效度快速定量分析和评价方法 Withdrawn CN112258058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011167243.6A CN112258058A (zh) 2020-10-27 2020-10-27 一种“生评教”数据效度快速定量分析和评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011167243.6A CN112258058A (zh) 2020-10-27 2020-10-27 一种“生评教”数据效度快速定量分析和评价方法

Publications (1)

Publication Number Publication Date
CN112258058A true CN112258058A (zh) 2021-01-22

Family

ID=74262345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011167243.6A Withdrawn CN112258058A (zh) 2020-10-27 2020-10-27 一种“生评教”数据效度快速定量分析和评价方法

Country Status (1)

Country Link
CN (1) CN112258058A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064941A (zh) * 2021-04-13 2021-07-02 杭州米越科技有限公司 一种学前教育场景下幼儿专注度评测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064941A (zh) * 2021-04-13 2021-07-02 杭州米越科技有限公司 一种学前教育场景下幼儿专注度评测方法

Similar Documents

Publication Publication Date Title
Impara et al. Teachers' ability to estimate item difficulty: A test of the assumptions in the Angoff standard setting method
Christian et al. Evaluation of multiple choice questions using item analysis tool: a study from a medical institute of Ahmedabad, Gujarat
Isnani et al. Estimation of college students’ ability on real analysis course using Rasch model
Johnson et al. Score resolution: An investigation of the reliability and validity of resolved scores
Graney General education teacher judgments of their low‐performing students' short‐term reading progress
Foegen Progress monitoring in middle school mathematics: options and issues
Subali et al. The Comparison of Item Test Characteristics Viewed from Classic and Modern Test Theory.
CN112258058A (zh) 一种“生评教”数据效度快速定量分析和评价方法
Seidel Video analysis strategies of the IPN Video Study–a methodological overview
Schmied et al. The effectiveness of study skills courses: Do they increase general study competences?
Aslanoglu et al. Evaluation of university students' rating behaviors in self and peer rating process via many facet Rasch model
Ramadhania et al. Analysis of mathematics problem-solving ability on plane figure subject based on van hieles theory at Junior High School
Hartono et al. Exploration of Diagnostic Testing Instruments: validity, reliability, and item characteristics
Okemakinde et al. Teaching resources utilization and academic performance in technical colleges in Oyo State, Nigeria
Yunusova THE TEST AS A QUALIMETRIC TOOL TO ASSESS THE QUALITY OF STUDENTS’KNOWLEDGE
Prasetyani et al. Analisis Kualitas Soal Ujian Akhir Semester Literasi dan Numerasi Kelas 6 Berdasarkan Teori Tes Klasik
Gitomer Methods for Observing Classroom Interactions
Kennedy et al. Unified tertiary matriculation examination (UTME) and the post unified tertiary matriculation examination (PUTME) as predictors of undergraduate Students’ final grades
Awalya et al. The level of Indonesia counselors evaluation competency
Swain et al. Educational measurement statistics and guidance
Astuti The Reliability of the English Final Test for Management Students
Orongan Reliability Analysis on Teachers’ Quarterly Classroom Assessment in Basic Education
Nopiah et al. Evaluation of Pre-assessment Method on Improving Students Performance in Complex Analysis Course
Richardson et al. What are students learning in practicals? A cross sectional study in university physics laboratories
Martínez-Juste Diagnostic Classification Models to Compare Proportional Reasoning of Turkish and Spanish Middle School Students

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210122

WW01 Invention patent application withdrawn after publication