CN111243364A - 一种基于HanLP的注册电气工程师考试主观题自动评分方法 - Google Patents

一种基于HanLP的注册电气工程师考试主观题自动评分方法 Download PDF

Info

Publication number
CN111243364A
CN111243364A CN202010020817.0A CN202010020817A CN111243364A CN 111243364 A CN111243364 A CN 111243364A CN 202010020817 A CN202010020817 A CN 202010020817A CN 111243364 A CN111243364 A CN 111243364A
Authority
CN
China
Prior art keywords
questions
subjective
examination
subjective questions
hanlp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010020817.0A
Other languages
English (en)
Inventor
翟文辉
赵曙光
崔志立
王古将
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN202010020817.0A priority Critical patent/CN111243364A/zh
Publication of CN111243364A publication Critical patent/CN111243364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于HanLP的注册电气工程师考试主观题自动评分方法，具体过程为：将注册电气工程师考试的案例主观题进行转化，对主观题进行设问；根据转化后主观题的要求，依次输入考生主观题答案；使用词向量训练算法训练多种语料库，将短文本转化为向量；计算向量的距离得到文本相似度；通过文本相似度确定考生的主观题分数。本发明创新型的结合电气工程师考试试题的特点，将案例主观题进行转化，通过词向量模型计算出考生答案和标准答案的文本相似度，从而进行主观题的自动评分，提高了注册电气工程师考试评分的客观性以及考试的效率。

Description

一种基于HanLP的注册电气工程师考试主观题自动评分方法
技术领域
本发明涉及一种基于HanLP的注册电气工程师考试主观题自动评分方法，属于机器学习自然语言处理技术领域。
背景技术
随着教育规模的日益扩大，传统的纸质考试已经不能适应现代教育的需求。纸质考试的流程包括命题，试卷印刷，人工阅卷，成绩录入等环节，考试的效率非常低，耗费了很多的人力物力，而且评卷的过程也会受到人工判卷、考生字体是否美观等因素影响，从而无法保证考试的公平公正。
随着互联网技术的发展及其在教育领域的应用，相比于传统的效率下的纸质考核方式，以因特网为媒介的在线考试系统凭借其效率高、出错率低、人工干预少等优势，受到广大教育工作者和考生的青睐。目前市场上已经存在着主观题自评分的方法，但是这些方法并不能适用于所有的领域的主观题，特别在一些职业资格认证考试中，应用于主观题自动评分的在线考试系统特别少。目前对于考试系统中的客观题部分，计算机可以通过对考生答案和标准答案的精确匹配来进行自动评分，但是主观题部分的答案涉及汉字、公式、符号等多种形式，具有中文语义的多样化、符号的复杂化等特点，无法进行准确的打分，最终还是要通过人工评阅的方式进行评分，从而使得阅卷的效率很低。因此，实现一种基于HanLP 的注册电气工程师考试主观题自动评分方法显得尤为重要。
主观题自动评分就是将文本相似度算法应用到案例主观题的自动阅卷过程中。由于注册电气工程师考试的专业性，每道试题基本上都有其标准答案，客观题部分可以通过考生答案和参考答案的准确匹配来得到考生的分数，而案例主观题可以根据文本相似度算法计算出考生答案和参考答案的相似度值来得到相应试题的分数，从而得到试卷的总分，实现自动阅卷。
由于在国内，平均每年报考注册电气工程师执业资格考试的人数非常多。因此，结合注册电气工程师考试试题的特点，并利用基于HanLP中词向量模块训练方法和技术，分析考生答案和标准答案的相似度，实现主观题自动评分，可以使得判卷人从繁重的阅卷工作中解放出来，并及时得到考试的结果，提高考试的效率。
发明内容
本发明的目的是提供一种基于HanLP的注册电气工程师考试主观题自动评分方法。能够实现注册电气工程师考试主观题的自动评分，应用于注册电气工程师考试系统，提高考试的效率以及考生的通过率。
为了达到上述目的，本发明的技术方案是提供了一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，包括以下步骤：
步骤一、将注册电气工程师考试的案例主观题进行转化，对主观题进行设问；
步骤二、根据转化后主观题的要求，依次输入考生主观题答案；
步骤三、使用词向量训练算法训练语料库，将短文本转化为向量；
步骤四、计算向量的距离得到文本相似度；
步骤五、通过文本相似度确定考生的主观题分数。
优选地，所述步骤一中,对主观题进行设问为依据主观题试题特点和评分要点对主观题选项、所依据电气技术规范以及计算公式的关键语句进行设问。
优选地，所述步骤二中，输入考生主观题答案是将步骤一对主观题的设问依次填入。
优选地，所述步骤三中将短文本转化为向量的具体过程包括：首先通过 word2vec训练中文分词语料库，然后将短文本中所有的词向量求平均。
优选地，所述的中文分词语料库包括1998年《人民日报》语料库PKU、微软亚洲研究院语料库MSR和繁体中文语料库。
优选地，所述的步骤四中相似度通过计算步骤三中的向量之间的距离得到。
优选地，所述的向量之间的距离计算方法包括欧氏距离、曼哈顿距离、汉明距离、余弦系数和皮尔森相关系数。
优选地，所述的余弦距离计算公式为：
Figure BDA0002360711670000021
其中Qi和Di分别为向量所在位的值，sim(D,D)越接近1越相似，越接近0越不相似。
优选地，所述的步骤五中确定考生的主观题分数的过程为在所有的主观题各项的考生答案和标准答案相似度计算完毕后，根据各项相似度值与该题的总分得到该题的分数，根据注册电气工程师考试的专业性，相似度值须达到一定的预先设定值方可判断该项回答完全正确，最后将所有的主观题分数累加，可得到整张试卷主观题的分数，最后四舍五入得到总分。
本发明的有益效果为：本发明创新型的结合电气工程师考试试题的特点，将其案例主观题进行转化，通过词向量模型计算出考生答案和标准答案的文本相似度，从而进行主观题的评分，得到学生的考试成绩。可应用于注册电气工程师考试系统，帮助学生了解自己对知识的掌握程度并进行针对性突破，提高注册电气工程师考试的通过率和考试的效率。由于人工打分难免会受到疲倦程度、个人心情状态、考生字体的美观与否等主观因素的影响，因此自动评分不仅可以加快阅卷的速度，亦可以提高评分的客观性。
附图说明
图1是本发明的流程图；
图2主观题各项评分的流程图；
图3为主观题示例及评分要点的示意图；
图4为图3中主观题的考生示例解答。
具体实施方式
为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
如图1所示，本发明的实施方式涉及一种基于HanLP的注册电气工程师考试主观题自动评分方法，对注册电气工程师的案例主观题进行转化，实现自动评分。
具体步骤为：
步骤一、将注册电气工程师考试的案例主观题进行转化，对主观题进行设问；
步骤二、根据转化后主观题的要求，依次输入考生主观题答案；
步骤三、使用词向量训练算法训练语料库，将短文本转化为向量；
步骤四、计算向量的距离得到文本相似度；
步骤五、通过文本相似度确定考生的主观题分数。
其中，
步骤一中对注册电气工程师案例主观题进行转化，需要对主观题中的答题要点进行针对性的设空。例如，根据主观题试题特点和评分要点，首先从该题四个选项中选择一个，可设为一空，如图3中的选项1；其次，根据所依据的电气技术规范是否正确，可设为一到两空，如图3中的依据2；最后需要通过所填计算公式的结果的正确与否来判断是否掌握相关公式，所以解答过程中会出现一些关键语句，根据这些关键语句可设多空，如图3中的数值3。
步骤二中输入考生主观题答案是将步骤一中依据主观题试题特点和评分要点所设的空依次填入。四个选项的结果以及公式计算的结果可以通过精确匹配来打分，但是依据的技术规范和关键性语句为中文短文本，无法直接判断其正确性，需要通过比较短文本的相似度值来评分。
步骤三中将短文本转化为为向量的具体过程为：通过word2vec训练多种中文分词语料库，包括1998年《人民日报》语料库PKU、微软亚洲研究院语料库MSR和繁体中文语料库，得到质量更高的词向量模型。利用词袋模型的思想，将短文本中所有的词向量求平均，就能将这段短文本表达为一个稠密向量。因此，我们就可以通过衡量任意两段文本之间的相似度了。
步骤四中计算两段短文本的相似度可以通过计算步骤三中得到的向量之间的距离得到。目前常用的向量距离计算的方法有欧氏距离(L2范数)、曼哈顿距离、汉明距离(两个等长字符串对应位置的不同字符的个数)、余弦系数、皮尔森相关系数等。采用余弦距离来计算相似度的公式为：
Figure BDA0002360711670000041
其中Qi和Di分别为向量所在位的值。sim(D,D)越接近1越相似，越接近0越不相似。
步骤五中确定主观题分数是依据步骤四中所计算的相似度所评定的。具体过程为：在所有的主观题各项的考生答案和标准答案相似度计算完毕后，根据各项相似度值与该题的总分得到该题的分数，鉴于注册电气工程师考试的专业性，相似度值须达到预先设定的值才可判断该项回答完全正确。最后将所有的主观题分数累加，可得到整张试卷主观题的分数，最后四舍五入即为总分。
根据图2中的主观题评分流程，对于图3中的主观题示例，可设为十空，若考生答案为B、电能质量公用电网谐波、附录中的C1、1、2.75、26.67、2.962％、 0.534、32.43、2.435，则根据文本相似度算法，第二空和第三空的考生答案和标准答案相似度极高，这两项可为满分，其他空均为精确匹配打分，则可根据各项的分数确定该题的总分，最终得到整张试卷主观题的总分。对于图3中的示例主观题，根据评分要点，若总分为20分，第二空和第三空均为6分，其它空均为1分。考生答案示例如4所示，除了第八空错误，其他空均正确，则该题得分为19分。
本发明创新型的结合电气工程师考试试题的特点，将其案例主观题进行转化，通过词向量训练方法训练多种中文语料库，从而计算出考生答案和标准答案的文本相似度，从而进行主观题的评分，得到学生的考试成绩。可应用于注册电气工程师考试系统，帮助学生了解自己对知识的掌握程度并进行针对性突破，提高注册电气工程师考试的通过率和考试的效率。由于人工打分难免会受到疲倦程度、个人心情状态、考生字体的美观与否等主观因素的影响，因此自动评分不仅可以加快阅卷的速度，亦可以提高评分的客观性。

Claims (9)

1.一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，包括以下步骤：
步骤一、将注册电气工程师考试的案例主观题进行转化，对主观题进行设问；
步骤二、根据转化后主观题的要求，依次输入考生主观题答案；
步骤三、使用词向量训练算法训练语料库，将短文本转化为向量；
步骤四、计算向量的距离得到文本相似度；
步骤五、通过文本相似度确定考生的主观题分数。
2.如权利要求1所述的一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，所述步骤一中,对主观题进行设问为依据主观题试题特点和评分要点对主观题选项、所依据电气技术规范以及计算公式的关键语句进行设问。
3.如权利要求1所述的一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，所述步骤二中，输入考生主观题答案是将步骤一对主观题的设问依次填入。
4.如权利要求1所述的一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，所述步骤三中将短文本转化为向量的具体过程包括：首先通过word2vec训练中文分词语料库，然后将短文本中所有的词向量求平均。
5.如权利要求4所述的一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，所述的中文分词语料库包括1998年《人民日报》语料库PKU、微软亚洲研究院语料库MSR和繁体中文语料库。
6.如权利要求1所述的一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，所述的步骤四中相似度通过计算步骤三中的向量之间的距离得到。
7.如权利要求6所述的一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，所述的向量之间的距离计算方法包括欧氏距离、曼哈顿距离、汉明距离、余弦系数和皮尔森相关系数。
8.如权利要求7所述的一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，所述的余弦距离计算公式为：
Figure FDA0002360711660000021
其中Qi和Di分别为向量所在位的值，sim(D,D)越接近1越相似，越接近0越不相似。
9.如权利要求1所述的一种基于HanLP的注册电气工程师考试主观题自动评分方法，其特征在于，所述的步骤五中确定考生的主观题分数的过程为在所有的主观题各项的考生答案和标准答案相似度计算完毕后，根据各项相似度值与该题的总分得到该题的分数，根据注册电气工程师考试的专业性，相似度值须达到一定的预先设定值方可判断该项回答完全正确，最后将所有的主观题分数累加，可得到整张试卷主观题的分数，最后四舍五入得到总分。
CN202010020817.0A 2020-01-09 2020-01-09 一种基于HanLP的注册电气工程师考试主观题自动评分方法 Pending CN111243364A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010020817.0A CN111243364A (zh) 2020-01-09 2020-01-09 一种基于HanLP的注册电气工程师考试主观题自动评分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010020817.0A CN111243364A (zh) 2020-01-09 2020-01-09 一种基于HanLP的注册电气工程师考试主观题自动评分方法

Publications (1)

Publication Number Publication Date
CN111243364A true CN111243364A (zh) 2020-06-05

Family

ID=70880321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010020817.0A Pending CN111243364A (zh) 2020-01-09 2020-01-09 一种基于HanLP的注册电气工程师考试主观题自动评分方法

Country Status (1)

Country Link
CN (1) CN111243364A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630613A (zh) * 2022-12-19 2023-01-20 长沙冉星信息科技有限公司 一种问卷调查中评价类问题的自动编码系统及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373447A (zh) * 2016-09-18 2017-02-01 三星电子（中国）研发中心 一种智能阅卷系统及方法
CN106844346A (zh) * 2017-02-09 2017-06-13 北京红马传媒文化发展有限公司 基于深度学习模型Word2Vec的短文本语义相似性判别方法和系统
CN107273861A (zh) * 2017-06-20 2017-10-20 广东小天才科技有限公司 一种主观题阅卷评分方法、装置及终端设备
CN109271626A (zh) * 2018-08-31 2019-01-25 北京工业大学 文本语义分析方法
US10373047B2 (en) * 2014-02-28 2019-08-06 Educational Testing Service Deep convolutional neural networks for automated scoring of constructed responses
CN110196893A (zh) * 2019-05-05 2019-09-03 平安科技（深圳）有限公司 基于文本相似度的非主观题阅卷方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373047B2 (en) * 2014-02-28 2019-08-06 Educational Testing Service Deep convolutional neural networks for automated scoring of constructed responses
CN106373447A (zh) * 2016-09-18 2017-02-01 三星电子（中国）研发中心 一种智能阅卷系统及方法
CN106844346A (zh) * 2017-02-09 2017-06-13 北京红马传媒文化发展有限公司 基于深度学习模型Word2Vec的短文本语义相似性判别方法和系统
CN107273861A (zh) * 2017-06-20 2017-10-20 广东小天才科技有限公司 一种主观题阅卷评分方法、装置及终端设备
CN109271626A (zh) * 2018-08-31 2019-01-25 北京工业大学 文本语义分析方法
CN110196893A (zh) * 2019-05-05 2019-09-03 平安科技（深圳）有限公司 基于文本相似度的非主观题阅卷方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630613A (zh) * 2022-12-19 2023-01-20 长沙冉星信息科技有限公司 一种问卷调查中评价类问题的自动编码系统及其方法

Similar Documents

Publication Publication Date Title
Berendes et al. Reading demands in secondary school: Does the linguistic complexity of textbooks increase with grade level and the academic orientation of the school track?
TWI608367B (zh) 中文文本可讀性計量系統及其方法
Chen et al. An unsupervised automated essay-scoring system
CN103065626B (zh) 英语口语考试系统中的朗读题自动评分方法和设备
CN109255028A (zh) 基于教学评价数据可信度的教学质量综合评价方法
WO2023273583A1 (zh) 阅卷方法、装置、电子设备及存储介质
CN106856095A (zh) 一种拼音拼读的发音质量评测系统
Gomaa et al. Arabic short answer scoring with effective feedback for students
Tack et al. Human and automated CEFR-based grading of short answers
CN111243364A (zh) 一种基于HanLP的注册电气工程师考试主观题自动评分方法
Kunilovskaya How far do we agree on the quality of translation?
CN103699675B (zh) 一种译员分级索引的方法
CN107436863A (zh) 英语语篇易读度的评测方法及装置
CN112232681B (zh) 一种面向计算分析类非选择题的智能评卷方法
Honda et al. A Correspondence Analysis of Seventeen Japanese Historical English-as-a-ForeignLanguage Textbooks
CN112131889A (zh) 基于大数据的智能语文主观题评分方法和系统
Luong et al. Building a corpus for vietnamese text readability assessment in the literature domain
Wu Automatic English essay scoring algorithm based on machine learning
Mucida et al. A language-independent metric for measuring text simplification that does not require a parallel corpus
Li An automated English translation judging system based on feature extraction algorithm
Tampi et al. THE SEVENTH GRADE STUDENTS OF SMPN 1 ERIS MASTER THE LANGUAGE SKILLS, ESPECIALLY THE ABILITY OF READING COMPREHENSION AND THEIR COMPONENTS, ESPECIALLY THE MASTERY OF VOCABULARY
CN103021226B (zh) 一种基于发音节奏的语音评测方法及装置
Ramdhan The Relationship between VIII Grade of Depok Junior High School Students’ Vocabulary Mastery and the Results of Reading English
Mandela et al. THE RELATION OF THE ABILITY OF IMPERATIVE SENTENCES AND THE WRITING SKILL OF JUNIOR HIGH SCHOOL STUDENTS
Ismawati et al. AN ANALYSIS STUDENTS’TRANSLATION ABILITY ON INDONESIAN INTO ENGLISH ON NARRATIVE TEXT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605

RJ01 Rejection of invention patent application after publication