CN110196893A - 基于文本相似度的非主观题阅卷方法、装置及存储介质 - Google Patents

基于文本相似度的非主观题阅卷方法、装置及存储介质 Download PDF

Info

Publication number
CN110196893A
CN110196893A CN201910367007.XA CN201910367007A CN110196893A CN 110196893 A CN110196893 A CN 110196893A CN 201910367007 A CN201910367007 A CN 201910367007A CN 110196893 A CN110196893 A CN 110196893A
Authority
CN
China
Prior art keywords
answer
examinee
text
similarity
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910367007.XA
Other languages
English (en)
Inventor
金戈
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910367007.XA priority Critical patent/CN110196893A/zh
Publication of CN110196893A publication Critical patent/CN110196893A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种人工智能技术，揭露了一种基于文本相似度的非主观题阅卷方法，包括：对特定领域的专有词语进行收集汇总，构建特定词汇的文本语料库；获取考试试卷中考生答案的文本内容；根据所述文本语料库，对所述考试试卷的标准答案和考生答案的文本内容按照预先确定的分词规则分别进行分词操作，并产生所述标准答案和考生答案的分词向量；利用预设算法计算所述标准答案和考生答案的分词向量之间的相似度；及从所述分词向量中选择标准答案的得分要点，根据标准答案的得分要点及所述相似度匹配相应的分值，对考生答案中每道非主观题进行智能打分。本发明还提出一种装置以及一种计算机可读存储介质。本发明能够实现试卷的精确的智能化评分。

Description

基于文本相似度的非主观题阅卷方法、装置及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于文本相似度的非主观 题阅卷方法、装置及计算机可读存储介质。
背景技术
考试作为对学习效果和知识掌握程度的一种检验方法，在日常工作和生 活中广泛存在。由于各类培训考试人数较多、规模较大，而且人工阅卷中会 有很多主观因素影响评分结果，如教师的疲劳程度、心情状态以及考生的字 体是否美观等，因此教育和培训机构对于自动阅卷的需求日趋强烈。
发明内容
本发明提供一种基于文本相似度的非主观题阅卷方法、装置及计算机可 读存储介质，其主要目的在于提供一种非主观题阅卷方法，以实现试卷的智 能化评分。
为实现上述目的，本发明的基于文本相似度的非主观题阅卷方法，包括：
对特定领域的专有词语进行收集汇总，构建特定词汇的文本语料库；
获取考试试卷中考生答案的文本内容；
根据所述文本语料库，对所述考试试卷的标准答案和考生答案的文本内 容按照预先确定的分词规则分别进行分词操作，并产生所述标准答案和考生 答案的分词向量；
利用预设算法计算所述标准答案和考生答案的分词向量之间的相似度； 及
从所述分词向量中选择标准答案的得分要点，根据标准答案的得分要点 并结合所述标准答案和考生答案的分词向量之间的相似度匹配相应的分值， 对考生答案中每道非主观题进行智能打分。
可选地，所述获取考试试卷中考生答案的文本内容包括：
针对笔试方式的考试试卷，获取考试试卷的影像图像，识别出所述影像 图像中非主观题部分问题的考生答案，并将所述考生答案转换为文本格式， 形成所述考生答案的文本内容；及
针对机答方式的考试试卷，直接获取所述考生的答案部分，形成所述考 生答案的文本内容。
可选地，所述预先确定的分词规则包括利用隐性马尔科夫模型和关键词 抽取算法对标准答案和考生答案进行文本改写，并利用K-means算法和朴素 贝叶斯分类器构建词袋模型，实现分词操作。
可选地，所述预设算法为余弦相似度算法，公式为：
其中，X、Y分别为标准答案和考生答案的分词向量，sim(X,Y)表示标准 答案和考生答案的分词向量之间的余弦相似度、范围从-1到1。其中， sim(X,Y)的值越接近-1，表示两个分词向量指向的方向相反，相似度越低， 值越接近1，表示两个分词向量指向的方向相同，相似度越高，0代表两个分 词向量之间具有独立性，表示中度的相似性或相异性。
可选地，所述从所述分词向量中选择标准答案的得分要点，根据标准答 案的得分要点并结合所述标准答案和考生答案的分词向量之间的相似度匹配 相应的分值，对考生答案中每道非主观题进行智能打分包括：
预先设置标准答案的多个得分要点，并针对每个得分要点的重要程度设 置各得分要点的分值比重；
根据所述标准答案和考生答案的分词向量的相似度，筛选出与所述标准 答案的得分要点相匹配的考生答案中的关键词；
通过计算考生答案中所有关键词对应的得分要点的分值比重，得到该试 卷的非主观题得分。
此外，为实现上述目的，本发明还提供一种装置，该装置包括存储器和 处理器，所述存储器中存储有可在所述处理器上运行的基于文本相似度的非 主观题阅卷程序，所述基于文本相似度的非主观题阅卷程序被所述处理器执 行时实现如下步骤：
对特定领域的专有词语进行收集汇总，构建特定词汇的文本语料库；
获取考试试卷中考生答案的文本内容；
根据所述文本语料库，对所述考试试卷的标准答案和考生答案的文本内 容按照预先确定的分词规则分别进行分词操作，并产生所述标准答案和考生 答案的分词向量；
利用预设算法计算所述标准答案和考生答案的分词向量之间的相似度； 及
从所述分词向量中选择标准答案的得分要点，根据标准答案的得分要点 并结合所述标准答案和考生答案的分词向量之间的相似度匹配相应的分值， 对考生答案中每道非主观题进行智能打分。
可选地，所述预先确定的分词规则包括利用隐性马尔科夫模型和关键词 抽取算法对标准答案和考生答案进行文本改写，并利用K-means算法和朴素 贝叶斯分类器构建词袋模型，实现分词操作。
可选地，所述预设算法为余弦相似度算法，公式为：
其中，X、Y分别为标准答案和考生答案的分词向量，sim(X,Y)表示标准 答案和考生答案的分词向量之间的余弦相似度、范围从-1到1。
可选地，所述从所述分词向量中选择标准答案的得分要点，根据标准答 案的得分要点并结合所述标准答案和考生答案的分词向量之间的相似度匹配 相应的分值，对考生答案中每道非主观题进行智能打分包括：
预先设置标准答案的多个得分要点，并针对每个得分要点的重要程度设 置各得分要点的分值比重；
根据所述标准答案和考生答案的分词向量的相似度，筛选出与所述标准 答案的得分要点相匹配的考生答案中的关键词；
通过计算考生答案中所有关键词对应的得分要点的分值比重，得到该试 卷的非主观题得分。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述 计算机可读存储介质上存储有基于文本相似度的非主观题阅卷程序，所述基 于文本相似度的非主观题阅卷程序可被一个或者多个处理器执行，以实现如 上所述的基于文本相似度的非主观题阅卷方法的步骤。
本发明提出的基于文本相似度的非主观题阅卷方法、装置及计算机可读 存储介质获取考试试卷中考生答案的文本内容；对特定领域的专有词语进行 收集汇总，构建特定词汇的文本语料库；根据所述文本语料库，对所述考试 试卷的标准答案和考生答案按照预先确定的分词规则分别进行分词操作，并 产生所述标准答案和考生答案的分词向量；利用预设算法计算所述标准答案 和考生答案的分词向量之间的相似度；及从所述分词向量中选择标准答案的 得分要点，根据标准答案的得分要点并结合所述标准答案和考生答案的分词 向量之间的相似度匹配相应的分值，对考生答案中每道非主观题进行智能打 分。本发明能够实现试卷中非主观题的精确的智能化评分。
附图说明
图1为本发明一实施例提供的基于文本相似度的非主观题阅卷方法的流 程示意图；
图2为本发明一实施例提供的装置的内部结构示意图；
图3为本发明一实施例提供的装置中基于文本相似度的非主观题阅卷程 序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及 实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施 例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领 域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都 属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第 三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺 序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里 描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外， 所述“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相 对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第 二”的特征可以明示或者隐含地包括至少一个该特征。
进一步地，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排 他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设 备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或 对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域 普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现 时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种基于文本相似度的非主观题阅卷方法。
详细地，参照图1所示，为本发明一实施例提供的基于文本相似度的非 主观题阅卷方法的流程示意图。该方法可以由一个装置执行，该装置可以由 软件和/或硬件实现。
S1、对特定领域的专有词语进行收集汇总，构建特定词汇的文本语料库。
本发明所述专有词汇可以是金融领域、产品领域的词汇等。例如，对于 保险行业中特定的保险名称，如“尊宏人生”等，为一个专有词汇，将这样 的词汇汇总至所述的文本语料库中。
S2、获取考试试卷中考生答案的文本内容。
针对笔试方式的考试试卷，本发明通过获取试卷的影像图像，识别出所 述试卷的影像图像中问题的考生答案部分，并将所述考生答案部分转换为文 本格式，形成所述考生答案的文本内容。
详细地，本发明通过对试卷进行纸质扫描，将所获取的试卷图像的问题 和答案部分进行物理切分，利用光学字符识别(Optical Character Recognition， OCR)技术对试卷图像的答案部分进行识别，形成所述考生答案的文本内容。
所述OCR是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符， 通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算 机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文本中的文字 转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本 格式，供文字处理软件进一步编辑加工的技术。
针对机答方式的考试试卷，本发明直接获取所述考生的答案部分，形成 所述考生答案的文本内容。
S3、根据所述文本语料库，对所述考试试卷的标准答案和考生答案的文 本内容按照预先确定的分词规则分别进行分词操作，并产生所述标准答案和 考生答案的分词向量。
本发明较佳实施例中，所述预先确定的分词规则包括利用隐性马尔科夫 (HMM)模型和关键词抽取算法对标准答案和考生答案进行文本改写(Rewrite)， 再利用K-means算法和朴素贝叶斯分类器(Bayes，NB)构建词袋(Bagof Word，BOW)模型，实现分词操作。
所述Rewrite指对于一个文本，首先采用中文分词，然后进行清理、保留 主干词，对主干词进行语义增强(同义词/关联词补充)。
首先，本发明对所述标准答案和考生答案通过构建隐性马尔可夫模型进 行分词处理。由于文本满足马尔科夫性，即文本中第n个词出现的可能性只 与其前面n-1个词语的出现有关，而与第n个词语之后的所有词语无关，因此 N元语法模型的目的是：在前n-1个词语出现的情况下，给出第n词语Wi出 现的概率，其可表示为：
P(Wi|W1，...Wi-1)＝P(Wi|Wi-n+1，...Wi-1)
假设句子S由词序列{W1，W2...Wm}组成，则句子按照此词序排列的概率 为：
P(S)＝P(W1 W2...Wm)＝P(W1)P(W2|W1)...P(Wm|Wm-n+1，...Wm-1)
其中条件概率P(Wm|Wm-n+1，...Wm-1)表示：在词语Wm-n+1，...Wm-1出现 的情况下Wm出现的概率，在大规模语料库训练的基础上，使用二元语法模型， 因此，句子的概率模型为：
对句子S使用全切分法进行切分，获得所有可能的中文分词方式，然后 计算每一种分词方式的概率，选出其中概率最大的一种分词方式，作为最终 文本分词结果。选择过程即求P(S)的极大值：
由于试卷的回答可能包含与答案主体无关的叙述，因此，本发明在基于 隐性马尔可夫模型进行分词的情况下，对问题进行关键词抽取。假设对问题S 和T的主题及描述抽取关键词KeyS和KeyT，由于问题的主题及描述可能包含 多个句子，因此本发明对问题的每个子句都抽取关键词。本发明使用基于依 存排序的关键词提取算法对子句的关键词按照得分进行排序，然后再按照子 句出现的顺序对所有的关键词进行排序，得到问题的关键词序列。
关键词提取算法是利用统计信息、词向量信息以及词语间的依存句法信 息，通过构建依存关系图来计算词语之间的关联强度，利用TextRank算法迭 代算出词语的重要度得分，首先根据句子的依存句法分析结果对所有非停用 词构造无向图，接着，利用词语之间的引力值以及依存关联度计算求得边的 权重。因此，任意两词Wi和Wj的依存关联度为：
其中len(Wi，Wj)表示词语Wi和Wj之间的依存路径长度，b是超参数。
本发明认为2个词之间的语义相似度无法准确衡量词语的重要程度，只 有当2个词中至少有一个在文本中出现的频率很高，才能证明2个词很重要。 根据万有引力的概念，将词频看作质量，将2个词的词向量间的欧氏距离视 为距离，根据万有引力公式来计算2个词之间的引力。然而仅利用词频来衡 量文本中某个词的重要程度太过片面，因此本发明引入了IDF值，将词频替 换为TF-IDF值，从而考虑到更全局性的信息。于是得到了新的词引力值公式。 文本词语Wi和的Wj的引力：
其中，tfidf(W)是词W的TF-IDF值，d是词Wi和Wj的词向量之间的欧 式距离。
因此，两个词语之间的关联度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
最后，本发明利用TextRank算法建立一个无向图G＝(V，E)，其中V是顶 点的集合，E是边的集合，根据下列式子算出顶点Wi的得分，其中是与顶 点Wi有关的集合，η为阻尼系数。本发明选取得分最高的t个词语作为主干词， 并对主干词进行语义增强：
所述BOW模型即词袋模型。该模型将将文本表示成特征矢量。它的基本 思想是假定对于一个文本，忽略其词序和语法、句法，仅仅将其看做是一些 词汇的集合，而文本的每个词汇都是独立的。该模型的实现步骤如下：
利用k-means算法进行大数据聚类，找到适当的聚类中心点 ----Vocabulary。所述k-means算法是一种聚类算法，所谓聚类，即根据相似 性原则，将具有较高相似度的数据对象划分至同一类簇，将具有较高相异度 的数据对象划分至不同类簇。其中k-means算法中的k代表类簇个数，means 代表类簇内数据对象的均值(这种均值是一种对类簇中心的描述)，因此， k-means算法又称为k-均值算法。k-means算法是一种基于划分的聚类算法， 以距离作为数据对象间相似性度量的标准，即数据对象间的距离越小，则它 们的相似性越高，则它们越有可能在同一个类簇。在本发明实施例中，利用 欧式距离计算数据对象间的距离，假设xi，xj为数据，D表示数据对象的属性个 数，d是特征维数，其两者间的距离为：
同时定义第k个类簇的类簇中心为Centerk，其更新方式为： 其中Ck表示第k个类簇中数据对象的个数，Centerk表示一个 含有D属性的向量。最后，本发明采用误差平方和准则函数得到最终聚类结 果J：
训练数据像聚类中心映射，得到每一个训练数据在该聚类中心空间的一 个低维表示。通过最终聚类结果J，将其作为直方图的基，用该基向量构造别 的向量，并做相关映射，得到不同类别的一个类别的直方图的统计，从而完 成BOW模型特征提取过程。
得到每一个训练数据的低维表示后，选择基于多项式的朴素贝叶斯分类 器(Bayes，NB)训练。NB是低方差高偏差的分类器，假设各个特征 之间存在条件独立性假设：对于给定的类别，所有的特征相互独立。对于给 定样本x＝(x1,x2,…,xd)T，其属于类别wi后验概率为：
其中，xk是样本在第k个特征上的取值。本发明为避免数据稀疏的问题， 首先对数据使用平滑：
其中ck表示第k维特征可能取值的个数，α为系数。
本发明通过使用MLE估计，得到：其中分子表 示wi类的训练样本构成的集合Di中，第k个特征的取值为xk的样本数。
对新来的样本先映射到聚类中心空间，然后利用得到的分类器进行预测， 并将文本用TF-IDF值转换为词频向量。
进一步地，本发明还根据所述文本语料库，对所述词频向量进行整理， 产生所述标准答案和考生答案的分词向量。
S4、利用预设算法计算所述标准答案和考生答案的分词向量之间的相似 度。
本发明所述预设算法为余弦相似度(cosin)算法。
所述余弦相似度是用向量空间中两个分词向量(如所述的分词向量)的 余弦值作为衡量两个个体间差异的大小的度量，余弦值越接近1，就表明夹角 越接近0度，也就是两个向量越相似。
本发明较佳实施例利用下列公式计算两个分词向量的余弦值：
其中，X、Y分别为标准答案和考生答案的分词向量，sim(X，Y)表示标准 答案和考生答案的分词向量之间的余弦相似度、范围从-1到1。其中， sim(X，Y)的值越接近-1，表示两个分词向量指向的方向相反，相似度越低， 值越接近1，表示两个分词向量指向的方向相同，相似度越高，0代表两个分 词向量之间具有独立性，表示中度的相似性或相异性。
S5、从所述分词向量中选择标准答案的得分要点，根据标准答案的得分 要点并结合所述标准答案和考生答案的分词向量之间的相似度匹配相应的分 值，对考生答案中每道非主观题进行智能打分。
本发明所述根据相似度匹配相应的分值，完成每道非主观题的智能打分 包括：
预先设置标准答案的多个得分要点，并针对每个得分要点的重要程度设 置各个得分要点的分值比重；
根据所述标准答案和考生答案的分词向量的相似度，筛选出与所述标准 答案的得分要点相匹配的考生答案中的关键词语；
通过计算考生答案中所有关键词语对应的得分要点的分值比重，得到该 试卷的非主观题得分。
在本发明所述的基于文本相似度的非主观题阅卷方法中，隐形马尔可夫 模型只依赖于每一个状态和它对应的观察对象，可以准确的对文本进行分词 处理；词袋模型忽略掉文本的语法和语序，用一组无序的单词(words)来表达 一段文字或一个文本，从而简化了对文本的处理；朴素贝叶斯分类器在接受 大数据量训练和查询时具备高速度。即使选用超大规模的训练集，针对每个 项目通常也只会有相对较少的特征数，并且对项目的训练和分类也仅仅是针 对特征概率的数学运算而已；k-means算法对处理大数据集的聚类问题，保持 可伸缩性和高效性，并可收敛于局部最小值(对初始k个聚类中心的选择敏 感)，可以实现对文本数据的聚类；余弦相似度算法通过测量两个向量的角 的余弦值来度量他们之间的相似性，可以更直观的表现出标准答案和回答之 间的相似度，从而根据该相似度匹配到相应的分值。因此，本发明所述基于 文本相似度的非主观题阅卷方法可以实现试卷的精确的智能化评分。
本发明还提供一种执行基于文本相似度的非主观题阅卷的装置。参照图2 所示，为本发明一实施例提供的装置的内部结构示意图。
在本实施例中，所述装置1可以是智能手机、平板电脑、便携计算机等 终端设备，可以是PC(Personal Computer，个人电脑)，也可以是服务器、 服务器群组等。该装置1至少包括存储器11、处理器12，通信总线13，以及 网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质 包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁 性存储器、磁盘、光盘等。存储器11在一些实施例中可以是装置1的内部存 储单元，例如该装置1的硬盘。存储器11在另一些实施例中也可以是装置1 的外部存储设备，例如装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。 进一步地，存储器11还可以既包括装置1的内部存储单元也包括外部存储设 备。存储器11不仅可以用于存储安装于装置1的应用软件及各类数据，例如 基于文本相似度的非主观题阅卷程序01的代码等，还可以用于暂时地存储已 经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储 器11中存储的程序代码或处理数据，例如执行基于文本相似度的非主观题阅 卷程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)， 通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器 (Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括 标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED 显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏 或显示单元，用于显示在装置1中处理的信息以及用于显示可视化的用户界 面。
图2仅示出了具有组件11-14以及基于文本相似度的非主观题阅卷程序 01的装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对装 置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或 者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有基于文本相似度的非 主观题阅卷程序01；处理器12执行存储器11中存储的基于文本相似度的非 主观题阅卷程序01时实现如下步骤：
步骤一、对特定领域的专有词语进行收集汇总，构建特定词汇的文本语 料库。
本发明所述专有词汇可以是金融领域、产品领域的词汇等。例如，对于 保险行业中特定的保险名称，如“尊宏人生”等，为一个专有词汇，将这样 的词汇汇总至所述的文本语料库中。
步骤二、获取考试试卷中考生答案的文本内容。
针对笔试方式的考试试卷，本发明通过获取试卷的影像图像，识别出所 述试卷的影像图像中问题的考生答案部分，并将所述考生答案部分转换为文 本格式，形成所述考生答案的文本内容。
详细地，本发明通过对试卷进行纸质扫描，将所获取的试卷图像的问题 和答案部分进行物理切分，利用光学字符识别(Optical Character Recognition， OCR)技术对试卷图像的答案部分进行识别，形成所述考生答案的文本内容。
所述OCR是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符， 通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算 机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文本中的文字 转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本 格式，供文字处理软件进一步编辑加工的技术。
针对机答方式的考试试卷，本发明直接获取所述考生的答案部分，形成 所述考生答案的文本内容。
步骤三、根据所述文本语料库，对所述考试试卷的标准答案和考生答案 的文本内容按照预先确定的分词规则分别进行分词操作，并产生所述标准答 案和考生答案的分词向量。
本发明较佳实施例中，所述预先确定的分词规则包括利用隐性马尔科夫 (HMM)模型和关键词抽取算法对标准答案和考生答案进行文本改写(Rewrite)， 再利用K-means算法和朴素贝叶斯分类器(Bayes，NB)构建词袋(Bagof Word，BOW)模型，实现分词操作。
所述Rewrite指对于一个文本，首先采用中文分词，然后进行清理、保留 主干词，对主干词进行语义增强(同义词/关联词补充)。
首先，本发明对所述标准答案和考生答案通过构建隐性马尔可夫模型进 行分词处理。由于文本满足马尔科夫性，即文本中第n个词出现的可能性只 与其前面n-1个词语的出现有关，而与第n个词语之后的所有词语无关，因此 N元语法模型的目的是：在前n-1个词语出现的情况下，给出第n词语Wi出 现的概率，其可表示为：
P(Wi|W1，...Wi-1)＝P(Wi|Wi-n+1，...Wi-1)
假设句子S由词序列{W1，W2...Wm}组成，则句子按照此词序排列的概率 为：
P(S)＝P(W1 W2...Wm)＝P(W1)P(W2|W1)...P(Wm|Wm-n+1，...Wm-1)
其中条件概率P(Wm|Wm-n+1，...Wm-1)表示：在词语Wm-n+1，...Wm-1出现 的情况下Wm出现的概率，在大规模语料库训练的基础上，使用二元语法模型， 因此，句子的概率模型为：
对句子S使用全切分法进行切分，获得所有可能的中文分词方式，然后 计算每一种分词方式的概率，选出其中概率最大的一种分词方式，作为最终 文本分词结果。选择过程即求P(S)的极大值：
由于试卷的回答可能包含与答案主体无关的叙述，因此，本发明在基于 隐性马尔可夫模型进行分词的情况下，对问题进行关键词抽取。假设对问题S 和T的主题及描述抽取关键词KeyS和KeyT，由于问题的主题及描述可能包含 多个句子，因此本发明对问题的每个子句都抽取关键词。本发明使用基于依 存排序的关键词提取算法对子句的关键词按照得分进行排序，然后再按照子 句出现的顺序对所有的关键词进行排序，得到问题的关键词序列。
关键词提取算法是利用统计信息、词向量信息以及词语间的依存句法信 息，通过构建依存关系图来计算词语之间的关联强度，利用TextRank算法迭 代算出词语的重要度得分，首先根据句子的依存句法分析结果对所有非停用 词构造无向图，接着，利用词语之间的引力值以及依存关联度计算求得边的 权重。因此，任意两词Wi和Wj的依存关联度为：
其中len(Wi，Wj)表示词语Wi和Wj之间的依存路径长度，b是超参数。
本发明认为2个词之间的语义相似度无法准确衡量词语的重要程度，只 有当2个词中至少有一个在文本中出现的频率很高，才能证明2个词很重要。 根据万有引力的概念，将词频看作质量，将2个词的词向量间的欧氏距离视 为距离，根据万有引力公式来计算2个词之间的引力。然而仅利用词频来衡 量文本中某个词的重要程度太过片面，因此本发明引入了IDF值，将词频替 换为TF-IDF值，从而考虑到更全局性的信息。于是得到了新的词引力值公式。 文本词语Wi和的Wj的引力：
其中，tfidf(W)是词W的TF-IDF值，d是词Wi和Wj的词向量之间的欧 式距离。
因此，两个词语之间的关联度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
最后，本发明利用TextRank算法建立一个无向图G＝(V，E)，其中V是顶 点的集合，E是边的集合，根据下列式子算出顶点Wi的得分，其中是与顶 点Wi有关的集合，η为阻尼系数。本发明选取得分最高的t个词语作为主干词， 并对主干词进行语义增强：
所述BOW模型即词袋模型。该模型将将文本表示成特征矢量。它的基本 思想是假定对于一个文本，忽略其词序和语法、句法，仅仅将其看做是一些 词汇的集合，而文本的每个词汇都是独立的。该模型的实现步骤如下：
利用k-means算法进行大数据聚类，找到适当的聚类中心点 ----Vocabulary。所述k-means算法是一种聚类算法，所谓聚类，即根据相似 性原则，将具有较高相似度的数据对象划分至同一类簇，将具有较高相异度 的数据对象划分至不同类簇。其中k-means算法中的k代表类簇个数，means 代表类簇内数据对象的均值(这种均值是一种对类簇中心的描述)，因此， k-means算法又称为k-均值算法。k-means算法是一种基于划分的聚类算法， 以距离作为数据对象间相似性度量的标准，即数据对象间的距离越小，则它 们的相似性越高，则它们越有可能在同一个类簇。在本发明实施例中，利用 欧式距离计算数据对象间的距离，假设xi，xj为数据，D表示数据对象的属性个 数，d是特征维数，其两者间的距离为：
同时定义第k个类簇的类簇中心为Centerk，其更新方式为： 其中Ck表示第k个类簇中数据对象的个数，Centerk表示一个 含有D属性的向量。最后，本发明采用误差平方和准则函数得到最终聚类结 果J：
训练数据像聚类中心映射，得到每一个训练数据在该聚类中心空间的一 个低维表示。通过最终聚类结果J，将其作为直方图的基，用该基向量构造别 的向量，并做相关映射，得到不同类别的一个类别的直方图的统计，从而完 成BOW模型特征提取过程。
训练数据像聚类中心映射，得到每一个训练数据在该聚类中心空间的一 个低维表示。通过最终聚类结果J，将其作为直方图的基，用该基向量构造别 的向量，并做相关映射，得到不同类别的一个类别的直方图的统计，从而完 成BOW模型特征提取过程。
得到每一个训练数据的低维表示后，选择基于多项式的朴素贝叶斯分类 器(Bayes，NB)训练。NB是低方差高偏差的分类器，假设各个特征 之间存在条件独立性假设：对于给定的类别，所有的特征相互独立。对于给 定样本x＝(x1，x2，…，xd)T，其属于类别wi后验概率为：
其中，xk是样本在第k个特征上的取值。本发明为避免数据稀疏的问题， 首先对数据使用平滑：
其中ck表示第k维特征可能取值的个数，α为系数。
本发明通过使用MLE估计，得到：其中分子表 示wi类的训练样本构成的集合Di中，第k个特征的取值为xk的样本数。
对新来的样本先映射到聚类中心空间，然后利用得到的分类器进行预测， 并将文本用TF-IDF值转换为词频向量。
进一步地，本发明还根据所述文本语料库，对所述词频向量进行调整， 产生所述标准答案和考生答案的分词向量。
步骤四、利用预设算法计算所述标准答案和考生答案的分词向量之间的 相似度。
本发明所述预设算法为余弦相似度(cosin)算法。
所述余弦相似度是用向量空间中两个分词向量(如所述的分词向量)的 余弦值作为衡量两个个体间差异的大小的度量，余弦值越接近1，就表明夹角 越接近0度，也就是两个向量越相似。
本发明较佳实施例利用下列公式计算两个分词向量的余弦值：
其中，X、Y分别为标准答案和考生答案的分词向量，sim(X，Y)表示标准 答案和考生答案的分词向量之间的余弦相似度、范围从-1到1。其中， sim(X，Y)的值越接近-1，表示两个分词向量指向的方向相反，相似度越低， 值越接近1，表示两个分词向量指向的方向相同，相似度越高，0代表两个分 词向量之间具有独立性，表示中度的相似性或相异性。
步骤五、从所述分词向量中选择标准答案的得分要点，根据标准答案的 得分要点并结合所述标准答案和考生答案的分词向量之间的相似度匹配相应 的分值，对考生答案中每道非主观题进行智能打分。
本发明所述根据相似度匹配相应的分值，完成每道非主观题的智能打分 包括：
预先设置标准答案的多个得分要点，并针对每个得分要点的重要程度设 置各个得分要点的分值比重
根据所述标准答案和考生答案的分词向量的相似度，筛选出与所述标准 答案的得分要点相匹配的考生答案中的关键词语；
通过计算考生答案中所有关键词语对应的得分要点的分值比重，得到该 试卷的非主观题得分。
可选地，在本发明实施例中，所述基于文本相似度的非主观题阅卷程序 01还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11 中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明， 本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于 描述基于文本相似度的非主观题阅卷程序在所述装置中的执行过程。
例如，参照图3所示，为本发明装置一实施例中的基于文本相似度的非 主观题阅卷程序的程序模块示意图，该实施例中，基于文本相似度的非主观 题阅卷程序01可以被分割为文本语料库构建模块10、答案获取模块20、分 词模块30、相似度计算模块40及打分模块50。示例性地：
所述文本语料库构建模块10用于：对特定领域的专有词语进行收集汇总， 构建特定词汇的文本语料库。
所述答案获取模块20用于：获取考试试卷中考生答案的文本内容。
可选地，当通过笔试的方式进行考试的时候，获取考试试卷的影像图像， 识别出所述影像图像中非主观题部分问题的考生答案，并将所述考生答案转 换为文本格式，形成所述考生答案的文本内容；及
当通过机答的方式进行考试的时候，直接获取所述考生的答案部分，形 成所述考生答案的文本内容。
所述分词模块30用于：根据所述文本语料库，对所述考试试卷的标准答 案和考生答案的文本内容按照预先确定的分词规则分别进行分词操作，并产 生所述标准答案和考生答案的分词向量。
可选地，所述预先确定的分词规则包括利用隐性马尔科夫(HMM)模型和 关键词抽取算法对标准答案和考生答案进行文本改写(Rewrite)，再利用 K-means算法和朴素贝叶斯分类器(Bayes，NB)构建词袋(Bagof Word， BOW)模型，实现分词操作。
所述相似度计算模块40用于：利用预设算法计算所述标准答案和考生答 案的分词向量之间的相似度。
可选地，所述预设算法为余弦相似度(cosin)算法，公式为：
其中，X、Y分别为标准答案和考生答案的分词向量，sim(X，Y)表示标准 答案和考生答案的分词向量之间的余弦相似度、范围从-1到1。其中， sim(X，Y)的值越接近-1，表示两个分词向量指向的方向相反，相似度越低， 值越接近1，表示两个分词向量指向的方向相同，相似度越高，0代表两个分 词向量之间具有独立性，表示中度的相似性或相异性。
所述打分模块50用于：从所述分词向量中选择标准答案的得分要点，根 据标准答案的得分要点并结合所述标准答案和考生答案的分词向量之间的相 似度匹配相应的分值，对考生答案中每道非主观题进行智能打分。
可选地，所述根据相似度匹配相应的分值，完成每道非主观题的智能打 分包括：
预先设置标准答案的多个得分要点，并针对每个得分要点的重要程度设 置各个得分要点的分值比重；
根据所述标准答案和考生答案的分词向量的相似度，筛选出与所述标准 答案的得分要点相匹配的考生答案中的关键词语；
通过计算考生答案中所有关键词语对应的得分要点的分值比重，得到该 试卷的非主观题得分。
上述文本语料库构建模块10、答案获取模块20、分词模块30、相似度计 算模块40及打分模块50等程序模块被执行时所实现的功能或操作步骤与上 述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读 存储介质上存储有基于文本相似度的非主观题阅卷程序，所述基于文本相似 度的非主观题阅卷程序可被一个或多个处理器执行，以实现如下操作：
对特定领域的专有词语进行收集汇总，构建特定词汇的文本语料库；
获取考试试卷中考生答案的文本内容；
根据所述文本语料库，对所述考试试卷的标准答案和考生答案的文本内 容按照预先确定的分词规则分别进行分词操作，并产生所述标准答案和考生 答案的分词向量；
利用预设算法计算所述标准答案和考生答案的分词向量之间的相似度； 及
从所述分词向量中选择标准答案的得分要点，根据标准答案的得分要点 并结合所述标准答案和考生答案的分词向量之间的相似度匹配相应的分值， 对考生答案中每道非主观题进行智能打分。
本发明计算机可读存储介质具体实施方式与上述基于文本相似度的非主 观题阅卷装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的 优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他 性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括 那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、 装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括 一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法 中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、 磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机， 服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于文本相似度的非主观题阅卷方法，其特征在于，所述方法包括：
对特定领域的专有词语进行收集汇总，构建特定词汇的文本语料库；
获取考试试卷中考生答案的文本内容；
根据所述文本语料库，对所述考试试卷的标准答案和考生答案的文本内容按照预先确定的分词规则分别进行分词操作，并产生所述标准答案和考生答案的分词向量；
利用预设算法计算所述标准答案和考生答案的分词向量之间的相似度；及
从所述分词向量中选择标准答案的得分要点，根据标准答案的得分要点并结合所述标准答案和考生答案的分词向量之间的相似度匹配相应的分值，对考生答案中每道非主观题进行智能打分。
2.如权利要求1所述的基于文本相似度的非主观题阅卷方法，其特征在于，所述获取考试试卷中考生答案的文本内容包括：
针对笔试方式的考试试卷，获取考试试卷的影像图像，识别出所述影像图像中非主观题部分问题的考生答案，并将所述考生答案转换为文本格式，形成所述考生答案的文本内容；及
针对机答方式的考试试卷，直接获取所述考生的答案部分，形成所述考生答案的文本内容。
3.如权利要求1所述的基于文本相似度的非主观题阅卷方法，其特征在于，所述预先确定的分词规则包括利用隐性马尔科夫模型和关键词抽取算法对标准答案和考生答案进行文本改写，并利用K-means算法和朴素贝叶斯分类器构建词袋模型，实现分词操作。
4.如权利要求1所述的基于文本相似度的非主观题阅卷方法，其特征在于，所述预设算法为余弦相似度算法，公式为：
其中，X、Y分别为标准答案和考生答案的分词向量，sim(X,Y)表示标准答案和考生答案的分词向量之间的余弦相似度、范围从-1到1。
5.如权利要求1至4中任意一项所述的基于文本相似度的非主观题阅卷方法，其特征在于，所述从所述分词向量中选择标准答案的得分要点，根据标准答案的得分要点并结合所述标准答案和考生答案的分词向量之间的相似度匹配相应的分值，对考生答案中每道非主观题进行智能打分包括：
预先设置标准答案的多个得分要点，并针对每个得分要点的重要程度设置各得分要点的分值比重；
根据所述标准答案和考生答案的分词向量的相似度，筛选出与所述标准答案的得分要点相匹配的考生答案中的关键词；
通过计算考生答案中所有关键词对应的得分要点的分值比重，得到该试卷的非主观题得分。
6.一种基于文本相似度的非主观题阅卷装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的基于文本相似度的非主观题阅卷程序，所述基于文本相似度的非主观题阅卷程序被所述处理器执行时实现如下步骤：
对特定领域的专有词语进行收集汇总，构建特定词汇的文本语料库；
获取考试试卷中考生答案的文本内容；
根据所述文本语料库，对所述考试试卷的标准答案和考生答案的文本内容按照预先确定的分词规则分别进行分词操作，并产生所述标准答案和考生答案的分词向量；
利用预设算法计算所述标准答案和考生答案的分词向量之间的相似度；及
从所述分词向量中选择标准答案的得分要点，根据标准答案的得分要点并结合所述标准答案和考生答案的分词向量之间的相似度匹配相应的分值，对考生答案中每道非主观题进行智能打分。
7.如权利要求6所述的装置，其特征在于，所述预先确定的分词规则包括利用隐性马尔科夫模型和关键词抽取算法对标准答案和考生答案进行文本改写，并利用K-means算法和朴素贝叶斯分类器构建词袋模型，实现分词操作。
8.如权利要求6所述的装置，其特征在于，所述预设算法为余弦相似度算法，公式为：
其中，X、Y分别为标准答案和考生答案的分词向量，sim(X,Y)表示标准答案和考生答案的分词向量之间的余弦相似度、范围从-1到1。
9.如权利要求6至8中任意一项所述的装置，其特征在于，所述从所述分词向量中选择标准答案的得分要点，根据标准答案的得分要点并结合所述标准答案和考生答案的分词向量之间的相似度匹配相应的分值，对考生答案中每道非主观题进行智能打分包括：
预先设置标准答案的多个得分要点，并针对每个得分要点的重要程度设置各得分要点的分值比重；
根据所述标准答案和考生答案的分词向量的相似度，筛选出与所述标准答案的得分要点相匹配的考生答案中的关键词；
通过计算考生答案中所有关键词对应的得分要点的分值比重，得到该试卷的非主观题得分。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于文本相似度的非主观题阅卷程序，所述基于文本相似度的非主观题阅卷程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的基于文本相似度的非主观题阅卷方法的步骤。
CN201910367007.XA 2019-05-05 2019-05-05 基于文本相似度的非主观题阅卷方法、装置及存储介质 Pending CN110196893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910367007.XA CN110196893A (zh) 2019-05-05 2019-05-05 基于文本相似度的非主观题阅卷方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910367007.XA CN110196893A (zh) 2019-05-05 2019-05-05 基于文本相似度的非主观题阅卷方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110196893A true CN110196893A (zh) 2019-09-03

Family

ID=67752390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910367007.XA Pending CN110196893A (zh) 2019-05-05 2019-05-05 基于文本相似度的非主观题阅卷方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110196893A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750640A (zh) * 2019-09-17 2020-02-04 平安科技（深圳）有限公司 基于神经网络模型的文本数据分类方法、装置及存储介质
CN110765761A (zh) * 2019-09-16 2020-02-07 平安科技（深圳）有限公司 基于人工智能的合同敏感词校验方法、装置及存储介质
CN110852653A (zh) * 2019-11-22 2020-02-28 成都国腾实业集团有限公司 一种应用于计算机编程题的自动评分系统
CN111243364A (zh) * 2020-01-09 2020-06-05 东华大学 一种基于HanLP的注册电气工程师考试主观题自动评分方法
CN111402659A (zh) * 2020-04-07 2020-07-10 科大讯飞股份有限公司 填空题标准答案确定方法、装置、电子设备和存储介质
CN111414456A (zh) * 2020-03-20 2020-07-14 北京师范大学 一种开放式简答题自动评分的方法和系统
CN111881694A (zh) * 2020-08-05 2020-11-03 科大讯飞股份有限公司 篇章要点检测方法、装置、设备及存储介质
CN112100329A (zh) * 2020-08-31 2020-12-18 湖北美和易思教育科技有限公司 一种基于大数据的学习心得评测方法及装置
CN112214579A (zh) * 2020-10-10 2021-01-12 浙江蓝鸽科技有限公司 简答题的机器智能评阅方法及系统
CN112232681A (zh) * 2020-10-19 2021-01-15 山东山大鸥玛软件股份有限公司 一种面向计算分析类非选择题的智能评卷方法
CN112365374A (zh) * 2020-06-19 2021-02-12 支付宝(杭州)信息技术有限公司 标准案由确定方法、装置和设备
CN112364601A (zh) * 2020-10-28 2021-02-12 南阳理工学院 基于TF-IDF算法和TextRank算法的智能阅卷方法及装置
CN112700203A (zh) * 2019-10-23 2021-04-23 北京易真学思教育科技有限公司 智能阅卷方法及装置
CN113312463A (zh) * 2021-05-26 2021-08-27 中国平安人寿保险股份有限公司 语音问答的智能测评方法、装置、计算机设备及存储介质
CN113569568A (zh) * 2021-07-29 2021-10-29 中国工商银行股份有限公司 文本识别方法、装置、电子设备、存储介质及转账方法
CN113627176A (zh) * 2021-08-17 2021-11-09 北京计算机技术及应用研究所 一种利用主元分析计算汉语词向量的方法
CN113822040A (zh) * 2021-08-06 2021-12-21 深圳市卓帆技术有限公司 一种主观题阅卷评分方法、装置、计算机设备及存储介质
CN114064739A (zh) * 2022-01-14 2022-02-18 深圳市明源云科技有限公司 阅卷优化方法、装置、电子设备及可读存储介质
CN115858765A (zh) * 2023-01-08 2023-03-28 山东谷联网络技术有限公司 一种基于数据对比分析的自动评分的智能考试平台
CN112100329B (zh) * 2020-08-31 2024-06-21 武汉美和易思数字科技有限公司 一种基于大数据的学习心得评测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130041414A (ko) * 2011-10-17 2013-04-25 두산동아 주식회사 서술형 문항 자동 채점 방법
CN103955874A (zh) * 2014-03-31 2014-07-30 西南林业大学 一种基于语义相似度区间的主观题自动评分系统及方法
CN104504023A (zh) * 2014-12-12 2015-04-08 广西师范大学 一种基于领域本体的高准确率主观题计算机自动阅卷方法
CN107273861A (zh) * 2017-06-20 2017-10-20 广东小天才科技有限公司 一种主观题阅卷评分方法、装置及终端设备
CN108764671A (zh) * 2018-05-16 2018-11-06 山东师范大学 一种基于自建语料库的创造能力评测方法和装置
CN108959261A (zh) * 2018-07-06 2018-12-07 京工博创（北京）科技有限公司 基于自然语言的试卷主观题判题装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130041414A (ko) * 2011-10-17 2013-04-25 두산동아 주식회사 서술형 문항 자동 채점 방법
CN103955874A (zh) * 2014-03-31 2014-07-30 西南林业大学 一种基于语义相似度区间的主观题自动评分系统及方法
CN104504023A (zh) * 2014-12-12 2015-04-08 广西师范大学 一种基于领域本体的高准确率主观题计算机自动阅卷方法
CN107273861A (zh) * 2017-06-20 2017-10-20 广东小天才科技有限公司 一种主观题阅卷评分方法、装置及终端设备
CN108764671A (zh) * 2018-05-16 2018-11-06 山东师范大学 一种基于自建语料库的创造能力评测方法和装置
CN108959261A (zh) * 2018-07-06 2018-12-07 京工博创（北京）科技有限公司 基于自然语言的试卷主观题判题装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵志弘 等: "基于NLP-TF技术的主观题自动评测系统研究", 《软件导刊》, vol. 12, no. 1, pages 82 - 83 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765761A (zh) * 2019-09-16 2020-02-07 平安科技（深圳）有限公司 基于人工智能的合同敏感词校验方法、装置及存储介质
CN110750640A (zh) * 2019-09-17 2020-02-04 平安科技（深圳）有限公司 基于神经网络模型的文本数据分类方法、装置及存储介质
CN112700203A (zh) * 2019-10-23 2021-04-23 北京易真学思教育科技有限公司 智能阅卷方法及装置
CN110852653A (zh) * 2019-11-22 2020-02-28 成都国腾实业集团有限公司 一种应用于计算机编程题的自动评分系统
CN111243364A (zh) * 2020-01-09 2020-06-05 东华大学 一种基于HanLP的注册电气工程师考试主观题自动评分方法
CN111414456A (zh) * 2020-03-20 2020-07-14 北京师范大学 一种开放式简答题自动评分的方法和系统
CN111402659A (zh) * 2020-04-07 2020-07-10 科大讯飞股份有限公司 填空题标准答案确定方法、装置、电子设备和存储介质
CN112365374A (zh) * 2020-06-19 2021-02-12 支付宝(杭州)信息技术有限公司 标准案由确定方法、装置和设备
CN111881694A (zh) * 2020-08-05 2020-11-03 科大讯飞股份有限公司 篇章要点检测方法、装置、设备及存储介质
CN112100329A (zh) * 2020-08-31 2020-12-18 湖北美和易思教育科技有限公司 一种基于大数据的学习心得评测方法及装置
CN112100329B (zh) * 2020-08-31 2024-06-21 武汉美和易思数字科技有限公司 一种基于大数据的学习心得评测方法及装置
CN112214579B (zh) * 2020-10-10 2022-08-23 浙江蓝鸽科技有限公司 简答题的机器智能评阅方法及系统
CN112214579A (zh) * 2020-10-10 2021-01-12 浙江蓝鸽科技有限公司 简答题的机器智能评阅方法及系统
CN112232681A (zh) * 2020-10-19 2021-01-15 山东山大鸥玛软件股份有限公司 一种面向计算分析类非选择题的智能评卷方法
CN112364601A (zh) * 2020-10-28 2021-02-12 南阳理工学院 基于TF-IDF算法和TextRank算法的智能阅卷方法及装置
CN113312463A (zh) * 2021-05-26 2021-08-27 中国平安人寿保险股份有限公司 语音问答的智能测评方法、装置、计算机设备及存储介质
CN113312463B (zh) * 2021-05-26 2023-07-18 中国平安人寿保险股份有限公司 语音问答的智能测评方法、装置、计算机设备及存储介质
CN113569568A (zh) * 2021-07-29 2021-10-29 中国工商银行股份有限公司 文本识别方法、装置、电子设备、存储介质及转账方法
CN113822040A (zh) * 2021-08-06 2021-12-21 深圳市卓帆技术有限公司 一种主观题阅卷评分方法、装置、计算机设备及存储介质
CN113627176B (zh) * 2021-08-17 2024-04-19 北京计算机技术及应用研究所 一种利用主元分析计算汉语词向量的方法
CN113627176A (zh) * 2021-08-17 2021-11-09 北京计算机技术及应用研究所 一种利用主元分析计算汉语词向量的方法
CN114064739A (zh) * 2022-01-14 2022-02-18 深圳市明源云科技有限公司 阅卷优化方法、装置、电子设备及可读存储介质
CN115858765A (zh) * 2023-01-08 2023-03-28 山东谷联网络技术有限公司 一种基于数据对比分析的自动评分的智能考试平台

Similar Documents

Publication Publication Date Title
CN110196893A (zh) 基于文本相似度的非主观题阅卷方法、装置及存储介质
US11263753B2 (en) Method for training a convolutional neural network for image recognition using image-conditioned masked language modeling
CN106997382B (zh) 基于大数据的创新创意标签自动标注方法及系统
Krishnan et al. Matching handwritten document images
CN104794169B (zh) 一种基于序列标注模型的学科术语抽取方法及系统
CN111966917A (zh) 一种基于预训练语言模型的事件检测与摘要方法
EP2515242A2 (en) Incorporating lexicon knowledge to improve sentiment classification
Gupta et al. Product classification in e-commerce using distributional semantics
Chang et al. Research on detection methods based on Doc2vec abnormal comments
CN109492105B (zh) 一种基于多特征集成学习的文本情感分类方法
CN107679110A (zh) 结合文本分类与图片属性提取完善知识图谱的方法及装置
CN111680131B (zh) 基于语义的文档聚类方法、系统及计算机设备
US20230297629A1 (en) Apparatus and method of performance matching
CN114904270A (zh) 虚拟内容的生成方法及装置、电子设备、存储介质
CN113469214A (zh) 虚假新闻检测方法、装置、电子设备和存储介质
CN114048305A (zh) 一种基于图卷积神经网络的行政处罚文书的类案推荐方法
CN112966117A (zh) 实体链接方法
Celikyilmaz et al. A graph-based semi-supervised learning for question-answering
CN107908749B (zh) 一种基于搜索引擎的人物检索系统及方法
US11699044B1 (en) Apparatus and methods for generating and transmitting simulated communication
CN115309899B (zh) 一种文本中特定内容识别存储方法及系统
CN115510269A (zh) 视频推荐的方法、装置、设备和存储介质
CN112069322B (zh) 文本多标签分析方法、装置、电子设备及存储介质
CN114969341A (zh) 一种针对餐饮行业评论的细粒度情感分析方法及装置
Naha et al. Beyond verbs: Understanding actions in videos with text

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination