CN111160606A - 试题难度预测方法及相关装置 - Google Patents
试题难度预测方法及相关装置 Download PDFInfo
- Publication number
- CN111160606A CN111160606A CN201911182284.XA CN201911182284A CN111160606A CN 111160606 A CN111160606 A CN 111160606A CN 201911182284 A CN201911182284 A CN 201911182284A CN 111160606 A CN111160606 A CN 111160606A
- Authority
- CN
- China
- Prior art keywords
- test question
- difficulty
- information
- test
- question
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 313
- 238000000034 method Methods 0.000 title claims abstract description 148
- 230000008569 process Effects 0.000 claims abstract description 92
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 18
- 238000000926 separation method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 4
- 230000019771 cognition Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013100 final test Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种试题难度预测方法及相关装置，方法包括：获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体；处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征；将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。本申请不仅能够保证试题难度预测的客观性，还可以适应不同目标群体的难度主观认知。
Description
技术领域
本申请涉及深度学习技术领域，具体涉及一种试题难度预测方法及相关装置。
背景技术
个性化教育作为未来基础教育发展的一个重要方向，受到众多教育领域工作者的认同。相对于现有的传统教育模式，个性化教育可以在教授、学习、测评、练习等多个教育环节提升教育教学质量，降低学生负担。然而长久以来现有教育模式下有限的教育资源限制了个性化教育工作的推进，这一问题随着教育信息化工作的覆盖和深入得到了有效缓解，大量的教育领域数据，如试题数据、学生学习过程数据、考试数据等为个性化教育的推进提供了数据基础，使得深度学习、数据挖掘等技术可以在各个教育环节发挥作用。
发明内容
本申请实施例提供了一种试题难度预测方法及相关装置，以期提高针对不同群体的试题的难度预测的效率和准确率。
第一方面，本申请实施例提供试题难度预测方法，包括：
获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体；
处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征；
将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。
第二方面，本申请实施例提供一种试题难度预测装置，包括处理单元和通信单元，其中，所述处理单元，用于通过所述通信单元获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体；以及用于处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征；以及用于将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，首先获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体；然后处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征；最后将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。可见，本申请提供的试题难度预测方法及相关装置不仅可以保证试题难度预测的客观性，还可以适应不同目标群体的难度主观认知。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种试题难度预测系统的示意图；
图2是本申请实施例提供的一种试题难度预测的流程示意图；
图3a是本申请实施例提供的一种试题解答过程解析树示意图；
图3b是本申请实施例提供的一种难度级别预测模型训练系统结构示意图；
图4本申请实施例提供的一种电子设备的结构示意图；
图5本申请实施例提供的一种试题难度预测装置的功能单元组成框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
目前，试题难度预测技术主要分为基于传统统计方法的方案和基于深度学习方法的方案两个大的类别，但是因为基于统计方法的方案是根据学生作答记录进行统计计算，因此计算结果受采集的作答记录影响较大，而基于深度学习方法的方案以试题内容为基础进行分析，因此在个性化教育场景下，试题难度的标尺并不统一，不同学生群体对同一试题的难度认知又有所不同。
针对上诉问题，本申请实施例提供了一种试题难度预测方法及相关装置，下面结合附图对本申请实施例进行详细介绍。
如图1所示，图1是本申请实施例提供的一种试题难度预测系统的示意图，所述试题难度预测系统100包括客户端110和服务器120。所述服务器120用于训练绝对难度级别预测模型，所述服务器120与所述客户端110通信连接，用于向客户端110推送训练好的绝对难度级别预测模型，所述客户端110用于对所述绝对级别难度预测模型进行应用，使得用户可以在客户端110处进行试题难度预测。
请参阅图2，图2是本申请实施例提供的一种试题难度预测的流程示意图，如图所示，本试题难度预测方法包括如下步骤。
S201，获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体。
其中，试题文本信息包括但不限于试题题干文本、试题标准答案文本和试题解析文本，特别的，针对部分试题内容可能以图片形式表示，如公式、配图等，还可以通过OCR(Optical Character Recognition，光学字符识别)技术对图像进行识别，得到文本信息。目标群体信息包括使用待分析试题的学生群体，目标群体信息包括但不限于学校或班级信息和群体历史答题记录等。
其中，本试题难度预测方法的动作主体可以是客户端，该客户端的具体形态可以是上述电子设备。
S202，处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征。
其中，所述解题过程特征是在根据所述试题文本信息中根据试题解答过程为基础生成的，该解题过程特征的抽取可以是基于人工设计的特征抽取方法，也可以是基于神经网络的特征抽取方法，目标群体特征是以采集的目标全新信息为基础生成的，主要可以包括学校和班级的名称或代号等。
S203，将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。
其中，所述绝对难度级别预测模型是基于事先抽取的试题难度预测特征来进行训练和预测的，该模型还包括一个位于特征抽取层之上的输出层，用以将完成的训练和预测结果进行输出，预测过程则直接使用输出层结果作为最终预测难度级别。
可以看出，本申请实施例中，首先获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体；然后处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征；最后将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。可见，本申请提供的试题难度预测方法及相关装置不仅可以保证试题难度预测的客观性，还可以适应不同目标群体的难度主观认知。
在一个可能的实例中，所述处理所述待分析试题信息得到所述第一试题的试题难度预测特征，包括：根据所述试题文本信息确定所述第一试题的试题解答过程；对所述试题解答过程进行特征抽取，得到所述解题过程特征；根据所述目标群体信息确定所述目标用户群体针对所述第一试题的所述群体水平特征，所述目标群体特征包括所述群体水平特征。
其中，对于试题解答过程进行特征抽取，可以采用基于自注意力机制的特征抽取方法，该抽取方法是基于神经网络的特征抽取方法，主要是设计网络结构将相关特征信息嵌入神经网络的隐层。对于目标群体特征，可以使用嵌入层编码学校或班级信息，学校或班级信息一般以学校或班级名称、学校或班级代号等形式表征，本案将学校或班级信息编码成为稠密向量特征，此处编码方式与自然语言处理((Natural Language Processing，NLP)常用的词嵌入方法近似，以学校名称为例，经过词嵌入层，该学校名称被映射为一个向量，作为该学校的表示
具体的，该方法中的网络结构可以包括输入层、序列编码层和注意力层，在此之前，可以先将试题解答过程表征为树结构，因此，在使用自注意力机制的特征抽取方法时，输入层以每个试题的解答过程树为输入，并使用树遍历算法将解答过程树转化为数学关系序列，在这一过程中已经将原解题过程中的中间步骤删除，只保留数学关系信息。序列编码层使用长短期记忆网络(Long Short-Term Memory，LSTM)对已获得的数学关系序列进行编码，序列中的每个时刻对应数学关系序列中的每个数学关系，每个时刻的数学关系输入经过词嵌入层被映射为一个向量，之后基于LSTM编码获得隐层输入，此处也可以采用双向LSTM编码优化模型信息抽取能力。基于编码网络获得的隐层输出作为下一层输入。注意力层使用自注意力机制，抽取序列编码层每一时刻与其他各时刻输出之间的关系，通过这一机制可以强化表征解答过程中与解题过程难度关联较高的信息，完成难度预测特征抽取。
可见，本示例中，采用基于神经网络的特征抽取方法对试题解题过程进行特征抽取，可以准确快速的对较为复杂、水平较高的试题进行难度预测，提高试题难度预测的效率和准确率。
在一个可能的实例中，所述根据所述试题文本信息确定所述第一试题的试题解答过程，包括：对所述试题文本信息进行步骤分离，得到步骤分离结果；根据所述步骤分离结果生成作答篇章结构树；根据所述作答篇章结构树预测节点间的数学关系，所述节点包括条件步骤节点和结论步骤节点，所述节点间的数学关系为条件步骤节点和结论步骤节点之间的数学关系，所述数学关系用于表征所述第一试题的试题解答过程。
其中，在确定试题解答过程时，还包括对试题的文本信息进行步骤分离，也可以看作是对试题信息进行的预处理，关于步骤分离，主要针对试题标准答案文本进行逻辑步骤分离，包括数学解题过程中的一个逻辑独立步骤，可以采用基于序列标注的模型预测方法。
其中，根据数学逻辑进行步骤分离可以将结果生成作答篇章结构树，该结构树中节点为数学逻辑步骤，结果过程中由数学关系的步骤之间形成一条边，通常数学关系包括但不限于知识点和解题方法，数学关系可以有人工专家预先定义完成，还可以是根据深度网络模型的方法确定，将模型输入为条件步骤和结论步骤，其中条件步骤为单个条件节点或经过合并的“并列”条件节点，结论步骤一般为单个结论节点，模型输出为条件步骤和结论步骤的数学关系，例如可以采用常用的TextCNN分类网络，也就是利用卷积神经网络对文本进行分类的算法进行数学关系预测。
其中，对于将试题信息进行步骤分离的预处理方法，还可以包括分词，可以采用常见的分词方法，例如，如基于规则的方法、基于序列标注的模型预测方法等。
可见，本示例中，对试题信息进行步骤分离和使用篇章结构树来表征试题解答过程，不仅可以简单高效的抽取试题文本信息中的数学关系，还可以方便后续对试题难度预测的处理，提高试题难度预测的效率和准确率。
在一个可能的实例中，所述对所述试题解答过程进行特征抽取，得到所述解题过程特征，包括：调用预先设置的特征抽取模型；将所述试题解答过程输入所述特征抽取模型，得到所述解题过程特征。
其中，所述特征抽取模型可以是根据试题解答过程的中间步骤和数学关系来训练的，该模型采用的试题特征抽取方法可以是根据人工时间的特征抽取方法，还可以是根据神经网络的特征抽取方法，所述试题解答过程也可以是根据事先确定的试题的标准答案，在采用特征抽取模型进行试题解答过程特征抽取时，可以将标准答案输入该特征抽取模型，该模型根据标准答案给出的解题步骤和确定的步骤间的数学关系来最终输出一个解题过程特征。
可见，使用特征抽取模型来对试题解答过程的特征进行抽取，可以快速准确的抽取出试题解答过程的特征，提高试题难度预测的准确性和效率。
在一个可能的实例中，所述根据所述目标群体信息确定所述目标用户群体针对所述第一试题的所述群体水平特征，包括：从所述目标用户群体的群体历史答题记录中筛选出与所述第一试题相似的历史作答试题；根据所述历史作答试题统计所述目标用户群体针对所述第一试题的答题得分率，所述答题得分率用于表征所述群体水平特征。
其中，可以使用目标群体的历史答题记录抽取群体水平特征，首先对群体历史答题记录进行过滤，目标是找到与待分析试题相似的历史作答试题，在这里过滤条件包括：试题类型、知识点、试题编码特征，其中试题类型为常见数学试题类型，如选择题、填空题、解答题，可直接基于规则进行筛选过滤；知识点为人工标注的试题涉及知识点，可直接基于规则进行筛选过滤；试题编码特征为使用深度神经网络预先训练的编码模型获得向量表示，再基于向量相似度计算结果进行过滤筛选。基于上述过滤条件，获得相似历史作答试题，并在该范围内统计目标群体的答题得分率，作为群体水平特征。
可见，本示例中，根据历史答题记录确定某一群体的群体水平特征，根据群体水平特征和试题难度预测特征共同确定某一试题针对某一个群体的试题难度，不仅可以保证试题难度预测的客观性，还可以适应不同目标群体的难度主观认知。
在一个可能的实例中，所述绝对难度级别预测模型的训练系统架构中还包括预先训练好的相对难度级别预测模型；所述相对难度级别预测模型用于对试题样本对中的2个试题的相对难度进行预测，得到相对难度预测结果，所述2个试题包括所述第一试题和与所述第一试题相似的第二试题；所述相对难度预测结果用于作为所述绝对难度级别预测模型进行模型训练的参考信息量。
其中，绝对难度级别预测模型是基于对实现抽取的试题难度预测特征进行训练和预测的，在特征抽取层之上，还包括一个输出层，该输出层包括绝对难度级别模块和相对难度级别模块两类输出，具体的，绝对难度级别输出可以分别应用于训练和预测过程。输出层使用全连接网络构建，输出神经元的数目可按照实际场景的难度级别数目确定。训练过程中基于输出结果与实际目标构建训练损失函数，本案使用交叉熵函数作为损失函数。
其中，相对难度级别输出仅应用于训练过程。相对难度级别用于辅助提升难度预测精度，首先需要构建训练对样本，每组样本由待分析试题和相似试题构成，相似试题可以使用上述试题解题过程特征抽取方法和/或目标群体特征抽取方法过滤获得，每组样本对来源于同一目标群体；之后将每组样本分别经过试题信息分析和试题难度预测特征抽取获得难度预测特征，特别的，两个样本分别按照上文中的输出层计算难度，并依照绝对难度级别损失函数进行训练；最后将上述特征进行融合，特别的，计算相对难度级别时由于两个样本来源于同一群体，因此可不加入群体水平特征，两个样本的特征融合方法包括向量加、减和内积操作，操作结果使用串接融合，输出层使用全连接网络构建，输出神经元的数目为1，作为分类标识，表征输入的相似题样本相对待分析试题的难度级别，该级别也可使用相对难度差值，本案使用二元分类作为输出结果，基于二元分类输出和实际样本对的相对难度(易/难)目标构建训练损失函数。
可见，本示例中，将相对难度预测结果用于作为所述绝对难度级别预测模型进行模型训练的参考信息量，可以使得最终输出的试题难度预测结果更加准确客观，也可以使得最终结果能够对不同群体来说具有针对性。
下面举例说明一下。
如图3a所示，图3a是本申请实施例提供的一种试题解答过程解析树示意图。第一试题以数学试题为例，该解析树的节点为数学逻辑步骤，每一条边为数学关系的步骤之间生成的。本示例中，共有5个节点，每一个节点表示一个数学逻辑步骤，分别是“三角形三个角的正弦关系式”、“三角形三边关系式”、“角的余弦值范围”、“三角形角的取值范围”和“三角形形状”。在解答过程解析树的表示下，可以清晰的看出，根据三角形三个角的正弦关系式，通过正弦定理确定三角形的三边关系式，然后通过余弦定理确定角的余弦值范围，最后根据三角函数求值和三角形形状推理出的三角形定义共同确定三角形角的取值范围。使用该解答过程解析树可以简单便捷的抽取出试题解答特征，提高试题难度预测的效率和准确性。
如图3b所示，图3b是本申请实施例提供的一种难度级别预测模型训练系统结构示意图。该难度级别预测模型训练系统包括了一个相对难度级别预测模型和两个绝对难度级别预测模型，在对绝对难度级别预测模型进行训练时，假设存在两个试题，试题A和试题B，试题A和试题B是有难度差异的，A的实际难度为3.0级，B的实际难度为2.0级，首先是将这两个试题分别输入模型，经过输入层、序列编码层、注意力层，再与目标群体特征中的学校信息嵌入表征一起进入输出层，在输出层中获得的结果若分别是试题A为2.5级难度，试题B也为2.5级难度，此时需要将输出层的结果进行特征融合后进一步输入相对难度级别预测模块中，通过相对难度级别模型进行预测后，将获得的相对难度预测结果作为参考信息量，并利用该参考信息量对绝对难度级别预测模型进行调整，使得最终的输出结果不同，例如调整后的绝对难度级别预测模型预测的结果为试题A的绝对难度为2.7级，试题B的绝对难度为2.3级。这样，可以提高模型准确度和试题难度预测的针对性和准确性。
与上述图2所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，如图所示，所述电子设备400包括应用处理器410、存储器420、通信接口430以及一个或多个程序421，其中，所述一个或多个程序421被存储在上述存储器420中，且被配置由上述应用处理器410执行，所述一个或多个程序421包括用于执行上述方法实施例中任一步骤的指令。
在一个可能的实例中，所述程序421中的指令用于执行以下操作：获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体；处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征；将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。
可以看出，本申请实施例所描述的电子设备，可以通过获取的试题信息处理得到试题难度预测特征，且根据预测特征输入绝对难度级别预测模型得到最终的试题难度预测结果，这样，不仅可以保证试题难度预测的客观性，还可以适应不同目标群体的难度主观认知。
在一个可能的实例中，在所述处理所述待分析试题信息得到所述第一试题的试题难度预测特征方面，所述程序421中的指令具体用以执行以下操作：根据所述试题文本信息确定所述第一试题的试题解答过程；对所述试题解答过程进行特征抽取，得到所述解题过程特征；根据所述目标群体信息确定所述目标用户群体针对所述第一试题的所述群体水平特征，所述目标群体特征包括所述群体水平特征。
在一个可能的实例中，在所述根据所述试题文本信息确定所述第一试题的试题解答过程方面，所述程序421中的指令具体用以执行以下操作：对所述试题文本信息进行步骤分离，得到步骤分离结果；根据所述步骤分离结果生成作答篇章结构树；根据所述作答篇章结构树预测节点间的数学关系，所述节点包括条件步骤节点和结论步骤节点，所述节点间的数学关系为条件步骤节点和结论步骤节点之间的数学关系，所述数学关系用于表征所述第一试题的试题解答过程。
在一个可能的实例中，在所述对所述试题解答过程进行特征抽取，得到所述解题过程特征方面，所述程序421中的指令具体用以执行以下操作：调用预先设置的特征抽取模型；将所述试题解答过程输入所述特征抽取模型，得到所述解题过程特征。
在一个可能的实例中，在所述根据所述目标群体信息确定所述目标用户群体针对所述第一试题的所述群体水平特征方面，所述程序421中的指令具体用以执行以下操作：从所述目标用户群体的群体历史答题记录中筛选出与所述第一试题相似的历史作答试题；根据所述历史作答试题统计所述目标用户群体针对所述第一试题的答题得分率，所述答题得分率用于表征所述群体水平特征。
在一个可能的实例中，所述绝对难度级别预测模型的训练系统架构中还包括预先训练好的相对难度级别预测模型；所述相对难度级别预测模型用于对试题样本对中的2个试题的相对难度进行预测，得到相对难度预测结果，所述2个试题包括所述第一试题和与所述第一试题相似的第二试题；所述相对难度预测结果用于作为所述绝对难度级别预测模型进行模型训练的参考信息量。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述各个步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图5是本申请实施例提供的一种试题难度预测装置的功能单元组成框图。试题难度预测用装置500应用于电子设备，具体包括：处理单元501和通信单元502。处理单元501用于对电子设备的动作进行控制管理，例如，处理单元501用于支持电子设备执行图2中的S201、S202、S203和/或用于本文所描述的技术的其它过程。通信单元502用于支持电子设备与其他设备的通信。终端还可以包括存储单元503，用于存储终端的程序代码和数据。
其中，处理单元501可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信单元502可以是通信接口、收发器、收发电路等，存储单元503可以是存储器。
具体实现时，所述处理单元501用于执行如上述方法实施例中由电子设备执行的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元502来完成相应操作。下面进行详细说明。
试题难度预测装置500，包括处理单元和通信单元，其中，所述处理单元，用于通过所述通信单元获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体；以及用于处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征；以及用于将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。
可以看出，本试题难度预测装置可以通过获取的试题信息处理得到试题难度预测特征，且根据预测特征输入绝对难度级别预测模型得到最终的试题难度预测结果，这样，不仅可以保证试题难度预测的客观性，还可以适应不同目标群体的难度主观认知。
在一个可能的实例中，在所述处理所述待分析试题信息得到所述第一试题的试题难度预测特征方面，所述处理单元501具体用于，根据所述试题文本信息确定所述第一试题的试题解答过程；对所述试题解答过程进行特征抽取，得到所述解题过程特征；根据所述目标群体信息确定所述目标用户群体针对所述第一试题的所述群体水平特征，所述目标群体特征包括所述群体水平特征。
在一个可能的实例中，在所述根据所述试题文本信息确定所述第一试题的试题解答过程方面，所述处理单元501具体用于，对所述试题文本信息进行步骤分离，得到步骤分离结果；根据所述步骤分离结果生成作答篇章结构树；根据所述作答篇章结构树预测节点间的数学关系，所述节点包括条件步骤节点和结论步骤节点，所述节点间的数学关系为条件步骤节点和结论步骤节点之间的数学关系，所述数学关系用于表征所述第一试题的试题解答过程。
在一个可能的实例中，在所述对所述试题解答过程进行特征抽取，得到所述解题过程特征方面，所述处理单元501具体用于，调用预先设置的特征抽取模型；将所述试题解答过程输入所述特征抽取模型，得到所述解题过程特征。
在一个可能的实例中，在所述根据所述目标群体信息确定所述目标用户群体针对所述第一试题的所述群体水平特征方面，所述处理单元501具体用于，从所述目标用户群体的群体历史答题记录中筛选出与所述第一试题相似的历史作答试题；根据所述历史作答试题统计所述目标用户群体针对所述第一试题的答题得分率，所述答题得分率用于表征所述群体水平特征。
在一个可能的实例中，所述绝对难度级别预测模型的训练系统架构中还包括预先训练好的相对难度级别预测模型；所述相对难度级别预测模型用于对试题样本对中的2个试题的相对难度进行预测，得到相对难度预测结果，所述2个试题包括所述第一试题和与所述第一试题相似的第二试题；所述相对难度预测结果用于作为所述绝对难度级别预测模型进行模型训练的参考信息量。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种试题难度预测方法，其特征在于，包括：
获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体；
处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征；
将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。
2.根据权利要求1所述的方法，其特征在于，所述处理所述待分析试题信息得到所述第一试题的试题难度预测特征，包括：
根据所述试题文本信息确定所述第一试题的试题解答过程；
对所述试题解答过程进行特征抽取，得到所述解题过程特征；
根据所述目标群体信息确定所述目标用户群体针对所述第一试题的所述群体水平特征，所述目标群体特征包括所述群体水平特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述试题文本信息确定所述第一试题的试题解答过程，包括：
对所述试题文本信息进行步骤分离，得到步骤分离结果；
根据所述步骤分离结果生成作答篇章结构树；
根据所述作答篇章结构树预测节点间的数学关系，所述节点包括条件步骤节点和结论步骤节点，所述节点间的数学关系为条件步骤节点和结论步骤节点之间的数学关系，所述数学关系用于表征所述第一试题的试题解答过程。
4.根据权利要求2或3所述的方法，其特征在于，所述对所述试题解答过程进行特征抽取，得到所述解题过程特征，包括：
调用预先设置的特征抽取模型；
将所述试题解答过程输入所述特征抽取模型，得到所述解题过程特征。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述目标群体信息确定所述目标用户群体针对所述第一试题的所述群体水平特征，包括：
从所述目标用户群体的群体历史答题记录中筛选出与所述第一试题相似的历史作答试题；
根据所述历史作答试题统计所述目标用户群体针对所述第一试题的答题得分率，所述答题得分率用于表征所述群体水平特征。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述绝对难度级别预测模型的训练系统架构中还包括预先训练好的相对难度级别预测模型；
所述相对难度级别预测模型用于对试题样本对中的2个试题的相对难度进行预测，得到相对难度预测结果，所述2个试题包括所述第一试题和与所述第一试题相似的第二试题；
所述相对难度预测结果用于作为所述绝对难度级别预测模型进行模型训练的参考信息量。
7.一种试题难度预测装置，其特征在于，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元获取第一试题的待分析试题信息，所述待分析试题信息包括试题文本信息和目标群体信息，所述目标群体信息用于指示需要使用所述第一试题的目标用户群体；以及用于处理所述待分析试题信息得到所述第一试题的试题难度预测特征，所述试题难度预测特征包括解题过程特征和目标群体特征；以及用于将所述解题过程特征和所述目标群体特征输入预先训练的绝对难度级别预测模型，得到所述第一试题的绝对难度预测结果。
8.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1－6任一项所述的方法中的步骤的指令。
9.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1－6任一项所述的方法。
10.一种计算机程序，所述计算机程序使得计算机执行如权利要求1－6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911182284.XA CN111160606B (zh) | 2019-11-27 | 2019-11-27 | 试题难度预测方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911182284.XA CN111160606B (zh) | 2019-11-27 | 2019-11-27 | 试题难度预测方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160606A true CN111160606A (zh) | 2020-05-15 |
| CN111160606B CN111160606B (zh) | 2024-04-12 |
Family
ID=70556211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911182284.XA Active CN111160606B (zh) | 2019-11-27 | 2019-11-27 | 试题难度预测方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160606B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784048A (zh) * | 2020-06-30 | 2020-10-16 | 科大讯飞股份有限公司 | 试题难度预测方法、装置、电子设备和存储介质 |
| CN112598202A (zh) * | 2021-03-03 | 2021-04-02 | 北京世纪好未来教育科技有限公司 | 试题难度评估方法、装置及存储介质、计算设备 |
| CN112785039A (zh) * | 2020-12-31 | 2021-05-11 | 科大讯飞股份有限公司 | 一种试题作答得分率的预测方法及相关装置 |
| CN113743083A (zh) * | 2021-09-06 | 2021-12-03 | 东北师范大学 | 一种基于深度语义表征的试题难度预测方法及系统 |
| CN111784048B (zh) * | 2020-06-30 | 2024-05-31 | 科大讯飞股份有限公司 | 试题难度预测方法、装置、电子设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101023540B1 (ko) * | 2010-06-21 | 2011-03-21 | (주)오투라인 | 가변되는 메타정보를 활용한 시험결과 분석평가방법 |
| CN106095812A (zh) * | 2016-05-31 | 2016-11-09 | 广东能龙教育股份有限公司 | 一种基于相似性度量的智能试卷生成方法 |
| CN106202003A (zh) * | 2016-06-23 | 2016-12-07 | 广东小天才科技有限公司 | 一种试题内容处理方法及系统 |
| US20170092145A1 (en) * | 2015-09-24 | 2017-03-30 | Institute For Information Industry | System, method and non-transitory computer readable storage medium for truly reflecting ability of testee through online test |
| CN107301165A (zh) * | 2016-04-14 | 2017-10-27 | 科大讯飞股份有限公司 | 一种试题难度分析方法及系统 |
| CN108229718A (zh) * | 2016-12-22 | 2018-06-29 | 上海谦问万答吧云计算科技有限公司 | 一种信息预测方法及装置 |
| CN108389147A (zh) * | 2018-02-26 | 2018-08-10 | 浙江创课教育科技有限公司 | 试题难度分级处理方法及系统 |
| CN110135754A (zh) * | 2019-05-22 | 2019-08-16 | 安徽爱学堂教育科技有限公司 | 试题评估方法及装置 |
| KR20190125055A (ko) * | 2018-04-27 | 2019-11-06 | (주)웅진씽크빅 | 빅데이터를 활용한 학습 코칭 방법 |
-
2019
- 2019-11-27 CN CN201911182284.XA patent/CN111160606B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101023540B1 (ko) * | 2010-06-21 | 2011-03-21 | (주)오투라인 | 가변되는 메타정보를 활용한 시험결과 분석평가방법 |
| US20170092145A1 (en) * | 2015-09-24 | 2017-03-30 | Institute For Information Industry | System, method and non-transitory computer readable storage medium for truly reflecting ability of testee through online test |
| CN107301165A (zh) * | 2016-04-14 | 2017-10-27 | 科大讯飞股份有限公司 | 一种试题难度分析方法及系统 |
| CN106095812A (zh) * | 2016-05-31 | 2016-11-09 | 广东能龙教育股份有限公司 | 一种基于相似性度量的智能试卷生成方法 |
| CN106202003A (zh) * | 2016-06-23 | 2016-12-07 | 广东小天才科技有限公司 | 一种试题内容处理方法及系统 |
| CN108229718A (zh) * | 2016-12-22 | 2018-06-29 | 上海谦问万答吧云计算科技有限公司 | 一种信息预测方法及装置 |
| CN108389147A (zh) * | 2018-02-26 | 2018-08-10 | 浙江创课教育科技有限公司 | 试题难度分级处理方法及系统 |
| KR20190125055A (ko) * | 2018-04-27 | 2019-11-06 | (주)웅진씽크빅 | 빅데이터를 활용한 학습 코칭 방법 |
| CN110135754A (zh) * | 2019-05-22 | 2019-08-16 | 安徽爱学堂教育科技有限公司 | 试题评估方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| MUHAMMAD ASADUZZAMAN: "Answering questions about unanswered questions of Stack Overflow", 《2013 10TH WORKING CONFERENCE ON MINING SOFTWARE REPOSITORIES (MSR)》, 10 October 2013 (2013-10-10) * |
| ZHENYA HUANG: "Question Difficulty Prediction forREADING Problems in Standard Tests", 《PROCEEDINGS OF THE THIRTY-FIRST AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》, 31 December 2017 (2017-12-31) * |
| 佟威;汪飞;刘淇;陈恩红;: "数据驱动的数学试题难度预测", 计算机研究与发展, no. 05 * |
| 谢莹;许荣斌;: "基于深度置信神经网络的组卷难度预测", 韶关学院学报, no. 09, 15 September 2018 (2018-09-15) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784048A (zh) * | 2020-06-30 | 2020-10-16 | 科大讯飞股份有限公司 | 试题难度预测方法、装置、电子设备和存储介质 |
| CN111784048B (zh) * | 2020-06-30 | 2024-05-31 | 科大讯飞股份有限公司 | 试题难度预测方法、装置、电子设备和存储介质 |
| CN112785039A (zh) * | 2020-12-31 | 2021-05-11 | 科大讯飞股份有限公司 | 一种试题作答得分率的预测方法及相关装置 |
| CN112785039B (zh) * | 2020-12-31 | 2023-12-01 | 科大讯飞股份有限公司 | 一种试题作答得分率的预测方法及相关装置 |
| CN112598202A (zh) * | 2021-03-03 | 2021-04-02 | 北京世纪好未来教育科技有限公司 | 试题难度评估方法、装置及存储介质、计算设备 |
| CN113743083A (zh) * | 2021-09-06 | 2021-12-03 | 东北师范大学 | 一种基于深度语义表征的试题难度预测方法及系统 |
| CN113743083B (zh) * | 2021-09-06 | 2024-03-12 | 东北师范大学 | 一种基于深度语义表征的试题难度预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160606B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414683B (zh) | 数学题解答方法及装置 | |
| CN111144191B (zh) | 字体识别方法、装置、电子设备及存储介质 | |
| CN108121702B (zh) | 数学主观题评阅方法及系统 | |
| CN111221939B (zh) | 评分方法、装置和电子设备 | |
| CN111160606A (zh) | 试题难度预测方法及相关装置 | |
| CN108052504B (zh) | 数学主观题解答结果的结构分析方法及系统 | |
| CN112712069B (zh) | 一种判题方法、装置、电子设备及存储介质 | |
| CN112989826B (zh) | 基于人工智能的试题分数确定方法、装置、设备及介质 | |
| CN110825867A (zh) | 相似文本推荐方法、装置、电子设备和存储介质 | |
| CN107301163A (zh) | 包含公式的文本语义解析方法及装置 | |
| CN114238571A (zh) | 模型的训练方法、知识分类方法、装置、设备、介质 | |
| CN113392197B (zh) | 问答推理方法、装置、存储介质及电子设备 | |
| JP2020047234A (ja) | データ評価方法、装置、機器及び読み取り可能な記憶媒体 | |
| CN107301164A (zh) | 数学公式的语义解析方法及装置 | |
| CN111126610A (zh) | 题目分析方法、装置、电子设备和存储介质 | |
| CN113822847A (zh) | 基于人工智能的图像评分方法、装置、设备及存储介质 | |
| CN110852071B (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
| CN112131354B (zh) | 答案筛选方法、装置、终端设备和计算机可读存储介质 | |
| CN110765241B (zh) | 推荐题的超纲检测方法、装置、电子设备和存储介质 | |
| CN116663530A (zh) | 数据生成方法、装置、电子设备及存储介质 | |
| CN107992482B (zh) | 数学主观题解答步骤的规约方法及系统 | |
| CN116311322A (zh) | 一种文档版面要素检测方法、装置、存储介质及设备 | |
| CN115935969A (zh) | 基于多模态信息融合的异构数据特征提取方法 | |
| CN115292460A (zh) | 一种话题推荐方法、装置、电子设备及存储介质 | |
| CN115759085A (zh) | 基于提示模型的信息预测方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |