CN112732908B - 试题新颖度评估方法、装置、电子设备和存储介质 - Google Patents
试题新颖度评估方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112732908B CN112732908B CN202011581214.4A CN202011581214A CN112732908B CN 112732908 B CN112732908 B CN 112732908B CN 202011581214 A CN202011581214 A CN 202011581214A CN 112732908 B CN112732908 B CN 112732908B
- Authority
- CN
- China
- Prior art keywords
- test question
- novelty
- evaluated
- test
- investigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 437
- 238000011156 evaluation Methods 0.000 title claims abstract description 98
- 238000011835 investigation Methods 0.000 claims abstract description 218
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims description 64
- 238000013145 classification model Methods 0.000 claims description 42
- 230000003993 interaction Effects 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 235000019633 pungent taste Nutrition 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种试题新颖度评估方法、装置、电子设备和存储介质，其中方法包括：确定待评估试题；基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。本发明提供的方法、装置、电子设备和存储介质，将考察方式和试题内容两个层面相结合进行新颖度评估，保证了新颖度评估的全面性，从而提高新颖度评估的可靠性和准确性。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种试题新颖度评估方法、装置、电子设备和存储介质。
背景技术
随着人工智能技术的发展和成熟，涉及到自然语言理解的个性化的试题推荐得到了广泛的应用。而推荐试题的资源质量、新颖度在个性化的试题推荐中起着至关重要的作用。
目前，试题的新颖度主要基于试题的年份标签评估的，年份越新则新颖度越高，年份越早则新颖度越低。一则年份标签本身不一定准确，二则光凭年份标签进行新颖度评估过于片面，准确性差。而如果新颖度评估不准确，则后直接导致在试题推荐环节将旧题、考察方式过期的试题或者重复题推荐给学生，影响个性化学习效果。
发明内容
本发明提供一种试题新颖度评估方法、装置、电子设备和存储介质，用以解决现有技术中试题新颖度评估准确性差的缺陷。
本发明提供一种试题新颖度评估方法，包括：
确定待评估试题；
基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；
和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；
基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。
根据本发明提供一种的试题新颖度评估方法，所述基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度，包括：
基于所述待评估试题的考察属性与所述目标考察方式的考察属性之间的匹配度，和/或所述待评估试题的试题文本与所述目标考察方式下的样本试题文本，确定所述考察方式新颖度；
所述考察属性包括考核知识点和/试题形式。
根据本发明提供一种的试题新颖度评估方法，所述基于所述待评估试题的考察属性与所述目标考察方式的考察属性之间的匹配度，和/或所述待评估试题的试题文本与所述目标考察方式下的样本试题文本，确定所述考察方式新颖度，包括：
若存在所述待评估试题的考察属性，则基于所述评估试题的考察属性，以及包含所述目标考察方式的考察属性的知识图谱，确定所述考察方式新颖度；
否则，将所述待评估试题的试题文本输入考察方式分类模型，得到所述考察方式分类模型输出的考察方式新颖度；所述考察方式分类模型是基于样本试题文本及其样本考察方式新颖度训练得到的。
根据本发明提供一种的试题新颖度评估方法，所述将所述待评估试题的试题文本输入考察方式分类模型，得到所述考察方式分类模型输出的考察方式新颖度，包括：
将所述试题文本中的题面文本、答案文本和解析文本输入至所述考察方式分类模型的文本编码层，得到所述文本编码层输出的题目答案特征和题面解析特征；
将所述题目答案特征和题面解析特征输入至所述考察方式分类模型的注意力交互层，得到所述注意力交互层输出的试题交互特征；
将所述试题交互特征输入至所述考察方式分类模型的分类层，得到所述分类层输出的考察方式新颖度。
根据本发明提供一种的试题新颖度评估方法，所述待评估试题的内容热度是基于如下步骤确定的：
基于所述待评估试题的试题文本的语义，提取所述试题文本中的各关键词；
基于所述各关键词在各历史时段内的出现频次，确定所述待评估试题的内容热度。
根据本发明提供一种的试题新颖度评估方法，所述基于所述待评估试题的试题文本的语义，提取所述试题文本中的各关键词，包括：
将所述试题文本输入关键词提取模型，得到所述关键词提取模型输出的各关键词；
所述关键词提取模型用于基于提取所述试题文本的摘要语句，并从各摘要语句中提取关键词；所述关键词提取模型是基于样本试题文本及其样本摘要语句，以及所述样本摘要语句中的样本关键词训练得到的。
根据本发明提供一种的试题新颖度评估方法，所述将所述试题文本输入关键词提取模型，得到所述关键词提取模型输出的各关键词，包括：
将所述试题文本输入关键词提取模型的摘要提取层，得到所述摘要提取层输出的所述摘要语句；
将所述摘要语句的句向量，以及所述摘要语句中各分词的词向量输入所述关键词提取模型的关键词提取层，得到所述关键词提取层输出的各关键词。
本发明还提供一种试题新颖度评估装置，包括：
试题确定单元，用于确定待评估试题；
考察方式评估单元，用于基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；
和/或，内容评估单元，用于基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；
新颖度评估单元，用于基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述试题新颖度评估方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述试题新颖度评估方法的步骤。
本发明提供的试题新颖度评估方法、装置、电子设备和存储介质，结合目标考察方式，从考察方式的层面对待评估试题进行新颖度评估，从而确保新颖度评估能够符合当前阶段的考核需求；结合待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，从试题内容的层面上对待评估试题进行新颖度评估，从而避免内容老旧的试题、重复题和相似题被推荐给用户；将考察方式和试题内容两个层面相结合进行新颖度评估，保证了新颖度评估的全面性，从而提高新颖度评估的可靠性和准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的试题新颖度评估方法的流程示意图之一；
图2是本发明提供的部分知识图谱的示意图；
图3是本发明提供的基于考察方式分类模型的考察方式新颖性评估方法的流程示意图；
图4是本发明提供的考察方式分类模型的结构示意图；
图5是本发明提供的待评估试题的内容热度的确定方法的流程示意图；
图6是本发明提供的待评估试题的内容热度的确定方法中步骤510的实施方式的流程示意图；
图7是本发明提供的关键词提取模型的结构示意图；
图8是本发明提供的试题新颖度评估方法的流程示意图之二；
图9是本发明提供的试题新颖度评估装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
试题的新颖度主要基于试题的年份标签评估的，年份越新则新颖度越高，年份越早则新颖度越低。一则年份标签多来源于题库或者各大题库资源网站的标注、或者来源于老师上传试题资源的日期，再或者由专业人员进行手动标记，如此得来的年份标签可能存在错误，直接影响新颖性评估的准确性，且部分试题本身可能没有年份标签，导致新颖度评估无法实施；二则光凭年份标签进行新颖度评估，完全不考虑试题本身是否符合当前的考察方式，也不关注试题本身所涉及的内容，过于片面，导致新颖性评估的可靠性差。
考虑到上述问题，本发明实施例提供一种试题新颖度评估方法。图1是本发明提供的试题新颖度评估方法的流程示意图之一，如图1所示，该方法包括：
步骤110，确定待评估试题。
具体地，待评估试题即需要进行新颖度评估的试题，待评估试题可以体现为文本的形式，进一步地，待评估试题可以是相关人员直接输入的文本，也可以是通过从电子版试卷中提取的，还可以是通过光学字符识别OCR技术从纸质版试卷所对应的图像中提取的，本发明实施例对此不作具体限定。
步骤120，基于目标考察方式对待评估试题进行考察方式分类，得到待评估试题的考察方式新颖度。
具体地，目标考察方式即目前阶段期望的试题考察方式。考虑到不同时期的教学目标和考核方式均可能发生变动，可以根据教师在教研过程中结合教学改革总结得到的最新的试题形式、考核知识点等因素，实时更新最新的考察方式作为目标考察方式。需要说明的是，不同时期不同地区针对不同年级段学生的目标考察方式均可能是不同的。
在确定目标考察方式的基础上，即可对待评估试题进行考察方式分类，从而确定待评估试题自身的考察方式与目标考察方式是否一致，进而得到待评估试题的考察方式新颖度，此处考察方式新颖度即对于待评估试题的考察方式是否新颖的判断结果。
其中，对待评估试题进行考察方式分类所得的分类结果可以是目标考察方式或者非目标考察方式，相应地分类结果为目标考察方式时的考察方式新颖度可以设置为1，分类结果为非目标考察方式时的考察方式新颖度可以设置为0。
而针对考察方式的分类还可以进一步根据新颖度评估的场景进行设置，例如新高考改革前后考察方式发生了变化，将改革后的考察方式作为目标考察方式，对待评估试题进行考察方式分类所得的分类结果可以是新高考考察方式、旧高考考察方式或者两者兼备，其中两者兼备是指待评估试题自身涉及到的试题形式和考察知识点在新旧高考中未发生变化的情况。相应地，针对三种不同的分类结果，可以设置对应的考察方式新颖度。
和/或，步骤130，基于待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定待评估试题的内容新颖度。
具体地，待评估试题的内容新颖度是指从待评估试题的内容维度上判断待评估试题的新颖度，其判断依据可以是待评估试题的内容热度、调用频次和与其他试题的相似度中的任意一种或者多种的组合。
待评估试题的内容热度是指待评估试题所包含的内容在当前阶段的热度，具体可以通过分析待评估试题中是否包含当前阶段的热点、是否包含当前阶段的热词等确定。通常待评估试题的内容热度越高，则待评估试题的内容新颖度越高。
待评估试题的调用频次是指待评估试题和/或待评估试题的同类型试题在当前阶段被用户调用的频率或者次数等信息，调用频次反映的是待评估试题或者其同类型试题是否已经频繁出现。通常待评估试题的调用频次越高，则说明待评估试题或者其类型试题出现的越频繁，待评估试题的内容新颖度越低。
待评估试题与其他试题的相似度是指待评估试题与题库中的其他试题在内容上是否相似或者重复，相似度越高，则待评估试题相对于其他试题的鉴别性越低，待评估试题的内容新颖度越低。
需要说明的是，步骤120和步骤130可以择一执行，也可以均执行，在两者均执行的情况下，步骤120可以在步骤130之前或者之后执行，也可以与步骤130同步执行，本发明实施例对此不作具体限定。
步骤140，基于考察方式新颖度和/或内容新颖度，确定待评估试题的试题新颖度。
具体地，当仅执行步骤120不执行步骤130时，可直接将考察方式新颖度作为试题新颖度；当仅执行步骤130不执行步骤120时，可直接将内容新颖度作为试题新颖度；当既执行步骤130也执行步骤120时，可以将考察方式新颖度和内容新颖度合并作为待评估试题的试题新颖度，也可以对考察方式新颖度和内容新颖度进行加权得到试题新颖度，本发明实施例对此不作具体限定。
本发明实施例提供的方法，结合目标考察方式，从考察方式的层面对待评估试题进行新颖度评估，从而确保新颖度评估能够符合当前阶段的考核需求；结合待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，从试题内容的层面上对待评估试题进行新颖度评估，从而避免内容老旧的试题、重复题和相似题被推荐给用户；将考察方式和试题内容两个层面相结合进行新颖度评估，保证了新颖度评估的全面性，从而提高新颖度评估的可靠性和准确性。
基于上述实施例，步骤120包括：
基于待评估试题的考察属性与目标考察方式的考察属性之间的匹配度，和/或待评估试题的试题文本与目标考察方式下的样本试题文本，确定考察方式新颖度；考察属性包括考核知识点和/试题形式。
此处，试题形式即试题在考察形式上的属性信息，可以包括试题类型，以及试题类型下的试题字数、小题数、选项数等。目标考察方式通常具有固定的考察属性，在确定待评估试题的考察属性后，即可对待评估试题的考察属性和目标考察方式的考察属性进行横向比较，例如判断待评估试题的考核知识点是否在目标考察方式的考核知识点内，判断待评估试题的试题形式是否符合目标考察方式的试题形式要求，从而得到基于考察属性的考察方式新颖度。
此外，还可以基于目标考察方式下的样本试题文本分析学习目标考察方式下试题文本的特征，从而判断待评估试题的试题文本的特征是否与学习目标考察方式下试题文本的特征相符合，进而得到基于试题文本的考察方式新颖度。
需要说明的是，上述两种方式可以择一执行，也可以同步执行并将两者分别得到的考察方式新颖度进行汇总，本发明实施例对此不作具体限定。
基于上述任一实施例，步骤120包括：
若存在待评估试题的考察属性，则基于评估试题的考察属性，以及包含目标考察方式的考察属性的知识图谱，确定考察方式新颖度；
否则，将待评估试题的试题文本输入考察方式分类模型，得到考察方式分类模型输出的考察方式新颖度；考察方式分类模型是基于样本试题文本及其样本考察方式新颖度训练得到的。
具体地，在执行考察方式新颖度的评估时，可以基于考察属性进行评估，也可以基于试题文本进行评估，而具体执行何种评估方式的依据为是否存在待评估试题的考察属性。
存在待评估试题的考察属性的情况是指待评估试题携带有其自身的考察属性，因此可以直接利用待评估试题的考察属性和目标考察方式的考察属性进行比较，从而确定考察方式新颖度。具体在比较时，可以通过知识图谱规则检测的方式实现，此处所指的知识图谱即包含有目标考察方式的所有考察属性的知识图谱。图2是本发明提供的部分知识图谱的示意图，如图2所示，知识图谱中可以包含目标考察方式下的各个考核知识点，例如“相似三角形的性质”、“相似的定义”等。此外，知识图谱中还可以包含目标考察方式下的试题形式，例如是否包含短文改错类型的试题，阅读理解类型试题的小题数为15等。
通过将待评估试题的考察属性与知识图谱进行规则检测，判断待评估试题的考察属性是否符合知识图谱中包含的目标考察方式的考察属性设置规则，进而确定考察方式新颖度。例如，课程改革之前数学必修第二册的知识点中包含了立体几何初步的全部考核知识点，而课程改革之后的则删除了立体几何初步中的“三视图”和“平行投影与中心投影”两个考核知识点，假设课程改革后的考察方式为目标考察方式，而待评估试题的考核知识点为“三视图”，则根据课程改革后的知识谱图可以确定“三视图”不在考核知识点的范畴内，可以确定考察方式新颖度为0。
而不存在待评估试题的考察属性的情况是指未能从待评估试题的相关信息中查找到其考察属性，无法根据目标考察方式的考察属性进行考察方式新颖度评估。此时可以将待评估试题的试题文本输入到预先训练好的考察方式分类模型，由考察方式分类模型根据输入的试题文本，以及预先训练到的目标考察方式下的样本试题文本的特征，分析待评估试题的考察方式类型，进而判断待评估试题是否属于目标考察方式，从而输出待评估试题的考察方式新颖度。
在此之前，可以预先训练得到考察方式分类模型，其训练步骤具体可以是：收集大量样本试题，此处的样本试题包括符合目标考察方式的样本试题，以及不符合目标考察方式的样本试题，可以根据样本试题是否符合目标考察方式为对应的样本试题文本设置样本考察方式新颖度作为训练标签。进而基于样本试题文本及其样本考察方式新颖度，对初始分类器模型进行训练，从而得到考察方式分类模型。
本发明实施例提供的方法，通过判断是否存在待评估试题的考察属性，选择基于考察属性还是基于试题文本进行考察方式新颖度评估。在存在待评估试题的考察属性的情况下，选择基于考察属性进行评估，能够有效降低考察方式新颖度评估的计算量，提高评估效率；在不存在待评估试题的考察属性的情况下，选择基于试题文本进行评估，避免了由于信息缺失导致无法评估的情况，保证了评估的可实现性，降低了新颖性评估的信息标注需求。
基于上述任一实施例，图3是本发明提供的基于考察方式分类模型的考察方式新颖性评估方法的流程示意图，如图3所示，步骤120中，将待评估试题的试题文本输入考察方式分类模型，得到考察方式分类模型输出的考察方式新颖度，包括：
步骤121，将试题文本中的题面文本、答案文本和解析文本输入至考察方式分类模型的文本编码层，得到文本编码层输出的题目答案特征和题面解析特征；
步骤122，将题目答案特征和题面解析特征输入至考察方式分类模型的注意力交互层，得到注意力交互层输出的试题交互特征；
步骤123，将试题交互特征输入至考察方式分类模型的分类层，得到分类层输出的考察方式新颖度。
具体地，图4是本发明提供的考察方式分类模型的结构示意图，如图4所示，考察方式分类模型包括文本编码层、注意力交互层和分类层：
其中，文本编码层用于实现试题文本的文本编码，进一步地，文本编码层在进行文本编码时，可以对试题文本中各个部分进行组合编码，针对试题文本中存在多个候选的答案文本的情况，可以将题目文本分别与各个答案文本进行组合编码，从而得到题目文本与各个答案文本的编码特征，即各个题目答案特征，此外，还将题目文本与解析文本进行组合编码，从而得到题目解析特征。此处的文本编码可以通过Bert编码实现，也可以通过其他编码方式实现。
注意力交互层用于对输入的题目答案特征和题面解析特征进行注意力交互，从而输出基于注意力机制融合后的试题交互特征。进一步地，注意力交互层可以对各个题目答案特征与题目解析特征进行注意力交互，从而得到各个题目答案特征与题目解析特征的注意力权重，接着对各个题目答案特征与题目解析特征进行加权求和，从而得到试题交互特征。
分类层用于对输入的试题交互特征进行考察方式分类，从而输出分类结果所对应的考察方式新颖度。
本发明实施例提供的方法，考察方式分类模型结合了试题文本本身的结构化特点，基于注意力机制，对试题文本中的题面文本、答案文本和解析文本进行交互，并在此基础上进行考察方式分类，有助于提高考察方式新颖度评估的准确性和可靠性。
基于上述任一实施例，步骤130包括：
基于如下公式确定待评估试题的内容新颖度：
由上式可知，待评估试题的内容热度与内容新颖度成正比，待评估试题的调用频次以及与其他试题的相似度与内容新颖度成反比，从内容层面上的三个维度进行内容新颖性的评估，能够有效保证内容新颖性评估的全面性和可靠性。
基于上述任一实施例，图5是本发明提供的待评估试题的内容热度的确定方法的流程示意图，如图5所示，待评估试题的内容热度是基于如下步骤确定的：
步骤510，基于待评估试题的试题文本的语义，提取试题文本中的各关键词。
具体地，目前常规的关键词提取都是直接通过TF-IDF(term frequency–inversedocument frequency)方法进行提取，提取时并不考虑文本本身反映的内容，所得的关键词并不具备内容上的代表性。考虑到这一问题，本发明实施例结合待评估试题的试题文本本身的语义，在进行关键词提取时考虑分词本身与试题文本语义的契合度，由此得到更能够代表待评估试题内容的关键词。
步骤520，基于各关键词在各历史时段内的出现频次，确定待评估试题的内容热度。
具体地，历史时段可以是以年份为单位设定的，也可以是以季度或者其他时间单位设置的。在得到各关键词后，可以根据预先统计得到的各关键词在各历史时段中的试题资源中出现的频次，以及各历史时段与当前时段之间的时差，评估各关键词的热度，进而综合各关键词的热度，得到待评估试题的内容热度。
其中，任一关键词的热度P可以表示为如下公式：
式中，t为任一历史时段，T为当前时段，α为可调的超权重，u(t)为t时段关键词的出现频次，1/[1+(T-t)]表示为历史时段t与当前时时段T之间的时差引入的时差权重，为基于各历史时段的时差权重加权所得的各历史时段的出现频次之和，∑u,t≤Tu(t)为各历史时段的出现频次之和，两者之商即对应关键词的热度P。
例如，预先统计了近10年的所有关键词的出现频次，如下表所示：
| 分词 | 年份 | 频次 | 分词 | 年份 | 频次 |
| Word1 | 2020 | 1258 | Word2 | 2020 | …… |
| Word1 | 2019 | 1025 | Word2 | 2019 | …… |
| Word1 | 2018 | 1000 | Word2 | 2018 | …… |
| Word1 | 2017 | 801 | Word2 | 2017 | …… |
| Word1 | 2016 | 502 | Word2 | 2016 | …… |
| …… | …… | …… | …… | …… | …… |
| Word1 | 2011 | 54 | Word2 | 2011 | …… |
假设待评估试题中的关键词包含Word1和Word2，当前年份为2020，可以分别基于上表中的数据计算两者的流行度，例如：
基于上述任一实施例，步骤510包括：
将试题文本输入关键词提取模型，得到关键词提取模型输出的各关键词；关键词提取模型用于基于提取试题文本的摘要语句，并从各摘要语句中提取关键词；关键词提取模型是基于样本试题文本及其样本摘要语句，以及样本摘要语句中的样本关键词训练得到的。
具体地，关键词提取模型可以在基于试题文本的语义提取得到的摘要语句的基础上，进一步从摘要语句中提取关键词并输出，对应在关键词提取模型的构建训练时，可以在基于bert的摘要提取模型的基础上连接用于从摘要语句中提取关键词的网络结构，从而实现关键词提取。关键词提取模型从摘要语句中提取关键词，充分考虑了试题文本本身的语义信息，有助于提高关键词与试题文本语义的契合度。
在执行步骤510之前，还可以预先训练关键词提取模型，关键词提取模型的训练可以通过如下步骤实现：收集大量样本试题文本，并对样本试题文本进行摘要标注，从而得到样本试题文本中的样本摘要语句，在此基础上，在样本摘要语句中标注关键词，从而得到样本摘要语句中的样本关键词。随即，基于样本试题文本及其样本摘要语句，以及样本摘要语句中的样本关键词对基于摘要提取模型构建的初始模型进行训练，从而得到关键词提取模型。
基于上述任一实施例，图6是本发明提供的待评估试题的内容热度的确定方法中步骤510的实施方式的流程示意图，如图6所示，步骤510包括：
步骤511，将试题文本输入关键词提取模型的摘要提取层，得到摘要提取层输出的摘要语句；
步骤512，将摘要语句的句向量，以及摘要语句中各分词的词向量输入关键词提取模型的关键词提取层，得到关键词提取层输出的各关键词。
具体地，图7是本发明提供的关键词提取模型的结构示意图，如图7所示，摘要提取层用于对输入的试题文本进行语义分词，从而判断试题文本中的各个分句是否为摘要语句，并输出判断结果。假设试题文本d可以表示为多个分句的集合[sent1,sent2,...,senti,…,sentm]，其中senti即试题文本中的第i个分句，m为试题文本的分句总数。摘要提取层用于输出每个分句的摘要标签，通过摘要标签为0或1表示对应分句是否应该被纳入到摘要中，即对应分句是否为摘要语句。由此确定摘要提取层输出的摘要标签为1的分句为摘要语句。
关键词提取层用于结合摘要语句的句向量，以及摘要语句中各分词的词向量分析各分词为关键词的概率，由于摘要语句的句向量涵盖了语句自身的语义，因此在关键词提取的过程中可以结合语句自身语义进行考虑，得到并输出摘要语句中的关键词。进一步地，关键词提取层可以通过如下公式判断各个分词是否为关键词：
Qi＝σ(WoTi+WiEi+bo)
式中，Qi用于表征第i个分句中的各分词是否为关键词。σ为激活函数，Ti为第i个分句的句向量，Ei为第i个分句中各分词的词向量，Wo、Wi和bo均为训练所得的参数。
基于上述任一实施例，步骤130中，待评估试题的调用频次是基于如下步骤确定的：
基于用户画像获取待评估试题在各历史时段的用户使用情况；
基于各历史时段的用户使用情况，以及各历史时段的权重，确定待评估试题的调用频次。
此处，各历史时段的用户使用情况具体可以是对应时段内用户的调用次数、调用频率等。各历史时段的权重可以根据各历史时段在时间上的先后确定，例如可以通过如下公式确定各历史时段的权重：
式中，Pt是指与基准时段相差时间为t的历史时段的权重，r是超参数系数，t＝历史时段-基准时段。例如基准时段为2010年，历史时段为2018年，则t＝8。由于基准时段通常为各个历史时段中的最小值，即距离当前时段最久远的时段，历史时段距离当前时段越近，则基于上式求得的权重越接近1，历史时段距离当前时段越远，则基于上式求得的权重越接近0，由此使得在确定待评估试题的调用频次时，更加侧重于距离当前时段更近的历史时段的用户使用情况，进而提高内容新颖性评估的准确性。
基于上述任一实施例，步骤130中，待评估试题与其他试题的相似度可以通过如下步骤确定：
将待评估试题与题库中各候选试题进行题面特征匹配，得到各候选试题的匹配度；
基于预设数量个最高的匹配度，确定待评估试题与其他试题的相似度。
此处的题面特征可以是通过BERT提取的试题文本中题面文本的特征。题面特征匹配可以通过计算待评估试题的题面特征以及各候选试题的题面特征之间的匹配度实现，例如可以通过余弦相似度计算匹配度。在此基础上，可以基于计算所得的所有匹配度中按照从高到低的顺序排列的前预设数量个匹配度，确定待评估试题与其他试题的相似度，例如可以将前预设数量个匹配度的总和作为待评估试题与其他试题的相似度，具体可以表示为如下公式：
式中，N即预设数量，Cos(A,Ui)为待评估试题的题面特征A与第i个候选试题的题面特征Ui之间的余弦相似度，TopN(Cos(A,Ui))表示前N个最高的余弦相似度。
基于上述任一实施例，图8是本发明提供的试题新颖度评估方法的流程示意图之二，如图8所示，该方法包括：
首先，确定待评估试题。
其次，分别从考察方式和内容两个层面进行待评估试题的新颖度评估：
针对于考察方式层面，获取待评估试题的考察属性。若能够获取得到其考察属性，且考察属性完整可进行规则匹配，则基于知识图谱规则检测的方式，判断待评估试题的考察属性是否符合知识图谱中包含的目标考察方式的考察属性设置规则，进而确定考察方式新颖度。否则，将待评估试题的试题文本输入到预先训练好的考察方式分类模型，由考察方式分类模型根据输入的试题文本分析待评估试题的考察方式类型，进而判断待评估试题是否属于目标考察方式，从而输出待评估试题的考察方式新颖度。
针对内容层面，可以分别获取待评估试题的内容热度、调用频次和与其他试题的相似度。其中，内容热度可以依据试题文本的语义，提取试题文本中的各关键词，并基于各关键词的热度确定。调用频次可以通过用户画像提供的信息确定。与其他试题的相似度可以通过将待评估试题与题库内其他试题进行题面特征匹配确定。在得到待评估试题的内容热度、调用频次和与其他试题的相似度后，可以结合此三种确定待评估试题的内容新颖度。
下面对本发明提供的试题新颖度评估装置进行描述，下文描述的试题新颖度评估装置与上文描述的试题新颖度评估方法可相互对应参照。
图9是本发明提供的试题新颖度评估装置的结构示意图，如图9所示，该装置包括试题确定单元910和新颖度评估单元940，还包括考察方式评估单元920和/或内容评估单元930；
其中，试题确定单元910用于确定待评估试题；
考察方式评估单元920用于基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；
和/或，内容评估单元930用于基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；
新颖度评估单元940用于基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度
本发明实施例提供的装置，结合目标考察方式，从考察方式的层面对待评估试题进行新颖度评估，从而确保新颖度评估能够符合当前阶段的考核需求；结合待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，从试题内容的层面上对待评估试题进行新颖度评估，从而避免内容老旧的试题、重复题和相似题被推荐给用户；将考察方式和试题内容两个层面相结合进行新颖度评估，保证了新颖度评估的全面性，从而提高新颖度评估的可靠性和准确性。
基于上述任一实施例，考察方式评估单元920用于：
基于所述待评估试题的考察属性与所述目标考察方式的考察属性之间的匹配度，和/或所述待评估试题的试题文本与所述目标考察方式下的样本试题文本，确定所述考察方式新颖度；
所述考察属性包括考核知识点和/试题形式。
基于上述任一实施例，考察方式评估单元920包括：
图谱评估子单元，用于若存在所述待评估试题的考察属性，则基于所述评估试题的考察属性，以及包含所述目标考察方式的考察属性的知识图谱，确定所述考察方式新颖度；
文本分类子单元，用于否则，将所述待评估试题的试题文本输入考察方式分类模型，得到所述考察方式分类模型输出的考察方式新颖度；所述考察方式分类模型是基于样本试题文本及其样本考察方式新颖度训练得到的。
基于上述任一实施例，文本分类子单元用于：
将所述试题文本中的题面文本、答案文本和解析文本输入至所述考察方式分类模型的文本编码层，得到所述文本编码层输出的题目答案特征和题面解析特征；
将所述题目答案特征和题面解析特征输入至所述考察方式分类模型的注意力交互层，得到所述注意力交互层输出的试题交互特征；
将所述试题交互特征输入至所述考察方式分类模型的分类层，得到所述分类层输出的考察方式新颖度。
基于上述任一实施例，该装置还包括：
关键词确定单元，用于基于所述待评估试题的试题文本的语义，提取所述试题文本中的各关键词；
内容热度确定单元，用于基于所述各关键词在各历史时段内的出现频次，确定所述待评估试题的内容热度。
基于上述任一实施例，关键词确定单元用于：
将所述试题文本输入关键词提取模型，得到所述关键词提取模型输出的各关键词；
所述关键词提取模型用于基于提取所述试题文本的摘要语句，并从各摘要语句中提取关键词；所述关键词提取模型是基于样本试题文本及其样本摘要语句，以及所述样本摘要语句中的样本关键词训练得到的。
基于上述任一实施例，关键词确定单元用于：
将所述试题文本输入关键词提取模型的摘要提取层，得到所述摘要提取层输出的所述摘要语句；
将所述摘要语句的句向量，以及所述摘要语句中各分词的词向量输入所述关键词提取模型的关键词提取层，得到所述关键词提取层输出的各关键词。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行试题新颖度评估方法，该方法包括：确定待评估试题；基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的试题新颖度评估方法，该方法包括：确定待评估试题；基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的试题新颖度评估方法，该方法包括：确定待评估试题；基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种试题新颖度评估方法，其特征在于，包括：
确定待评估试题；
基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；
和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；
基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度；
所述基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度，包括：
基于所述待评估试题的考察属性与所述目标考察方式的考察属性之间的匹配度，和/或所述待评估试题的试题文本与所述目标考察方式下的样本试题文本，确定所述考察方式新颖度。
2.根据权利要求1所述的试题新颖度评估方法，其特征在于，所述考察属性包括考核知识点和/或试题形式。
3.根据权利要求2所述的试题新颖度评估方法，其特征在于，所述基于所述待评估试题的考察属性与所述目标考察方式的考察属性之间的匹配度，和/或所述待评估试题的试题文本与所述目标考察方式下的样本试题文本，确定所述考察方式新颖度，包括：
若存在所述待评估试题的考察属性，则基于所述评估试题的考察属性，以及包含所述目标考察方式的考察属性的知识图谱，确定所述考察方式新颖度；
否则，将所述待评估试题的试题文本输入考察方式分类模型，得到所述考察方式分类模型输出的考察方式新颖度；所述考察方式分类模型是基于样本试题文本及其样本考察方式新颖度训练得到的。
4.根据权利要求3所述的试题新颖度评估方法，其特征在于，所述将所述待评估试题的试题文本输入考察方式分类模型，得到所述考察方式分类模型输出的考察方式新颖度，包括：
将所述试题文本中的题面文本、答案文本和解析文本输入至所述考察方式分类模型的文本编码层，得到所述文本编码层输出的题目答案特征和题面解析特征；
将所述题目答案特征和题面解析特征输入至所述考察方式分类模型的注意力交互层，得到所述注意力交互层输出的试题交互特征；
将所述试题交互特征输入至所述考察方式分类模型的分类层，得到所述分类层输出的考察方式新颖度。
5.根据权利要求1至4中任一项所述的试题新颖度评估方法，其特征在于，所述待评估试题的内容热度是基于如下步骤确定的：
基于所述待评估试题的试题文本的语义，提取所述试题文本中的各关键词；
基于所述各关键词在各历史时段内的出现频次，确定所述待评估试题的内容热度。
6.根据权利要求5所述的试题新颖度评估方法，其特征在于，所述基于所述待评估试题的试题文本的语义，提取所述试题文本中的各关键词，包括：
将所述试题文本输入关键词提取模型，得到所述关键词提取模型输出的各关键词；
所述关键词提取模型用于基于提取所述试题文本的摘要语句，并从各摘要语句中提取关键词；所述关键词提取模型是基于样本试题文本及其样本摘要语句，以及所述样本摘要语句中的样本关键词训练得到的。
7.根据权利要求6所述的试题新颖度评估方法，其特征在于，所述将所述试题文本输入关键词提取模型，得到所述关键词提取模型输出的各关键词，包括：
将所述试题文本输入关键词提取模型的摘要提取层，得到所述摘要提取层输出的所述摘要语句；
将所述摘要语句的句向量，以及所述摘要语句中各分词的词向量输入所述关键词提取模型的关键词提取层，得到所述关键词提取层输出的各关键词。
8.一种试题新颖度评估装置，其特征在于，包括：
试题确定单元，用于确定待评估试题；
考察方式评估单元，用于基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；
和/或，内容评估单元，用于基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；
新颖度评估单元，用于基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度；
所述基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度，包括：
基于所述待评估试题的考察属性与所述目标考察方式的考察属性之间的匹配度，和/或所述待评估试题的试题文本与所述目标考察方式下的样本试题文本，确定所述考察方式新颖度。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述试题新颖度评估方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述试题新颖度评估方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011581214.4A CN112732908B (zh) | 2020-12-28 | 2020-12-28 | 试题新颖度评估方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011581214.4A CN112732908B (zh) | 2020-12-28 | 2020-12-28 | 试题新颖度评估方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112732908A CN112732908A (zh) | 2021-04-30 |
| CN112732908B true CN112732908B (zh) | 2023-12-01 |
Family
ID=75606682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011581214.4A Active CN112732908B (zh) | 2020-12-28 | 2020-12-28 | 试题新颖度评估方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112732908B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554126B (zh) * | 2021-09-18 | 2022-01-07 | 深圳市信润富联数字科技有限公司 | 样本评估方法、装置、设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109299380A (zh) * | 2018-10-30 | 2019-02-01 | 浙江工商大学 | 在线教育平台中基于多维特征的习题个性化推荐方法 |
| CN110210768A (zh) * | 2019-06-06 | 2019-09-06 | 北京师范大学 | 一种古诗词试题难度评估方法和系统 |
| CN111310463A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 试题难度预估方法、装置、电子设备和存储介质 |
| CN111737450A (zh) * | 2020-08-05 | 2020-10-02 | 江西风向标教育科技有限公司 | 试卷组卷方法、装置、存储介质及计算机设备 |
| CN111813921A (zh) * | 2020-08-20 | 2020-10-23 | 浙江学海教育科技有限公司 | 题目推荐方法、电子设备及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130084554A1 (en) * | 2011-09-30 | 2013-04-04 | Viral Prakash SHAH | Customized question paper generation |
-
2020
- 2020-12-28 CN CN202011581214.4A patent/CN112732908B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109299380A (zh) * | 2018-10-30 | 2019-02-01 | 浙江工商大学 | 在线教育平台中基于多维特征的习题个性化推荐方法 |
| CN110210768A (zh) * | 2019-06-06 | 2019-09-06 | 北京师范大学 | 一种古诗词试题难度评估方法和系统 |
| CN111310463A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 试题难度预估方法、装置、电子设备和存储介质 |
| CN111737450A (zh) * | 2020-08-05 | 2020-10-02 | 江西风向标教育科技有限公司 | 试卷组卷方法、装置、存储介质及计算机设备 |
| CN111813921A (zh) * | 2020-08-20 | 2020-10-23 | 浙江学海教育科技有限公司 | 题目推荐方法、电子设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Self-assessing a test with a possible bonus enhances low performers’ academic performance;Jiangmei Yuan等;《Computers & Education》;第160卷;1-17 * |
| 基于RNN的试题相似度计算模型研究与实现;梁圣;;数码设计(01);15-17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112732908A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110781276B (zh) | 文本抽取方法、装置、设备及存储介质 | |
| CN113283551B (zh) | 多模态预训练模型的训练方法、训练装置及电子设备 | |
| CN110110585A (zh) | 基于深度学习的智能阅卷实现方法及系统、计算机程序 | |
| CN109872162B (zh) | 一种处理用户投诉信息的风控分类识别方法及系统 | |
| CN109783631B (zh) | 社区问答数据的校验方法、装置、计算机设备和存储介质 | |
| CN108090099B (zh) | 一种文本处理方法及装置 | |
| CN111460250A (zh) | 用于画像的数据的清洗方法、装置、介质及电子设备 | |
| CN112560491A (zh) | 一种基于ai技术的信息抽取方法、装置和存储介质 | |
| KR20230013793A (ko) | 어텐션 메카니즘 및 의미분석 기반 문서 분류장치 및 방법 | |
| CN111782793A (zh) | 智能客服处理方法和系统及设备 | |
| CN112069312A (zh) | 一种基于实体识别的文本分类方法及电子装置 | |
| CN114238573A (zh) | 基于文本对抗样例的信息推送方法及装置 | |
| CN113590810A (zh) | 摘要生成模型训练方法、摘要生成方法、装置及电子设备 | |
| CN110852071B (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
| CN113486174B (zh) | 模型训练、阅读理解方法、装置、电子设备及存储介质 | |
| CN112732908B (zh) | 试题新颖度评估方法、装置、电子设备和存储介质 | |
| CN117454217A (zh) | 一种基于深度集成学习的抑郁情绪识别方法、装置及系统 | |
| CN109657710B (zh) | 数据筛选方法、装置、服务器及存储介质 | |
| CN116579351A (zh) | 一种用户评价信息的分析方法及装置 | |
| US20180114093A1 (en) | Data analysis system, method for controlling data analysis system, and recording medium | |
| CN114067343A (zh) | 一种数据集的构建方法、模型训练方法和对应装置 | |
| CN110889289B (zh) | 信息明确度评估方法、装置、设备及计算机可读存储介质 | |
| CN111798217A (zh) | 数据分析系统及方法 | |
| CN110717029A (zh) | 一种信息处理方法和系统 | |
| CN113268651B (zh) | 一种搜索信息的摘要自动生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |