CN117093706B - 一种试卷生成方法、系统、介质及电子设备 - Google Patents

一种试卷生成方法、系统、介质及电子设备 Download PDF

Info

Publication number
CN117093706B
CN117093706B CN202311358872.0A CN202311358872A CN117093706B CN 117093706 B CN117093706 B CN 117093706B CN 202311358872 A CN202311358872 A CN 202311358872A CN 117093706 B CN117093706 B CN 117093706B
Authority
CN
China
Prior art keywords
question
examination
questions
combined
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311358872.0A
Other languages
English (en)
Other versions
CN117093706A (zh
Inventor
方明霞
李明昊
吕行
赵丹阳
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhuwei Intelligent Technology Co ltd
Original Assignee
Hangzhou Zhuwei Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhuwei Intelligent Technology Co ltd filed Critical Hangzhou Zhuwei Intelligent Technology Co ltd
Priority to CN202311358872.0A priority Critical patent/CN117093706B/zh
Publication of CN117093706A publication Critical patent/CN117093706A/zh
Application granted granted Critical
Publication of CN117093706B publication Critical patent/CN117093706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种试卷生成方法、系统、介质及电子设备，方法包括：当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；根据多个考试需求，检索各题型的候选考题；根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。由于本申请根据多个考试需求确定出各题型的候选考题，使得候选考题在全局进行了分布，同时在各题型的候选考题搜索与多个考试需求匹配得分最高的候选考题，使得在全局分布中拟合出与考试需求接近的最优考题集合，使得在全局达到了最优解，从而提高了出题的准确度。

Description

一种试卷生成方法、系统、介质及电子设备
技术领域
本申请涉及机器学习与计算机技术领域，特别涉及一种试卷生成方法、系统、介质及电子设备。
背景技术
随着经济的蓬勃发展和科技的飞速进步，人们的生活条件越来越好，但随之而来的竞争压力也日益增大，为了帮助员工快速提高技能，从众多的竞争者中脱颖而出，越来越多的公司或者机构，开始进行定期学习培训，在培训之后，一般会进行考核，根据考核结果，来确定学员的培训学习成效和技能能力。
在现有技术中，主要通过从网络资源上搜集各类知识点对应的试题，进而整理成试卷进行考核，在整理过程中，目前使用遗传算法来确定最优试题组合，但是遗传算法的缺点是对初始值比较敏感，在搜索中容易陷入局部最优，造成了生成的试卷在局部的若干考题是与考试需求匹配的，但是从全局来看，整体考题会出现和考试需求不相符的情况，从而降低了出题的准确度。
发明内容
本申请实施例提供了一种试卷生成方法、系统、介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种试卷生成方法，方法包括：
当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；
根据多个考试需求，在考题库中检索各题型的候选考题；
根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；
将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。
可选的，将试卷描述文本输入预先训练的语言处理模型之前，还包括：
获取多条历史试卷描述文本；
将多条历史试卷描述文本进行分词，得到每条历史试卷描述文本对应的关键词集合；
接收针对关键词集合中各关键词标注的考试需求标签进行关联，得到模型训练样本；
创建语言处理模型，并将模型训练样本输入语言处理模型中进行训练，输出模型损失值；
当模型损失值到达最小时，生成预先训练的语言处理模型。
可选的，多个考试需求包括各题型的题型数量；
根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合，包括：
在各题型的候选考题中，随机多次遍历预设数量的候选考题，得到各题型的多份考题集合；遍历的次数为预设次数，预设数量为各题型的题型数量；各题型的题型数量小于各题型的候选考题的考题数量；
根据各题型的多份考题集合进行排列组合，得到多份组合考题集合；
计算每份组合考题集合与多个考试需求的匹配得分；
将匹配得分最高的组合考题集合确定为最优考题集合。
可选的，根据各题型的多份考题集合进行排列组合，得到多份组合考题集合，包括：
从各题型的多份考题集合中随机遍历出一份考题集合，得到遍历的多份考题集合；
将遍历的多份考题集合进行排列组合；
继续执行从各题型的多份考题集合中随机遍历一份考题集合的步骤，直到各题型的多份考题集合全部遍历到的情况下，生成多份组合考题集合。
可选的，计算每份组合考题集合与多个考试需求的匹配得分，包括：
确定每份组合考题集合对应的多个目标维度；
确定多个考试需求对应的多个需求维度；
在多个目标维度中，匹配并关联每个需求维度对应的目标维度，得到多个考题-需求的维度组合；
计算每个考题-需求的维度组合对应的得分，得到多个得分项；
将多个得分项进行求和，得到每份组合考题集合与多个考试需求的匹配得分；其中，
每份组合考题集合与多个考试需求的匹配得分的计算公式为：
其中，为每份组合考题集合与多个考试需求的匹配得分，/>为第k个考题-需求的维度组合的得分项。
可选的，多个目标维度包括每份组合考题集合中所有目标知识点；多个需求维度包括多个考试需求中需求知识点和多个考试需求中需求综合难度；
计算每个考题-需求的维度组合对应的得分，得到多个得分项，包括：
计算需求知识点与所有目标知识点之间的相关度，得到每份组合考题集合对应的知识点维度得分；
根据需求综合难度，计算每份组合考题集合的综合难度系数，得到每份组合考题集合的综合难度得分，得到每份组合考题集合对应的综合难度维度得分。
可选的，根据需求综合难度，计算每份组合考题集合的综合难度系数，得到每份组合考题集合的综合难度得分，包括：
根据需求综合难度，确定题型难度；
确定每份组合考题集合中各考题的难度系数；
统计每份组合考题集合中各考题的难度系数对应的均值和标准差；
根据题型难度、各考题的难度系数、均值和标准差，计算每份组合考题集合的综合难度得分；其中，
每份组合考题集合的综合难度得分计算公式为：
其中，为每份组合考题集合的综合难度得分，/>为题型难度，/>为考题总数，/>和/>分别为均值和标准差，/>为候选考题的总数量，/>为考题的选择状态，/>表示第h个候选考题不进入试卷，/>表示第h个考题进入试卷，/>为第h个候选考题的难度系数。
第二方面，本申请实施例提供了一种试卷生成系统，系统包括：
考试需求定制模块，用于当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；
候选考题检索模块，用于根据多个考试需求，在考题库中检索各题型的候选考题；
最优考题集合搜索模块，用于根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；
试卷生成模块，用于将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，试卷生成系统首先当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；然后根据多个考试需求，检索各题型的候选考题；根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；最后将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。由于本申请根据多个考试需求确定出各题型的候选考题，使得候选考题在全局进行了分布，同时在各题型的候选考题搜索与多个考试需求匹配得分最高的候选考题，使得在全局分布中拟合出与考试需求接近的最优考题集合，使得在全局达到了最优解，从而提高了出题的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请实施例提供的一种试卷生成方法的流程示意图；
图2是本申请实施例提供的一种考试需求清单列表示意图；
图3是本申请实施例提供的一种各考题的画像标签示意图；
图4是本申请实施例提供的一种试卷生成过程的过程示意框图；
图5是本申请实施例提供的一种语言处理模型的模型训练过程示意图；
图6是本申请实施例提供的一种试卷生成系统的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述和附图充分地示出本申请的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
目前，主要通过从网络资源上搜集各类知识点对应的试题，进而整理成试卷进行考核，在整理过程中，目前使用遗传算法来确定最优试题组合。
本申请的发明人注意到，遗传算法的缺点是对初始值比较敏感，在搜索中容易陷入局部最优，造成了生成的试卷在局部的若干考题是与考试需求匹配的，但是从全局来看，整体考题会出现和考试需求不相符的情况，从而降低了出题的准确度。
为了能够解决平台系统的安全性低的问题，本申请提供了一种试卷生成方法、系统、介质及电子设备，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请根据多个考试需求确定出各题型的候选考题，使得候选考题在全局进行了分布，同时在各题型的候选考题搜索与多个考试需求匹配得分最高的候选考题，使得在全局分布中拟合出与考试需求接近的最优考题集合，使得在全局达到了最优解，从而提高了出题的准确度，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图5，对本申请实施例提供的试卷生成方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的试卷生成系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种试卷生成方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；
其中，试卷描述文本是用户输入系统的一段文字，该段文字包含了生成试卷的所有要求。预先训练的语言处理模型是能够理解自然语言的数学模型，可对试卷描述文本进行深度理解，以确定出多个考试需求。考试需求是生成试卷所需要的指标，例如知识点、题型数量分布、综合难度系数、题型难度系数分布以及试题总数。
在本申请实施例中，在生成预先训练的语言处理模型时，首先获取多条历史试卷描述文本；然后将多条历史试卷描述文本进行分词，得到每条历史试卷描述文本对应的关键词集合；其次接收针对关键词集合中各关键词标注的考试需求标签进行关联，得到模型训练样本；最后创建语言处理模型，并将模型训练样本输入语言处理模型中进行训练，输出模型损失值；以及当模型损失值到达最小时，生成预先训练的语言处理模型。
具体的，语言处理模型是神经网络模型，例如为递归神经网络 (RNN)、卷积神经网络 (CNN)、长短时记忆网络 (LSTM) 和注意力机制 (Attention) 等。
在一种可能的实现方式中，用户对于试卷生成系统采用语音或者文字编辑的方式输入试卷描述文本，用户点击提交后，系统可接收到试卷描述文本，系统在接收到试卷描述文本时，调用预先训练的语言处理模型，并将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求。
S102，根据多个考试需求，在考题库中检索各题型的候选考题；
其中，多个考试需求例如图2所示，每条考试需求包括序号、名称、记号、类型以及简介。
在本申请实施例中，可根据多个考试需求制定用于考题检索的搜索语句，然后执行搜索语句，可从中试题库中检索出一定数量的试题。当前系统默认会为各题型从数据库中召回个试题(/>为图2的题型数量分布中，第i个类型题目的需求数量;/>为正整数，默认为10)，可得到各题型的候选考题。将各题型的候选考题的总数量记为H，即一次检索得到的候选试题总数为H。
进一步地，试题库中的各考题是基于系统预先制定的资源画像进行保存的，该方式可产生丰富的标签，以支持针对包括列表类型的各个字段的快速检索，各考题的画像标签例如图3所示。需要说明的是，图3是考题画像标签的一部分，本申请的系统支持用户增加新的标签。
S103，根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；
其中，多个考试需求包括各题型的题型数量。
在根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合时，首先在各题型的候选考题中，随机多次遍历预设数量的候选考题，得到各题型的多份考题集合；遍历的次数为预设次数，预设数量为各题型的题型数量；各题型的题型数量小于各题型的候选考题的考题数量；然后根据各题型的多份考题集合进行排列组合，得到多份组合考题集合；其次计算每份组合考题集合与多个考试需求的匹配得分；最后将匹配得分最高的组合考题集合确定为最优考题集合。
具体的，在根据各题型的多份考题集合进行排列组合，得到多份组合考题集合时，首先从各题型的多份考题集合中随机遍历出一份考题集合，得到遍历的多份考题集合；然后将遍历的多份考题集合进行排列组合；最后继续执行从各题型的多份考题集合中随机遍历一份考题集合的步骤，直到各题型的多份考题集合全部遍历到的情况下，生成多份组合考题集合。
具体的，计算每份组合考题集合与多个考试需求的匹配得分时，首先确定每份组合考题集合对应的多个目标维度；再确定多个考试需求对应的多个需求维度；然后在多个目标维度中，匹配并关联每个需求维度对应的目标维度，得到多个考题-需求的维度组合；其次计算每个考题-需求的维度组合对应的得分，得到多个得分项；最后将多个得分项进行求和，得到每份组合考题集合与多个考试需求的匹配得分。
具体的，每份组合考题集合与多个考试需求的匹配得分的计算公式为：
其中，/>为每份组合考题集合与多个考试需求的匹配得分，/>为第k个考题-需求的维度组合的得分项。
具体的，多个目标维度包括每份组合考题集合中所有目标知识点；多个需求维度包括多个考试需求中需求知识点和多个考试需求中需求综合难度。
具体的，在计算每个考题-需求的维度组合对应的得分，得到多个得分项时，首先计算需求知识点与所有目标知识点之间的相关度，得到每份组合考题集合对应的知识点维度得分；然后根据需求综合难度，计算每份组合考题集合的综合难度系数，得到每份组合考题集合的综合难度得分，得到每份组合考题集合对应的综合难度维度得分。
具体的，根据需求综合难度，计算每份组合考题集合的综合难度系数，得到每份组合考题集合的综合难度得分时，首先根据需求综合难度，确定题型难度；然后确定每份组合考题集合中各考题的难度系数；其次统计每份组合考题集合中各考题的难度系数对应的均值和标准差；最后根据题型难度、各考题的难度系数、均值和标准差，计算每份组合考题集合的综合难度得分。均值和标准差适用于对称分布，可以准确的反映统计样本的整体情况，因此通过多维度的参数计算，使得生成的试卷综合难度适中，避免出现考题整体偏向简单或者整体偏向复杂的情况，提升了试卷的生成质量。
其中，每份组合考题集合的综合难度得分计算公式为：
其中，为每份组合考题集合的综合难度得分，/>为题型难度，/>为考题总数，/>和/>分别为均值和标准差，/>为候选考题的总数量，/>为考题的选择状态，/>表示第h个候选考题不进入试卷，/>表示第h个考题进入试卷，/>为第h个候选考题的难度系数。
具体的，考题的选择状态是将备选考题展示给专家，专家基于教学经验对每个备选考题进行打分，终端在接收到每个专家的打分后，可对每个备选考题的多个打分进行求和取平均值，得到每个备选考题的经验值，当经验值小于60时，可将备选考题的选择状态标记为0，当经验值大于等于60分时，可将备选考题的选择状态/>标记为1。通过考题的选择状态表征专家的经验，使得试卷在全局最优的基础上更加符合考试需求。
S104，将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。
在本申请实施例中，在得到最优考题集合后，可加载预设考题模版，然后将最优考题集合按照题型的标识与模版中题型标识进行匹配关联，可得到试卷描述文本对应的目标试卷。
例如图4所示，图4是本申请提供的一种试卷生成过程的过程示意框图，首先需求定制模块接收用户生成试卷的需求描述文本，然后基于需求描述文本在试题库中检索出各题型的考题，其次根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，最后将匹配得分最高的候选考题组织为试卷。
在本申请实施例中，试卷生成系统首先当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；然后根据多个考试需求，检索各题型的候选考题；根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；最后将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。由于本申请根据多个考试需求确定出各题型的候选考题，使得候选考题在全局进行了分布，同时在各题型的候选考题搜索与多个考试需求匹配得分最高的候选考题，使得在全局分布中拟合出与考试需求接近的最优考题集合，使得在全局达到了最优解，从而提高了出题的准确度。
请参见图5，为本申请实施例提供了一种试卷生成方法的流程示意图。如图5所示，本申请实施例的方法可以包括以下步骤：
S201，获取多条历史试卷描述文本；
S202，将多条历史试卷描述文本进行分词，得到每条历史试卷描述文本对应的关键词集合；
S203，接收针对关键词集合中各关键词标注的考试需求标签进行关联，得到模型训练样本；
S204，创建语言处理模型，并将模型训练样本输入语言处理模型中进行训练，输出模型损失值；
S205，当模型损失值到达最小时，生成预先训练的语言处理模型。
在本申请实施例中，试卷生成系统首先当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；然后根据多个考试需求，检索各题型的候选考题；根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；最后将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。由于本申请根据多个考试需求确定出各题型的候选考题，使得候选考题在全局进行了分布，同时在各题型的候选考题搜索与多个考试需求匹配得分最高的候选考题，使得在全局分布中拟合出与考试需求接近的最优考题集合，使得在全局达到了最优解，从而提高了出题的准确度。
下述为本申请系统实施例，可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节，请参照本申请方法实施例。
请参见图6，其示出了本申请一个示例性实施例提供的试卷生成系统的结构示意图。该试卷生成系统可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。该系统1包括考试需求定制模块10、候选考题检索模块20、最优考题集合搜索模块30、试卷生成模块40。
考试需求定制模块10，用于当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；
候选考题检索模块20，用于根据多个考试需求，在考题库中检索各题型的候选考题；
最优考题集合搜索模块30，用于根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；
试卷生成模块40，用于将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。
可选的，系统还包括：
试卷描述文本获取模块，用于获取多条历史试卷描述文本；
文本分词模块，用于将多条历史试卷描述文本进行分词，得到每条历史试卷描述文本对应的关键词集合；
模型训练样本生成模块，用于接收针对关键词集合中各关键词标注的考试需求标签进行关联，得到模型训练样本；
损失值输出模块，用于创建语言处理模型，并将模型训练样本输入语言处理模型中进行训练，输出模型损失值；
模型生成模块，用于当模型损失值到达最小时，生成预先训练的语言处理模型。
可选的，最优考题集合搜索模块，包括：
考题遍历单元，用于在各题型的候选考题中，随机多次遍历预设数量的候选考题，得到各题型的多份考题集合；遍历的次数为预设次数，预设数量为各题型的题型数量；各题型的题型数量小于各题型的候选考题的考题数量；
考题排列组合单元，用于根据各题型的多份考题集合进行排列组合，得到多份组合考题集合；
得分计算单元，用于计算每份组合考题集合与多个考试需求的匹配得分；
最优考题集合确定单元，用于将匹配得分最高的组合考题集合确定为最优考题集合。
需要说明的是，上述实施例提供的试卷生成系统在执行试卷生成方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的试卷生成系统与试卷生成方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，试卷生成系统首先当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；然后根据多个考试需求，检索各题型的候选考题；根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；最后将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。由于本申请根据多个考试需求确定出各题型的候选考题，使得候选考题在全局进行了分布，同时在各题型的候选考题搜索与多个考试需求匹配得分最高的候选考题，使得在全局分布中拟合出与考试需求接近的最优考题集合，使得在全局达到了最优解，从而提高了出题的准确度。
本申请还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的试卷生成方法。
本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的试卷生成方法。
请参见图7，为本申请实施例提供了一种电子设备的结构示意图。如图7所示，电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏（Display）、摄像头（Camera），可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器1001可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器1005包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储系统。如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及试卷生成应用程序。
在图7所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的试卷生成应用程序，并具体执行以下操作：
当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；
根据多个考试需求，在考题库中检索各题型的候选考题；
根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；
将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。
在一个实施例中，处理器1001在执行将试卷描述文本输入预先训练的语言处理模型之前时，还执行以下操作：
获取多条历史试卷描述文本；
将多条历史试卷描述文本进行分词，得到每条历史试卷描述文本对应的关键词集合；
接收针对关键词集合中各关键词标注的考试需求标签进行关联，得到模型训练样本；
创建语言处理模型，并将模型训练样本输入语言处理模型中进行训练，输出模型损失值；
当模型损失值到达最小时，生成预先训练的语言处理模型。
在一个实施例中，处理器1001在执行根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合时，具体执行以下操作：
在各题型的候选考题中，随机多次遍历预设数量的候选考题，得到各题型的多份考题集合；遍历的次数为预设次数，预设数量为各题型的题型数量；各题型的题型数量小于各题型的候选考题的考题数量；
根据各题型的多份考题集合进行排列组合，得到多份组合考题集合；
计算每份组合考题集合与多个考试需求的匹配得分；
将匹配得分最高的组合考题集合确定为最优考题集合。
在一个实施例中，处理器1001在执行根据各题型的多份考题集合进行排列组合，得到多份组合考题集合时，具体执行以下操作：
从各题型的多份考题集合中随机遍历出一份考题集合，得到遍历的多份考题集合；
将遍历的多份考题集合进行排列组合；
继续执行从各题型的多份考题集合中随机遍历一份考题集合的步骤，直到各题型的多份考题集合全部遍历到的情况下，生成多份组合考题集合。
在一个实施例中，处理器1001在执行计算每份组合考题集合与多个考试需求的匹配得分时，具体执行以下操作：
确定每份组合考题集合对应的多个目标维度；
确定多个考试需求对应的多个需求维度；
在多个目标维度中，匹配并关联每个需求维度对应的目标维度，得到多个考题-需求的维度组合；
计算每个考题-需求的维度组合对应的得分，得到多个得分项；
将多个得分项进行求和，得到每份组合考题集合与多个考试需求的匹配得分；其中，
每份组合考题集合与多个考试需求的匹配得分的计算公式为：
其中，为每份组合考题集合与多个考试需求的匹配得分，/>为第k个考题-需求的维度组合的得分项。
在一个实施例中，处理器1001在执行计算每个考题-需求的维度组合对应的得分，得到多个得分项时，具体执行以下操作：
计算需求知识点与所有目标知识点之间的相关度，得到每份组合考题集合对应的知识点维度得分；
根据需求综合难度，计算每份组合考题集合的综合难度系数，得到每份组合考题集合的综合难度得分，得到每份组合考题集合对应的综合难度维度得分。
在一个实施例中，处理器1001在执行根据需求综合难度，计算每份组合考题集合的综合难度系数，得到每份组合考题集合的综合难度得分时，具体执行以下操作：
根据需求综合难度，确定题型难度；
确定每份组合考题集合中各考题的难度系数；
统计每份组合考题集合中各考题的难度系数对应的均值和标准差；
根据题型难度、各考题的难度系数、均值和标准差，计算每份组合考题集合的综合难度得分；其中，
每份组合考题集合的综合难度得分计算公式为：
其中，为每份组合考题集合的综合难度得分，/>为题型难度，/>为考题总数，/>和/>分别为均值和标准差，/>为候选考题的总数量，/>为考题的选择状态，/>表示第h个候选考题不进入试卷，/>表示第h个考题进入试卷，/>为第h个候选考题的难度系数。
在本申请实施例中，试卷生成系统首先当接收到试卷描述文本时，将试卷描述文本输入预先训练的语言处理模型，输出试卷描述文本对应的多个考试需求；然后根据多个考试需求，检索各题型的候选考题；根据各题型的候选考题，搜索与多个考试需求匹配得分最高的候选考题，得到最优考题集合；最后将最优考题集合填充到预设考题模版中，得到试卷描述文本对应的目标试卷。由于本申请根据多个考试需求确定出各题型的候选考题，使得候选考题在全局进行了分布，同时在各题型的候选考题搜索与多个考试需求匹配得分最高的候选考题，使得在全局分布中拟合出与考试需求接近的最优考题集合，使得在全局达到了最优解，从而提高了出题的准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，试卷生成的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，试卷生成的程序的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (9)

1.一种试卷生成方法，其特征在于，所述方法包括：
当接收到试卷描述文本时，将所述试卷描述文本输入预先训练的语言处理模型，输出所述试卷描述文本对应的多个考试需求；
根据所述多个考试需求，在考题库中检索各题型的候选考题；
根据所述各题型的候选考题，搜索与所述多个考试需求匹配得分最高的候选考题，得到最优考题集合；其中，所述最优考题集合是基于每份组合考题集合与所述多个考试需求的匹配得分确定的，所述每份组合考题集合是根据所述各题型的候选考题进行多次遍历生成的；其中，
所述多个考试需求包括各题型的题型数量；
所述根据所述各题型的候选考题，搜索与所述多个考试需求匹配得分最高的候选考题，得到最优考题集合，包括：
在所述各题型的候选考题中，随机多次遍历预设数量的候选考题，得到所述各题型的多份考题集合；所述遍历的次数为预设次数，预设数量为所述各题型的题型数量；所述各题型的题型数量小于所述各题型的候选考题的考题数量；
根据所述各题型的多份考题集合进行排列组合，得到多份组合考题集合；
计算每份组合考题集合与所述多个考试需求的匹配得分；
将匹配得分最高的组合考题集合确定为最优考题集合；
将所述最优考题集合填充到预设考题模版中，得到所述试卷描述文本对应的目标试卷。
2.根据权利要求1所述的方法，其特征在于，所述将所述试卷描述文本输入预先训练的语言处理模型之前，还包括：
获取多条历史试卷描述文本；
将多条历史试卷描述文本进行分词，得到每条历史试卷描述文本对应的关键词集合；
接收针对所述关键词集合中各关键词标注的考试需求标签进行关联，得到模型训练样本；
创建语言处理模型，并将模型训练样本输入所述语言处理模型中进行训练，输出模型损失值；
当所述模型损失值到达最小时，生成预先训练的语言处理模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述各题型的多份考题集合进行排列组合，得到多份组合考题集合，包括：
从所述各题型的多份考题集合中随机遍历出一份考题集合，得到遍历的多份考题集合；
将遍历的多份考题集合进行排列组合；
继续执行所述从所述各题型的多份考题集合中随机遍历一份考题集合的步骤，直到所述各题型的多份考题集合全部遍历到的情况下，生成多份组合考题集合。
4.根据权利要求1所述的方法，其特征在于，所述计算每份组合考题集合与所述多个考试需求的匹配得分，包括：
确定所述每份组合考题集合对应的多个目标维度；
确定所述多个考试需求对应的多个需求维度；
在所述多个目标维度中，匹配并关联每个需求维度对应的目标维度，得到多个考题-需求的维度组合；
计算每个考题-需求的维度组合对应的得分，得到多个得分项；
将所述多个得分项进行求和，得到每份组合考题集合与所述多个考试需求的匹配得分；其中，
所述每份组合考题集合与所述多个考试需求的匹配得分的计算公式为：
其中，为每份组合考题集合与所述多个考试需求的匹配得分，/>为第k个考题-需求的维度组合的得分项。
5.根据权利要求4所述的方法，其特征在于，所述多个目标维度包括每份组合考题集合中所有目标知识点；所述多个需求维度包括多个考试需求中需求知识点和多个考试需求中需求综合难度；
所述计算每个考题-需求的维度组合对应的得分，得到多个得分项，包括：
计算所述需求知识点与所述所有目标知识点之间的相关度，得到每份组合考题集合对应的知识点维度得分；
根据所述需求综合难度，计算每份组合考题集合的综合难度系数，得到每份组合考题集合的综合难度得分，得到每份组合考题集合对应的综合难度维度得分。
6.根据权利要求5所述的方法，其特征在于，所述根据所述需求综合难度，计算每份组合考题集合的综合难度系数，得到每份组合考题集合的综合难度得分，包括：
根据所述需求综合难度，确定题型难度；
确定所述每份组合考题集合中各考题的难度系数；
统计所述每份组合考题集合中各考题的难度系数对应的均值和标准差；
根据所述题型难度、各考题的难度系数、均值和标准差，计算每份组合考题集合的综合难度得分；其中，
所述每份组合考题集合的综合难度得分计算公式为：
其中，为每份组合考题集合的综合难度得分，/>为题型难度，/>为考题总数，/>和/>分别为均值和标准差，/>为候选考题的总数量，/>为考题的选择状态，/>表示第h个候选考题不进入试卷，/>表示第h个考题进入试卷，/>为第h个候选考题的难度系数。
7.一种试卷生成系统，其特征在于，所述系统包括：
考试需求定制模块，用于当接收到试卷描述文本时，将所述试卷描述文本输入预先训练的语言处理模型，输出所述试卷描述文本对应的多个考试需求；
候选考题检索模块，用于根据所述多个考试需求，在考题库中检索各题型的候选考题；
最优考题集合搜索模块，用于根据所述各题型的候选考题，搜索与所述多个考试需求匹配得分最高的候选考题，得到最优考题集合；其中，所述最优考题集合是基于每份组合考题集合与所述多个考试需求的匹配得分确定的，所述每份组合考题集合是根据所述各题型的候选考题进行多次遍历生成的；其中，
所述多个考试需求包括各题型的题型数量；
所述根据所述各题型的候选考题，搜索与所述多个考试需求匹配得分最高的候选考题，得到最优考题集合，包括：
在所述各题型的候选考题中，随机多次遍历预设数量的候选考题，得到所述各题型的多份考题集合；所述遍历的次数为预设次数，预设数量为所述各题型的题型数量；所述各题型的题型数量小于所述各题型的候选考题的考题数量；
根据所述各题型的多份考题集合进行排列组合，得到多份组合考题集合；
计算每份组合考题集合与所述多个考试需求的匹配得分；
将匹配得分最高的组合考题集合确定为最优考题集合；
试卷生成模块，用于将所述最优考题集合填充到预设考题模版中，得到所述试卷描述文本对应的目标试卷。
8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-6任意一项所述的方法。
9.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-6任意一项所述的方法。
CN202311358872.0A 2023-10-19 2023-10-19 一种试卷生成方法、系统、介质及电子设备 Active CN117093706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311358872.0A CN117093706B (zh) 2023-10-19 2023-10-19 一种试卷生成方法、系统、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311358872.0A CN117093706B (zh) 2023-10-19 2023-10-19 一种试卷生成方法、系统、介质及电子设备

Publications (2)

Publication Number Publication Date
CN117093706A CN117093706A (zh) 2023-11-21
CN117093706B true CN117093706B (zh) 2024-01-09

Family

ID=88770245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311358872.0A Active CN117093706B (zh) 2023-10-19 2023-10-19 一种试卷生成方法、系统、介质及电子设备

Country Status (1)

Country Link
CN (1) CN117093706B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069295A (zh) * 2020-09-18 2020-12-11 科大讯飞股份有限公司 相似题推荐方法、装置、电子设备和存储介质
CN112270318A (zh) * 2020-11-12 2021-01-26 北京百度网讯科技有限公司 自动阅卷方法和装置、电子设备和存储介质
EP3876114A2 (en) * 2020-12-25 2021-09-08 Baidu Online Network Technology (Beijing) Co., Ltd. Method for recommending a search term, method for training a target model, apparatus for recommending a search term, apparatus for training a target model, electronic device and program product
CN113628077A (zh) * 2021-07-20 2021-11-09 湖北美和易思教育科技有限公司 生成不重复考题的方法、终端及可读存储介质
CN113723774A (zh) * 2021-08-16 2021-11-30 上海浦东发展银行股份有限公司 答题评分方法、装置、计算机设备和存储介质
CN114036266A (zh) * 2021-11-23 2022-02-11 融安云网(北京)技术有限公司 一种基于自然语言处理的智能策略组卷方法、装置及设备
WO2022095368A1 (zh) * 2020-11-04 2022-05-12 平安科技（深圳）有限公司 基于文本生成模型的问答语料生成方法和装置
CN116227992A (zh) * 2023-01-09 2023-06-06 烽台科技（北京）有限公司 一种考核试卷生成方法、装置及终端设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069295A (zh) * 2020-09-18 2020-12-11 科大讯飞股份有限公司 相似题推荐方法、装置、电子设备和存储介质
WO2022095368A1 (zh) * 2020-11-04 2022-05-12 平安科技（深圳）有限公司 基于文本生成模型的问答语料生成方法和装置
CN112270318A (zh) * 2020-11-12 2021-01-26 北京百度网讯科技有限公司 自动阅卷方法和装置、电子设备和存储介质
EP3876114A2 (en) * 2020-12-25 2021-09-08 Baidu Online Network Technology (Beijing) Co., Ltd. Method for recommending a search term, method for training a target model, apparatus for recommending a search term, apparatus for training a target model, electronic device and program product
CN113628077A (zh) * 2021-07-20 2021-11-09 湖北美和易思教育科技有限公司 生成不重复考题的方法、终端及可读存储介质
CN113723774A (zh) * 2021-08-16 2021-11-30 上海浦东发展银行股份有限公司 答题评分方法、装置、计算机设备和存储介质
CN114036266A (zh) * 2021-11-23 2022-02-11 融安云网(北京)技术有限公司 一种基于自然语言处理的智能策略组卷方法、装置及设备
CN116227992A (zh) * 2023-01-09 2023-06-06 烽台科技（北京）有限公司 一种考核试卷生成方法、装置及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任仲晟 ; .一种基于遗传算法的C语言等级考试自动组卷优化算法.信息系统工程.2017,(第10期),全文. *
张琦 ; 郑河荣 ; 刘志 ; 陈云泽 ; .基于优化遗传算法的智能组卷系统研究.浙江工业大学学报.2009,(第03期),全文. *

Also Published As

Publication number Publication date
CN117093706A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN111277706B (zh) 一种应用推荐方法、装置、存储介质及电子设备
CN112667794A (zh) 一种基于孪生网络bert模型的智能问答匹配方法及系统
CN110442718A (zh) 语句处理方法、装置及服务器和存储介质
CN109947952B (zh) 基于英语知识图谱的检索方法、装置、设备及存储介质
CN113190692B (zh) 一种知识图谱的自适应检索方法、系统及装置
CN113220854B (zh) 机器阅读理解的智能对话方法及装置
CN117077679B (zh) 命名实体识别方法和装置
CN112559711A (zh) 一种同义文本提示方法、装置及电子设备
CN112598547A (zh) 基于自动生产线的教育题目生成方法、装置和电子设备
CN112632264A (zh) 智能问答方法、装置、电子设备及存储介质
CN117093706B (zh) 一种试卷生成方法、系统、介质及电子设备
CN115757720A (zh) 基于知识图谱的项目信息搜索方法、装置、设备和介质
CN112651244B (zh) 一种基于论文摘要QA的TopK实体抽取方法与系统
CN114780755A (zh) 一种基于知识图谱的播放数据定位方法、装置及电子设备
CN113836377A (zh) 信息关联方法、装置、电子设备及存储介质
WO2017122872A1 (ko) 전자 출판물에 대한 정보를 생성하는 장치 및 방법
CN112507082A (zh) 一种智能识别不当文本交互的方法、装置和电子设备
CN117892140B (zh) 视觉问答及其模型训练方法、装置、电子设备、存储介质
CN112905884B (zh) 生成序列标注模型的方法、设备、介质及程序产品
CN117725909B (zh) 一种多维度的评论审核方法、装置、电子设备及存储介质
CN114139610B (zh) 基于深度学习的中医药临床文献数据结构化方法及装置
EP4131129A1 (en) Report writing assistance system and report writing assistance method
JP7131518B2 (ja) 電子機器、発音学習方法、サーバ装置、発音学習処理システムおよびプログラム
CN107918667B (zh) 文本标签词的生成方法、系统及装置
CN113220906A (zh) 建立知识图谱的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant