CN112560443A - 选择题生成模型训练方法、选择题生成方法、设备及介质 - Google Patents

选择题生成模型训练方法、选择题生成方法、设备及介质 Download PDF

Info

Publication number
CN112560443A
CN112560443A CN202011604701.8A CN202011604701A CN112560443A CN 112560443 A CN112560443 A CN 112560443A CN 202011604701 A CN202011604701 A CN 202011604701A CN 112560443 A CN112560443 A CN 112560443A
Authority
CN
China
Prior art keywords
model
interference
target
question
option
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011604701.8A
Other languages
English (en)
Other versions
CN112560443B (zh
Inventor
陈杭
赖众程
张舒婷
史文鑫
倪佳
林志超
何凤连
李筱艺
李会璟
赖幸斌
林嘉喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202011604701.8A priority Critical patent/CN112560443B/zh
Publication of CN112560443A publication Critical patent/CN112560443A/zh
Application granted granted Critical
Publication of CN112560443B publication Critical patent/CN112560443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种选择题生成模型训练方法、选择题生成方法、设备及介质。该方法包括：获取目标应用领域对应的训练文档、标准题目信息和标准干扰选项；根据标准题目信息对训练文档进行关键段落提取，获取与标准题目信息相对应的关键段落；获取FinBert‑UniLM模型，配置FinBert‑UniLM模型对应的模型参数；将关键段落和标准题目信息输入到FinBert‑UniLM模型进行模型训练，获取目标应用领域对应的题目生成模型；将关键段落、标准题目信息和标准干扰选项输入到FinBert‑UniLM模型进行模型训练，获取与题目生成模型相对应的干扰项生成模型。该方法可保障选择题生成模型生成的选择题具有语言组织方式多样性、干扰选项与题干的顺畅性、选项长度满足业务需求以及知识点覆盖的全面性。

Description

选择题生成模型训练方法、选择题生成方法、设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种选择题生成模型训练方法、选择题生成方法、设备及介质。
背景技术
选择题生成模型是用于实现自动生成选择题的模型，可利用选择题生成模型对各种培训过程中的培训文档或者其他文档中特定片段进行处理，以生成该特定片段对应的选择题，以利用该选择题实现对特定片段的知识的考核。一般来说，选择题包括题干、正确选项和干扰选项这三个部分，根据正确选项和干扰选项的数量，将选择题划分为单项选择题、多项选择题和不定项选择题这几种类型。
现有选择题生成模型一般是从文档中选择需要出题的句子，在句子上挖空，形成题干和正确选项，再根据各类词典生成与正确选项相对应的干扰选项，以获取生成的选择题，这种方式存在如下问题：其一是，采用挖空填词方式生成的选择题，其语言组织方式与文档表述一致，在线上考核或者其他情况下，给考生作弊提供便利。其二是，采用各类词典生成的干扰选项与题干拼接起来形成的语句较为生硬，使得考生可通过两者衔接的流畅性，快速排队干扰选项。其三是，在特定应用场景，如银行内部考核的培训考题中，部分选项题涉及到具体业务操作细则，使得选择题的选项较长，使得挖空填词方式生成的选项长度，无法满足特定应用场景的长度需求。其四是，采用挖空填词方式生成的选择题只能覆盖一个句子的信息，使得考题的覆盖知识面较窄，不利于实现对文档的全面考核。
发明内容
本发明实施例提供一种选择题生成模型训练方法、选择题生成方法、设备及介质，以解决采用挖空填词方式生成的选择题存在的问题。
一种选择题生成模型训练方法，包括：
获取目标应用领域对应的训练文档、标准题目信息和标准干扰选项；
根据所述标准题目信息对所述训练文档进行关键段落提取，获取与所述标准题目信息相对应的关键段落；
获取FinBert-UniLM模型，配置所述FinBert-UniLM模型对应的模型参数；
将所述关键段落和所述标准题目信息输入到所述FinBert-UniLM模型进行模型训练，获取所述目标应用领域对应的题目生成模型；
将所述关键段落、所述标准题目信息和所述标准干扰选项输入到所述FinBert-UniLM模型进行模型训练，获取与所述题目生成模型相对应的干扰项生成模型。
一种选择题生成模型训练装置，包括：
训练数据获取模块，用于获取目标应用领域对应的训练文档、标准题目信息和标准干扰选项；
关键段落获取模块，用于根据所述标准题目信息对所述训练文档进行关键段落提取，获取与所述标准题目信息相对应的关键段落；
训练模型获取模块，用于获取FinBert-UniLM模型，配置所述FinBert-UniLM模型对应的模型参数；
题目生成模型获取模块，用于将所述关键段落和所述标准题目信息输入到所述FinBert-UniLM模型进行模型训练，获取所述目标应用领域对应的题目生成模型；
干扰项生成模型获取模块，用于将所述关键段落、所述标准题目信息和所述标准干扰选项输入到所述FinBert-UniLM模型进行模型训练，获取与所述题目生成模型相对应的干扰项生成模型。
一种选择题生成方法，包括：
获取目标应用领域对应的待处理文档；
对所述待处理文档进行分段，获取至少一个待处理段落；
获取所述目标应用领域对应的题目生成模型和干扰项生成模型；
将所述待处理段落输入到所述题目生成模型，获取所述目标题目信息，所述目标题目信息包括目标题干和目标正确选项；
将所述待处理段落和所述目标题目信息输入到所述干扰项生成模型，获取目标干扰选项；
采用选择题生成模板对所述目标题干、所述目标正确选项和所述目标干扰选项进行处理，获取目标选择题。
本发明提供一种选择题生成装置，包括：
待处理文档获取模块，用于获取目标应用领域对应的待处理文档；
待处理段落获取模块，用于对所述待处理文档进行分段，获取至少一个待处理段落；
生成模型获取模块，用于获取所述目标应用领域对应的题目生成模型和干扰项生成模型；
目标题目信息获取模块，用于将所述待处理段落输入到所述题目生成模型，获取所述目标题目信息，所述目标题目信息包括目标题干和目标正确选项；
目标干扰选项获取模块，用于将所述待处理段落和所述目标题目信息输入到所述干扰项生成模型，获取目标干扰选项；
目标选择题获取模块，用于采用选择题生成模板对所述目标题干、所述目标正确选项和所述目标干扰选项进行处理，获取目标选择题。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述选择题生成模型训练方法，或者所述处理器执行所述计算机程序时实现上述选择题生成方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述选择题生成模型训练方法，或者所述计算机程序被处理器执行时实现上述选择题生成方法。
上述选择题生成模型训练方法、设备及介质，将目标应用领域对应的训练文档、标准题目信息和标准干扰选项作为模型训练数据，有助于保障题目生成模型和干扰项生成模型对目标应用领域的文档处理的针对性。从训练文档中提取与标准题目信息相对应的关键段落，以适应Bert的输入文本长度，保障模型训练的可行性。采用FinBert-UniLM模型，自主配置FinBert-UniLM模型的模型参数，以保障FinBert-UniLM模型对目标应用领域的文档具有较好的语义理解能力，使得最终形成的选择题具有语言组织方式多样性；且FinBert-UniLM模型对长文本有较好的输出效果，以使其生成的选项(包括正确选项和干扰选项)的长度，满足业务需求。将所述关键段落和所述标准题目信息输入到所述FinBert-UniLM模型进行模型训练，有助于保障形成的题目生成模型最终生成的题目信息具有语言组织方式多样性和知识点覆盖的全面性。将所述关键段落、所述标准题目信息和所述标准干扰选项输入到所述FinBert-UniLM模型进行模型训练，有助于保障最终形成的干扰项生成模型所生成的干扰项与题干的顺畅性。
上述选择题生成方法、设备及介质，先对待处理文档进行分段，获取至少一个待处理段落，以使目标选择题的出题范围是基于一个待处理段落而非句子，有助于保障目标选择题中知识点覆盖的全面性。再将待处理段落输出到所述题目生成模型，获取所述目标题目信息，由于基于FinBert-UniLM模型形成的题目生成模型，对目标应用领域的文档具有较好的语义理解能力且对长文本具有较好的输出效果，可保障目标题目信息具有语言组织方式多样性且具有可满足业务需求；而且，采用题目生成模型对待处理段落进行处理，相比于对单一句子进行处理，有助于保障目标题目信息中知识点覆盖的全面性。接着，将所述待处理段落和所述目标题目信息输入到所述干扰项生成模型，获取目标干扰选项，相比于采用各类词典对正确选项进行处理所生成的干扰选项，目标干扰选项与目标题目信息中的目标题干之间衔接的顺畅性较好。最后，采用选择题生成模板对所述目标题干、所述目标正确选项和所述目标干扰选项进行处理，获取目标选择题，保障目标选择题的快速生成，提高其生成效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中选择题生成模型训练方法和所述选择题生成方法的一应用环境示意图；
图2是本发明一实施例中选择题生成模型训练方法的一流程图；
图3是本发明一实施例中选择题生成模型训练方法的另一流程图；
图4是本发明一实施例中选择题生成模型训练方法的另一流程图；
图5是本发明一实施例中选择题生成模型训练方法的另一流程图；
图6是本发明一实施例中选择题生成模型训练方法的另一流程图；
图7是本发明一实施例中选择题生成方法的一流程图；
图8是本发明一实施例中选择题生成方法的另一流程图；
图9是本发明一实施例中选择题生成模型训练装置的一示意图；
图10是本发明一实施例中选择题生成装置的一示意图；
图11是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的选择题生成模型训练方法，该选择题生成模型训练方法可应用如图1所示的应用环境中。具体地，该选择题生成模型训练方法应用在模型训练系统中，该模型训练系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于训练选择题生成模型，保障选择题生成模型生成的选择题具有语言组织方式多样性、干扰选项与题干的顺畅性、选项长度满足业务需求以及知识点覆盖的全面性。其中，客户端又称为用户端，是指与服务器相对应，为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种选择题生成模型训练方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201：获取目标应用领域对应的训练文档、标准题目信息和标准干扰选项。
其中，目标应用领域是指训练选择题生成模型所对应的应用场景，包括但不限于本实施例中的银行、保险、证券或者其他特定领域的应用场景。训练文档是指用于进行模型训练所对应的文档，是被选择用来出选择题的文档，其应当包含标准题目信息。
其中，标准题目信息是在模型训练之前已经生成的题目信息，用于与模型训练获取的候选题目信息进行对比的标签。本示例中，可以将标准题干和标准正确选项拼接而成形成标准题目信息(ground_truth)，即标准题目信息＝标准题干+标准正确选项，用于作为题目生成模型训练的标签信息。标准题干是在模型训练之前已经生成的题干，是用于与模型训练获取的候选题干进行对比的标签。标准正确选项是在模型训练之前已经生成的正确选项，是用于与模型训练获取的候选正确选项进行对比的标签。
其中，标准干扰选项是在模型训练之前已经生成的干扰选项，是用于与模型训练获取的候选干扰选项进行对比的标签。
一般来说，任一个用于训练选择题生成模型的标准选择题包括标准题干、标准正确选项和标准干扰选项，将其中的标准题干和标准正确选项拼接形成标准题目信息，用于作为题目生成模型训练的标签信息。例如，以下标准选择题中，其标准题目信息为“平安国内买方信用证业务流程的关键目标是风险控制和专业化运作”，其标准干扰选项为专业化运作、业务差错率和标准化程度。
平安国内买方信用证业务流程的关键目标是()
A.风险控制和专业化运作
B.专业化运作
C.业务差错率
D.标准化程度
正确答案：A
S202：根据标准题目信息对训练文档进行关键段落提取，获取与标准题目信息相对应的关键段落。
其中，关键段落是指训练文档中包含标准题目信息的段落。
作为一示例，可以先采用正则匹配算法或者其他算法，将训练文档划分为多个段落，例如，采用正则匹配算法匹配训练文档中的段落标识，基于相邻两个段落标识确定一个段落；接着，采用字符串匹配算法，将标准题目信息与每个段落进行字符串匹配，将包含标准题目信息的段落确定为关键段落，以便将关键段落输出到Bert模型(BidirectionalEncoder Representation from Transformers，基于转换器的双向编码表征)进行模型训练。
可理解地，由于训练文档少则几千字，长则上万字，其字符串长度远超过Bert模型的最大输入长度512，无法将整个训练文档输入Bert模型进行模型训练；并且，即使将训练文档截断后分别输入Bert模型进行训练，与标准题目信息相关的重要文本信息也很可能会被截断，导致Bert模型无法学习到这些重要文本信息；因此，需预先采用标准题目信息对训练文档进行关键段落提取，获取与标准题目信息相对应的关键段落。
S203：获取FinBert-UniLM模型，配置FinBert-UniLM模型对应的模型参数。
其中，FinBert是采用目标应用领域相关的海量训练语料对Bert的模型参数(包括但不限于权重)进行预训练后的一种Bert类模型。例如，目标应用领域为银行培训这一应用场景时，则需预先采用银行培训对应的海量金融语料对Bert模型的模型参数进行预训练，获取相应的FinBert模型。可理解地，由于目标应用领域的训练语料与Bert预训练所采用的通用语料(如维基百科语料)之间的领域跨度较大，语料数据分布不统一，若直接采用通用语料训练目标应用领域对应的选择题生成模型，会导致模型效果不理想。本示例中，将目标应用领域对应的训练语料预训练出的FinBert模型作为预训练模型，使得该预训练模型对目标应用领域的文档具有更好的语义理解能力，可解决预训练模型的领域适用性问题。
作为进一步改进，FinBert是采用目标应用领域相关的海量训练语料对Bert的模型参数(包括但不限于权重)进行预训练，且采用LAMB优化器对Adam权重衰减优化器进行替代的Bert类模型。例如，目标应用领域为银行培训这一应用场景时，则需预先采用银行培训对应的海量金融语料对Bert模型的模型参数进行预训练，具体对Bert模型的权重进行微调，在微调阶段的优化器选取上，采用长文本效果更好的LAMB优化器替换Bert模型原有的Adam权重衰减优化器，既保障预训练模型FinBert的领域适应性问题，又可实现对目标应用领域的长文本有较好的输出效果。
其中，FinBert-UniLM是在FinBert的注意力(Attention)层采用UniLM(UnifiedLanguage Model Pre-training for Natural Language Understanding andGeneration，统一预训练语言模型)，将FinBert中的Encoder结构转换为Seq2seq结构的模型。由于FinBert是从Bert迁移而来的预训练模型，而Bert只拥有Encoder结构，无法完成文本生成任务，需将UniLM的Mask技巧使用到FinBert的Attention层中，使得FinBert的Encoder结构转换为Seq2seq结构，从而赋予FinBert文本生成的功能。本示例中，将UniLMMask使用到FinBert模型的Attention层，相当于对FinBert模型的Attention矩阵加入先验约束UniLM Mask，其输入部分的Attention是双向编码，其输出部分的Attention则为单向，满足Seq2Seq的要求，而且没有额外约束。可理解地，采用UniLM Mask技巧赋予FinBert模型文本生成时，不需要修改模型架构，还可以直接沿用Bert模型的预训练权重，显著提升模型的收敛速度。即FinBert-UniLM模型不仅包含编码器，可以进行编码处理，还包含解码器，可以进行解码处理，具有文本生成功能，因此，可以将FinBert-UniLM模型作为题目生成模型和干扰项生成模型的模型框架。
其中，模型参数是指模型训练过程中需要配置的参数，包括但不限于长度配置参数、损失权重、损失阈值、学习率参数等。
其中，长度配置参数是预先设置好的用于对生成的题干、正确选项和干扰选项的长度进行自主配置的参数。固定长度填充参数确定规则，设训练数据中关键段落p，题干q，正确选项a的长度分布直方图分别为F(p),F(q),F(a),则max_p_length，max_a_length，max_q_length参数的确定规则如下：
P(F(p)<＝max_p_length)＝0.85
P(F(q)<＝max_q_length)＝0.95
P(F(a)<＝max_a_length)＝1.00
其中，损失权重是预先配置的题干与选项之间的权重。损失阈值是指模型收敛时能够接受的损失值。学习率参数是用于限定模型训练学习过程的速度的参数。
S204：将关键段落和标准题目信息输入到FinBert-UniLM模型进行模型训练，获取目标应用领域对应的题目生成模型。
作为一示例，由于FinBert-UniLM模型不仅包含编码器，可以进行编码处理，还包含解码器，可以进行解码处理，具有文本生成功能；将关键段落和标准题目信息，输入配置好模型参数的FinBert-UniLM模型进行模型训练，具体包括：可先将关键段落输入FinBert-UniLM模型中的编码器进行编码形成段落语义表征，再采用解码器执行预先配置好的解码规则对段落语义表征进行解码，获取候选题目信息；再根据候选题目信息和标准题目信息计算题目信息损失值，在模型收敛至题目信息损失值达到第一损失阈值时，获取目标应用领域对应的题目生成模型。其中，段落语义表征是指采用FinBert-UniLM模型中的编码器对关键段落进行处理后形成的语义表征。题目信息损失值是模型训练过程中确定标准题目信息与候选题目信息之间的损失值。第一损失阈值是预先配置的用于评估题目信息损失值达到模型收敛标准的阈值。
S205：将关键段落、标准题目信息和标准干扰选项输入到FinBert-UniLM模型进行模型训练，获取与题目生成模型相对应的干扰项生成模型。
作为一示例，由于FinBert-UniLM模型不仅包含编码器，可以进行编码处理，还包含解码器，可以进行解码处理，具有文本生成功能；将关键段落、标准题目信息和标准干扰选项，输入配置好模型参数的FinBert-UniLM模型进行模型训练，具体包括：先将关键段落和标准题目信息输入FinBert-UniLM模型中的编码器进行编码形成综合语义表征；再采用解码器执行预先配置好的解码规则对综合语义表征进行解码，获取候选干扰选项；再根据候选干扰选项和标准干扰选项计算干扰选项损失值，在模型收敛至干扰选项损失值达到第二损失阈值时，获取与题目生成模型相对应的干扰项生成模型。其中，综合语义表征是指采用FinBert-UniLM模型中的编码器对关键段落、标准题目信息和标准干扰选项进行处理后形成的语义表征。干扰选项损失值是模型训练过程中确定候选干扰选项和标准干扰选项之间的损失值。第二损失阈值是预先配置的用于评估干扰选项损失值达到模型收敛标准的阈值。
本示例中，在获取题目生成模型和干扰项生成模型这两个选择题生成模型之后，需将题目生成模型和干扰项生成模型与目标应用领域关联存储到系统数据库中，以便后续调用加载到具体应用系统上，实现对目标应用领域的文档进行处理，生成对应的选择题，保障生成的选择题具有语言组织方式多样性、干扰选项与题干的顺畅性、选项长度满足业务需求以及知识点覆盖的全面性。
本实施例所提供的选择题生成模型训练方法中，将目标应用领域对应的训练文档、标准题目信息和标准干扰选项作为模型训练数据，有助于保障题目生成模型和干扰项生成模型对目标应用领域的文档处理的针对性。从训练文档中提取与标准题目信息相对应的关键段落，以适应Bert的输入文本长度，保障模型训练的可行性。采用FinBert-UniLM模型，自主配置FinBert-UniLM模型的模型参数，以保障FinBert-UniLM模型对目标应用领域的文档具有较好的语义理解能力，使得最终形成的选择题具有语言组织方式多样性；且FinBert-UniLM模型对长文本有较好的输出效果，以使其生成的选项(包括正确选项和干扰选项)的长度，满足业务需求。将关键段落和标准题目信息输入到FinBert-UniLM模型进行模型训练，有助于保障形成的题目生成模型最终生成的题目信息具有语言组织方式多样性和知识点覆盖的全面性。将关键段落、标准题目信息和标准干扰选项输入到FinBert-UniLM模型进行模型训练，有助于保障最终形成的干扰项生成模型所生成的干扰项与题干的顺畅性。
在一实施例中，如图3所示，步骤S202，即根据标准题目信息对训练文档进行关键段落提取，获取与标准题目信息相对应的关键段落，包括：
S301：采用预设分隔符对训练文档分句，获取训练文档对应的多个句子字符串。
S302：根据每一句子字符串和标准题目信息，获取每一句子字符串对应的句子评分值。
S303：依据至少一个句子字符串对应的句子评分值进行排序，获取句子排序结果。
S304：根据句子排序结果，对满足段落拼接条件的所有句子字符串拼接，获取与标准题目信息相对应的关键段落。
其中，预设分隔符是指预先设定的用于对训练文档进行分句处理的标点符号，例如，预设分隔符可以为“.”、“。”、“；”、“：”、“？”、“！”等，即Sign_set＝{.。；：？！}。
作为一示例，步骤S301中，基于预设分隔符Sign_set＝{.。；：？！}对训练文档进行分句，以将训练文档划分成至少一个句子字符串，具体可采用正则匹配算法或者其他算法，从训练文档中匹配出相应的预设分隔符，根据预设分隔符对训练文档进行分句，即将相邻两个预设分隔符之间的内容划分为一个句子字符串。
其中，句子评分值是用于反映句子字符串与标准题目信息之间的覆盖度的分值，用f1_score来表示。
作为一示例，步骤S302中，根据每一句子字符串和标准题目信息，获取每一句子字符串对应的句子评分值的计算过程如下：
Figure BDA0002870152490000101
Figure BDA0002870152490000102
Figure BDA0002870152490000103
其中，sentence为句子字符串，ground_truth为标准题目信息，len(sentence)为句子字符串的字符数量，len(ground_truth)为标准题目信息的字符数量，precision1是指句子字符串与标准题目信息之间的交集字符数量与句子字符串的字符数量的比值。recall1是指句子字符串与标准题目信息之间的交集字符数量与标准题目信息的字符数量的比值。
作为一示例，步骤S303中，依据至少一个句子字符串对应的句子评分值进行排序，具体是指依据所有句子字符串对应的句子评分值由大到小进行排序，获取句子排序结果。可理解地，由于句子评分值可反映句子字符串与标准题目信息之间的覆盖度，将所有句子评分值由大到小进行排序，有助于选取覆盖度较高的多个句子拼接形成关键段落，使得关键段落中覆盖包含标准题目信息的更多知识点，保障关键段落知识点覆盖的全面性。
其中，段落拼接条件是预先配置的用于将句子字符串拼接形成关键段落的条件。由于句子评分值可反映句子字符串与标准题目信息之间的覆盖度，因此，可将段落拼接条件设置为大于覆盖度阈值α，覆盖度阈值α是预先配置的用于评估确定关键段落所需的最低覆盖度。
作为一示例，步骤S304中，设定覆盖度阈值α，从句子排序结果对应的第1个句子字符串sentence开始，逐一拼接句子评分值f1_score在后的一个句子字符串sentence，直至拼接到第K个句子字符串sentence，形成拼接字符串
Figure BDA0002870152490000104
即句子排序结果对应的第1个至第K个句子字符串所拼接形成的并集；计算拼接字符串
Figure BDA0002870152490000111
与标准题目信息ground_truth之间的句子评分值f2_score；若该句子评分值f2_score达到覆盖度阈值α，则满足段落拼接条件，此时，将拼接字符串
Figure BDA0002870152490000112
确定为训练数据中的关键段落。本示例中，f2_score值为f1_score值为top1-topK的句子字符串sentence逐渐增加形成的并集，也就是在句子排序结果中f1_score值上排名前K个的句子字符串sentence的合集，且其合集的f2_score值达到覆盖度阈值α为止。α越大，所获取段落的冗余度越高，同时关键段落对标准题目信息的覆盖率也越高。
本示例中，计算拼接字符串
Figure BDA0002870152490000113
与标准题目信息ground_truth之间的句子评分值f2_score的具体公式如下：
Figure BDA0002870152490000114
Figure BDA0002870152490000115
Figure BDA0002870152490000116
本示例中，若该句子评分值f2_score达到覆盖度阈值α，则满足段落拼接条件，此时，将拼接字符串
Figure BDA0002870152490000117
确定为训练数据中的关键段落p的具体公式如下：
Figure BDA0002870152490000118
其中，
Figure BDA0002870152490000119
为拼接字符串，ground_truth为标准题目信息，len(拼接字符串)为拼接字符串的字符数量，len(ground_truth)为标准题目信息的字符数量，precision2是指拼接字符串与标准题目信息之间的交集字符数量与拼接字符串的字符数量的比值。recall2是指拼接字符串与标准题目信息之间的交集字符数量与标准题目信息的字符数量的比值，p为关键段落。
例如，采用预设分隔符对训练文档进行分词后形成的句子字符串依次包括A、B、C、D、E、F(依据文本分隔顺序，即从左到右)，分别计算中每一句子字符串对应的句子评分值f1_score，根据句子评分值对句子字符串进行排序，获取句子排序结果为C、D、F、B、E、A(即依据句子评分值降序排序，从大到小)时，可先将句子字符串C作为第1个
Figure BDA0002870152490000121
判断第1个
Figure BDA0002870152490000122
与标准题目信息ground_truth之间的句子评分值f2_score是否达到覆盖度阈值α；若未达到，则依据句子排序结果，将C和D拼接形成第2个
Figure BDA0002870152490000123
判断第2个
Figure BDA0002870152490000124
与标准题目信息ground_truth之间的句子评分值f2_score是否达到覆盖度阈值α选择题生成模型训练直到达到覆盖度阈值α。本示例中，覆盖度阈值α取0.9时，关键段落覆盖标准题目信息中90％的信息，且关键段落的长度不超过Bert模型的输入长度上限，保障Bert训练的可行性。
本实施例所提供的选择题生成模型训练方法中，采用预设分隔符对训练文档进行分句，获取多个句子字符串，先分别计算每个句子字符串的句子评分值并进行排序，获取句子排序结果，将满足段落拼接条件的所有句子字符串拼接形成关键段落，使得该关键段落包含较多标准题目信息的知识点，提高知识点覆盖率；且可避免关键段落的段落长度不超过Bert模型的输入长度上限，保障Bert训练的可行性。
作为一示例，标准题目信息包括标准题干和标准正确选项。标准题干是在模型训练之前已经生成的题干，是用于与模型训练获取的候选题干进行对比的标签。标准正确选项是在模型训练之前已经生成的正确选项，是用于与模型训练获取的候选正确选项进行对比的标签。如图4所示，步骤S204，即将关键段落和标准题目信息输入到FinBert-UniLM模型进行模型训练，获取目标应用领域对应的题目生成模型，包括：
S401：将关键段落输入到FinBert-UniLM模型的编码器进行编码，获取关键段落对应的段落语义表征。
S402：将段落语义表征输入到FinBert-UniLM模型的解码器进行解码，获取候选题目信息，候选题目信息包括候选题干和候选正确选项。
S403：根据标准题干和候选题干，确定题干损失值，并根据标准正确选项和候选正确选项，确定正确选项损失值。
S404：根据题干损失值和正确选项损失值，获取题目信息损失值。
S405：若题目信息损失值小于第一损失阈值，则获取目标应用领域对应的题目生成模型。
其中，段落语义表征是指采用FinBert-UniLM模型中的编码器对关键段落进行处理后形成的语义表征。候选题干是模型训练过程中生成的题干。候选正确选项是模型训练过程中生成的正确选项。题目信息损失值是模型训练过程中确定标准题目信息与候选题目信息之间的损失值。第一损失阈值是预先配置的用于评估题目信息损失值达到模型收敛标准的阈值。FinBert-UniLM模型不仅包含编码器，可以进行编码处理，还包含解码器，可以进行解码处理，具有文本生成功能。
作为一示例，步骤S401中，将关键段落输入到FinBert-UniLM模型进行模型训练过程中，需先采用FinBert-UniLM模型的编码器对关键段落进行编码，将编码器的输出内容确定为段落语义表征。
作为一示例，步骤S402中，需将段落语义表征输入到FinBert-UniLM模型的解码器中，在解码器中执行预先配置的解码规则，对段落语义表征进行解码，获取候选题目信息，候选题目信息包括候选题干和候选正确选项。例如，FinBert-UniLM模型是将UniLM的Mask技巧使用到FinBert的Attention层中，使得FinBert的Encoder结构转换为Seq2seq结构的模型，基于Seq2seq结构可配置其对应的解码规则为：配置FinBert-UniLM模型的解码器对段落语义表征进行解码，使其解码到第二个“SEP”标识再结束，以将第一个“SEP”标识对应的内容为候选正确选项；将第一个“SEP”标识和第二个“SEP”标识之间的内容为候选题干，以获取候选题目信息。
作为一示例中，步骤S403中，采用FinBert-UniLM模型预先配置的损失函数，对标准题干和候选题干进行计算，确定题干损失值；并采用Bert损失函数，对标准正确选项和候选正确选项进行计算，确定正确选项损失值。本示例中，FinBert-UniLM模型预先配置的损失函数可以采用Bert中常规的损失函数，如负对数似然函数。
作为一示例，步骤S404中，由于生成的候选正确选项可以是训练文档中的一个片段内容，而生成候选题干的语言组织形式需要多样化，以增加选择题的难度，因此，候选正确选项的生成任务比候选题干的生成任务轻松，会导致候选正确选项的生成任务的收敛速度快于候选题干的生成任务。为了使两个生成任务同时收敛，兼顾候选正确选项和候选题干的质量，需构造题目信息损失函数，以便利用正确选项损失值和题干损失值计算，获取题目信息损失值，在构造题目信息损失函数过程中，需给候选题干的生成任务配置更高的权重，以保障两个生成任务同时收敛且保障候选正确选项和候选题干的生成质量。本示例中，题目信息损失函数为：Ltotal＝La*Wa+Lb*Wb，Wa+Wb＝1且Wa<Wb，其中，Ltotal为题目信息损失值，La为正确选项损失值，Wa为正确选项损失值对应的权重，Lb为题干损失值，Wb为题干损失值对应的权重。例如，可设置题干损失值对应的权重Wb与正确选项损失值对应的权重Wa的比例为7：3，则Ltotal＝0.3*La+0.7*Lb。
作为一示例，步骤S405中，将题目信息损失值与第一损失阈值进行比较；若题目信息损失值小于第一损失阈值，则获取目标应用领域对应的题目生成模型；若题目信息损失值不小于第一损失阈值，则重新进行模型训练，直至题目信息损失值小于第一损失阈值，获取题目生成模型。
本实施例所提供的选择题生成模型训练方法中，采用FinBert-UniLM模型的编码器对关键段落进行编码，获取段落语义表征，为解码器进行解码提供基础；再采用FinBert-UniLM模型的解码器进行解码，获取候选题目信息，基于候选题目信息和标准题目信息确定题目信息损失值，通过给候选题干的生成任务配置比候选正确选项的生成任务更高的权重，以保障两个生成任务同时收敛且保障候选正确选项和候选题干的生成质量。
在一实施例中，如图5所示，步骤S402，即将段落语义表征输入到FinBert-UniLM模型的解码器进行解码，获取候选题目信息，候选题目信息包括候选题干和候选正确选项，包括：
S501：将段落语义表征输入到FinBert-UniLM模型的解码器，采用解码器执行Normalized Beam search目标函数，形成多个解码字符。
S502：将出现在FinBert-UniLM模型对应的词表但未出现在段落语义表征中的解码字符的概率置为0，从段落语义表征中抽取候选正确选项。
S503：基于段落语义表征和候选正确选项，获取候选题干。
作为一示例，步骤S501中，在将段落语义表征输入到FinBert-UniLM模型的编码器之后，FinBert-UniLM模型的编码器执行Normalized Beam search目标函数对段落语义表征进行处理，形成多个解码字符。其中，Normalized Beam search目标函数是对现有Bert中的Beam search目标函数进行优化改进，以改善长句子输出概率低这一问题所配置的函数。本示例中，Normalized Beam search目标函数是对原有Beam search目标函数进行归一化，使得改进后的Normalized Beam search能够显著减少长句子输出概率低的问题，更好的贴合特定应用场景中选项长度较长的选择题生成的需求。
本示例中，原有Beam search目标函数为：
Figure BDA0002870152490000151
改进后的Normalized Beam search目标函数为：
On_bs＝Obs/Tβ
其中，Obs表示原有Beam search目标函数；On_bs表示改进后Normalized Beamsearch目标函数；T为生成句子的长度；β为超参数，取值为[0,1]，若β＝1，则相当于对Obs进行完全归一化，若β＝0，则相当于没有对Obs进行归一化；经验表明，β＝0.7时，FinBert-UniLM模型达到最优。x段落语义表征；yt是指采用解码器解码后获取的第t个解码字符；P(yt|x,y1,…yt-1)是指给定的段落语义表征和已经生成的前t-1个解码字符的情况下，生成候选正确选项的第t个解码字符的概率分布信息。此处的解码字符可以理解为采用解码器对段落语义表征进行解码所获取到的字。
作为一示例，步骤S502中，由于候选正确选项需要在培训文档在找到对应的片段，即在关键段落中找到对应的片段，为了实现这一约束，在解码过程中，需将解码形成的多个解码字符中，出现在FinBert-UniLM模型对应的词表中，但未出现在关键段落对应的段落语义表征中的解码字符的概率置为0，以实现从段落语义表征中抽取候选正确选项，以实现候选正确选项的抽取式生成，以提高候选正确选项的获取效率且准确性。
作为一示例中，步骤S503中，解码器在从段落语义表征中抽取候选正确选项之后，需基于段落语义表征和候选正确选项，获取候选题干，具体可以采用FinBert-UniLM模型自带的random sample算法，对段落语义表征和候选正确选项进行处理，以生成候选题干，保障候选题干语言组织方式的多样性。
作为一示例，如图6所示，步骤S205，即将关键段落、标准题目信息和标准干扰选项输入到FinBert-UniLM模型进行模型训练，获取与题目生成模型相对应的干扰项生成模型，包括：
S601：将标准题目信息、标准干扰选项和关键段落输入到FinBert-UniLM模型的编码器进行编码，获取综合语义表征。
S602：将综合语义表征输入到FinBert-UniLM模型的解码器进行解码，获取候选干扰选项。
S603：根据候选干扰选项和标准干扰选项，计算干扰选项损失值。
S604：若干扰选项损失值小于第二损失阈值，则获取与题目生成模型相对应的干扰项生成模型。
其中，综合语义表征是指采用FinBert-UniLM模型中的编码器对标准题目信息、标准干扰选项和关键段落进行处理后形成的语义表征。候选干扰选项是模型训练过程中生成的干扰选项。干扰选项损失值是模型训练过程中确定候选干扰选项和标准干扰选项之间的损失值。第二损失阈值是预先配置的用于评估干扰选项损失值达到模型收敛标准的阈值。FinBert-UniLM模型不仅包含编码器，可以进行编码处理，还包含解码器，可以进行解码处理，具有文本生成功能。
作为一示例，步骤S601中，将标准题目信息、标准干扰选项和关键段落输入到FinBert-UniLM模型进行模型训练过程中，需先采用FinBert-UniLM模型的编码器，对标准题目信息、标准干扰选项和关键段落进行编码，将编码器的输出内容确定为综合语义表征。
作为一示例，步骤S602中，需将综合语义表征输入到FinBert-UniLM模型的解码器中，在解码器中执行预先配置的解码规则，对综合语义表征进行解码，具体为采用randomsample算法进行解码生成，获取候选干扰选项。
作为一示例中，步骤S603中，采用FinBert-UniLM模型预先配置的损失函数，对候选干扰选项和标准干扰选项进行计算，确定干扰选项损失值。本示例中，FinBert-UniLM模型预先配置的损失函数可以采用Bert中常规的损失函数，如负对数似然函数。
作为一示例，步骤S604中，将干扰选项损失值与第二损失阈值进行比较；若干扰选项损失值小于第二损失阈值，则获取与题目生成模型相对应的干扰项生成模型；若干扰选项损失值不小于第二损失阈值，则重新进行模型训练，直至干扰选项损失值小于第二损失阈值，获取干扰项生成模型。
本实施例所提供的选择题生成模型训练方法中，将标准题目信息、标准干扰选项和关键段落输入到FinBert-UniLM模型的编码器进行编码，获取综合语义表征，再基于综合语义表征形成与题目生成模型相对应的干扰项生成模型，从而保障干扰项生成模型所生成的干扰选项与题干之间的顺畅性。
本发明实施例提供的选择题生成方法，该选择题生成方法可应用如图1所示的应用环境中。具体地，该选择题生成方法应用在模型应用系统中，该模型应用系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于根据待处理文档生成目标选择题，保障生成的目标选择题具有语言组织方式多样性、干扰选项与题干的顺畅性、选项长度满足业务需求以及知识点覆盖的全面性等优点。其中，客户端又称为用户端，是指与服务器相对应，为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图7所示，提供一种选择题生成方法，以该选择题生成方法应用在图1所示的服务器为例进行说明，包括如下步骤：
S701：获取目标应用领域对应的待处理文档。
其中，目标应用领域是指训练选择题生成模型所对应的应用场景，包括但不限于本实施例中的银行、保险、证券或者其他特定领域的应用场景。待处理文档是指需要用来出选择题对应的文档。
作为一示例，服务器可以接收用户通过客户端触发的选择题生成请求，选择题生成请求中包含目标应用领域对应的待处理文档；服务器在接收到该选择题生成请求之后，需识别并获取目标应用领域对应的待处理文档。
S702：对待处理文档进行分段，获取至少一个待处理段落。
其中，待处理段落是指待处理文档中的段落。
作为一示例，服务器可采用正则匹配算法或者其他算法，对待处理文档进行处理，获取至少一个待处理段落，例如，采用正则匹配算法匹配待处理文档中的段落标识，基于相邻两个段落标识确定为一个待处理段落。
S703：获取目标应用领域对应的题目生成模型和干扰项生成模型。
作为一示例，服务器在执行步骤S201-S205获取到题目生成模型和干扰项生成模型之后，需将题目生成模型和干扰项生成模型与目标应用领域关联存储到系统数据库中。本示例中，服务器在获取到目标应用领域对应的待处理文档之后，可从系统数据库中，获取并加载题目生成模型和干扰项生成模型，以便基于题目生成模型和干扰项生成模型分别形成目标题目信息和目标干扰选项，从而获取目标选择题，保障生成的目标选择题具有语言组织方式多样性、干扰选项与题干的顺畅性、选项长度满足业务需求以及知识点覆盖的全面性。
S704：将待处理段落输入到题目生成模型，获取目标题目信息，目标题目信息包括目标题干和目标正确选项。
其中，目标题目信息是指采用题目生成模型对待处理段落进行处理生成的模型。目标题干是指采用题目生成模型对待处理段落进行处理生成的题干。目标正确选项是指采用题目生成模型对待处理段落进行处理生成的正确选项。
作为一示例，将待处理段落输入到题目生成模型，由于该题目生成模型是指预先基于FinBert-UniLM模型进行训练所形成的模型，可先采用题目生成模型中的编码器对待处理段落进行编码，获取待处理段落对应的第一语义表征，再将第一语义表征输入到FinBert-UniLM模型的解码器进行解码，获取目标题目信息，以实现目标题目信息的快速生成。可理解地，由于题目生成模型为基于FinBert-UniLM模型对目标应用领域对应的培训文档和标准题目信息进行训练所获取的模型，可保障FinBert-UniLM模型对目标应用领域的文档具有较好的语义理解能力，使得最终形成的目标题目信息具有语言组织方式多样性。且FinBert-UniLM模型对长文本有较好的输出效果，以使其生成的选项(包括正确选项和干扰选项)的长度，满足业务需求。此外，由于题目生成模型是直接对待处理段落进行处理，相比于对单一句子进行处理，有助于保障目标题目信息中知识点覆盖的全面性。
S705：将待处理段落和目标题目信息输入到干扰项生成模型，获取目标干扰选项。
其中，目标干扰选项是指采用干扰项生成模型对待处理段落和目标题目信息生成的干扰选项。
作为一示例，将待处理段落和目标题目信息输入到干扰项生成模型，由于干扰项生成模型是预先基于FinBert-UniLM模型进行训练所形成的模型，可先采用干扰项生成模型中的编码器对待处理段落和目标题目信息进行编码，获取第二语义表征；再将第二语义表征输入到干扰项生成模型中的解码器进行解码，获取目标干扰选项，以保障目标干扰选项的快速生成。可理解地，将待处理段落和目标题目信息一起输入到干扰项生成模型处理形成的目标干扰选项，相比于采用各类词典对正确选项进行处理所生成的干扰选项，目标干扰选项与目标题目信息中的目标题干之间衔接的顺畅性较好。
S706：采用选择题生成模板对目标题干、目标正确选项和目标干扰选项进行处理，获取目标选择题。
其中，选择题生成模板是预先配置的用于生成选择题的模板。作为一示例，服务器可调用选择题生成模板，将题目生成模型所获取的目标题干和目标正确选项，以及干扰项生成模型所获取的目标干扰选项填充在选择题生成模板中，形成目标选择题，以保障目标选择题的快速自动生成。
作为一示例，可以根据生成单项选择题、多项选择题和不定项选择题这几种类型的不同需求，配置题目生成模型的运行次数参数和干扰项生成模型的运行次数参数。例如，在需要选项的目标选项题中，其所需生成的总选项数量为S，正确选项数量为N，干扰选项数量为M，则S＝N+M，可配置题目生成模型的运行次数参数为N，使得题目生成模型跑N次，生成N个目标正确选项；相应地，干扰项生成模型的运行次数参数为M，使得干扰项生成模型跑M次，生成M个目标干扰选项。
本实施例所提供的选择题生成方法中，先对待处理文档进行分段，获取至少一个待处理段落，以使目标选择题的出题范围是基于一个待处理段落而非句子，有助于保障目标选择题中知识点覆盖的全面性。再将待处理段落输出到题目生成模型，获取目标题目信息，由于基于FinBert-UniLM模型形成的题目生成模型，对目标应用领域的文档具有较好的语义理解能力且对长文本具有较好的输出效果，可保障目标题目信息具有语言组织方式多样性且具有可满足业务需求；而且，采用题目生成模型对待处理段落进行处理，相比于对单一句子进行处理，有助于保障目标题目信息中知识点覆盖的全面性。接着，将待处理段落和目标题目信息输入到干扰项生成模型，获取目标干扰选项，相比于采用各类词典对正确选项进行处理所生成的干扰选项，目标干扰选项与目标题目信息中的目标题干之间衔接的顺畅性较好。最后，采用选择题生成模板对目标题干、目标正确选项和目标干扰选项进行处理，获取目标选择题，保障目标选择题的快速生成，提高其生成效率。
在一实施例中，如图8所示，步骤S705中，将待处理段落和目标题目信息输入到干扰项生成模型，获取目标干扰选项，包括：
S801：将待处理段落和目标题目信息输入到干扰项生成模型，获取原始干扰选项。
S802：将原始干扰选项与目标正确选项进行匹配处理，判断原始干扰选项与目标正确选项语义是否相同。
S803：若原始干扰选项与目标正确选项语义相同，则舍弃原始干扰选项。
S804：若原始干扰选项与目标正确选项语义不相同，则基于原始干扰选项的语义，划分同义干扰选项组，同义干扰选项组包括至少一个语义相同的原始干扰选项。
S805：将同义干扰选项组中的任一原始干扰选项确定为目标干扰选项，舍弃同义干扰选项组中除目标干扰选项以外的原始干扰选项。
其中，原始干扰选项是指将待处理段落和目标题目信息输入到干扰项生成模型进行处理直接输出的未经处理的干扰选项。
作为一示例，服务器在将待处理段落和目标题目信息输入到干扰项生成模型，可获取干扰项生成模型输出的多个原始干扰选项。接着，需判断每一原始干扰选项与目标题目信息的目标正确选项的语义是否相同。若原始干扰选项与目标题目信息的目标正确选项的语义相同，则直接舍弃该原始干扰选项，不将其作为目标干扰选项，以保障所形成的目标干扰选项的干扰性。若原始干扰选项与目标题目信息的目标正确选项的语义不相同，则说明所形成的原始干扰选项对目标正确选项具有干扰性，其可以作为目标干扰选项。
其中，同义干扰选项组是由基于同一语义的至少一个原始干扰选项所形成的组合。
作为一示例，步骤S804中，服务器可将获取到的与目标正确选项语义不相同的原始干扰选项，依据其语义是否相同，划分为多个同义干扰选项组。例如，基于A语义形成的同义干扰选项组为{A1、A2、A3}，基于B语义形成的同义干扰选项组为{B1}、基于C语义形成的同义干扰选项组为{C1、C2、C3、C4}。
作为一示例，步骤S805中，服务器在获取到多个同义干扰选项组之后，可从每一同义干扰选项组中随机确定一个原始干扰选项为目标干扰选项，并舍弃该同义干扰选项组中除目标干扰选项以外的其他原始干扰选项。例如，基于A语义形成的同义干扰选项组为{A1、A2、A3}中，将A1确定为目标干扰选项，则舍弃原始干扰选项A2和A3；基于B语义形成的同义干扰选项组为{B1}中，将B1确定为目标干扰选项，由于不存在B1以外的原始干扰选项，无需进行舍弃；基于C语义形成的同义干扰选项组为{C1、C2、C3、C4}中，将C3确定为目标干扰选项，则舍弃原始干扰选项C1、C2和C4，最终形成三个语义完全不同的目标干扰选项，有助于保障目标干扰选项的多义性，避免考生基于同义的目标干扰选项进行排除。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种选择题生成模型训练装置，该选择题生成模型训练装置与上述实施例中选择题生成模型训练方法一一对应。如图9所示，该选择题生成模型训练装置如下功能模块，各功能模块详细说明如下：
训练数据获取模块901，用于获取目标应用领域对应的训练文档、标准题目信息和标准干扰选项。
关键段落获取模块902，用于根据标准题目信息对训练文档进行关键段落提取，获取与标准题目信息相对应的关键段落。
训练模型获取模块903，用于获取FinBert-UniLM模型，配置FinBert-UniLM模型对应的模型参数。
题目生成模型获取模块904，用于将关键段落和标准题目信息输入到FinBert-UniLM模型进行模型训练，获取目标应用领域对应的题目生成模型。
干扰项生成模型获取模块905，用于将关键段落、标准题目信息和标准干扰选项输入到FinBert-UniLM模型进行模型训练，获取与题目生成模型相对应的干扰项生成模型。
优选地，关键段落获取模块902，包括：
句子字符串获取单元，用于采用预设分隔符对训练文档分句，获取训练文档对应的多个句子字符串。
句子评分值获取单元，用于根据每一句子字符串和标准题目信息，获取每一句子字符串对应的句子评分值。
句子排序结果获取单元，用于依据至少一个句子字符串对应的句子评分值进行排序，获取句子排序结果。
关键段落获取单元，用于根据句子排序结果，对满足段落拼接条件的所有句子字符串拼接，获取与标准题目信息相对应的关键段落。
优选地，标准题目信息包括标准题干和标准正确选项。
题目生成模型获取模块904，包括：
段落语义表征获取单元，用于将关键段落输入到FinBert-UniLM模型的编码器进行编码，获取关键段落对应的段落语义表征。
候选题目信息获取单元，用于将段落语义表征输入到FinBert-UniLM模型的解码器进行解码，获取候选题目信息，候选题目信息包括候选题干和候选正确选项。
候选题目信息获取单元，用于根据标准题干和候选题干，确定题干损失值，并根据标准正确选项和候选正确选项，确定正确选项损失值。
题目信息损失值获取单元，用于根据题干损失值和正确选项损失值，获取题目信息损失值。
题目生成模型获取单元，用于若题目信息损失值小于第一损失阈值，则获取目标应用领域对应的题目生成模型。
优选地，干扰项生成模型获取模块905，包括：
综合语义表征获取单元，用于将标准题目信息、标准干扰选项和关键段落输入到FinBert-UniLM模型的编码器进行编码，获取综合语义表征。
候选干扰选项获取单元，用于将综合语义表征输入到FinBert-UniLM模型的解码器进行解码，获取候选干扰选项。
干扰选项损失值获取单元，用于根据候选干扰选项和标准干扰选项，计算干扰选项损失值。
干扰项生成模型获取单元，用于若干扰选项损失值小于第二损失阈值，则获取与题目生成模型相对应的干扰项生成模型。
关于选择题生成模型训练装置的具体限定可以参见上文中对于选择题生成模型训练方法的限定，在此不再赘述。上述选择题生成模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一实施例中，提供一种选择题生成装置，该选择题生成装置与上述实施例中选择题生成方法一一对应。如图10所示，该选择题生成装置如下功能模块，各功能模块详细说明如下：
待处理文档获取模块1001，用于获取目标应用领域对应的待处理文档。
待处理段落获取模块1002，用于对待处理文档进行分段，获取至少一个待处理段落。
生成模型获取模块1003，用于获取目标应用领域对应的题目生成模型和干扰项生成模型。
目标题目信息获取模块1004，用于将待处理段落输入到题目生成模型，获取目标题目信息，目标题目信息包括目标题干和目标正确选项。
目标干扰选项获取模块1005，用于将待处理段落和目标题目信息输入到干扰项生成模型，获取目标干扰选项。
目标选择题获取模块1006，用于采用选择题生成模板对目标题干、目标正确选项和目标干扰选项进行处理，获取目标选择题。
优选地，目标干扰选项获取模块1005，包括：
原始干扰选项获取单元，用于将待处理段落和目标题目信息输入到干扰项生成模型，获取原始干扰选项。
语义判断单元，用于将原始干扰选项与目标正确选项进行匹配处理，判断原始干扰选项与目标正确选项语义是否相同。
干扰选项舍弃单元，用于若原始干扰选项与目标正确选项语义相同，则舍弃原始干扰选项。
同义干扰选项组划分单元，用于若原始干扰选项与目标正确选项语义不相同，则基于原始干扰选项的语义，划分同义干扰选项组，同义干扰选项组包括至少一个语义相同的原始干扰选项。
目标干扰选项确定单元，用于将同义干扰选项组中的任一原始干扰选项确定为目标干扰选项，舍弃同义干扰选项组中除目标干扰选项以外的原始干扰选项。
关于选择题生成装置的具体限定可以参见上文中对于选择题生成的限定，在此不再赘述。上述选择题生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于执行选择题生成模型训练方法过程中采用或生成的数据，或者执行选择题生成方法过程中采用或者生成的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种选择题生成模型训练方法和选择题生成方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中选择题生成模型训练方法，例如图2所示S201-S205，或者图3至图6中所示，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现选择题生成模型训练装置这一实施例中的各模块/单元的功能，例如图9所示的各功能模块的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中选择题生成模型训练方法，例如图2所示S201-S205，或者图3至图6中所示，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述选择题生成模型训练装置这一实施例中的各模块/单元的功能，例如图9所示的各功能模块的功能，为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中选择题生成方法，例如图7所示S701-S706，或者图8中所示，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现选择题生成装置这一实施例中的各模块/单元的功能，例如图10所示的各功能模块的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中选择题生成方法，例如图7所示S701-S706，或者图8中所示，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述选择题生成装置这一实施例中的各模块/单元的功能，例如图10所示的各功能模块的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种选择题生成模型训练方法，其特征在于，包括：
获取目标应用领域对应的训练文档、标准题目信息和标准干扰选项；
根据所述标准题目信息对所述训练文档进行关键段落提取，获取与所述标准题目信息相对应的关键段落；
获取FinBert-UniLM模型，配置所述FinBert-UniLM模型对应的模型参数；
将所述关键段落和所述标准题目信息输入到所述FinBert-UniLM模型进行模型训练，获取所述目标应用领域对应的题目生成模型；
将所述关键段落、所述标准题目信息和所述标准干扰选项输入到所述FinBert-UniLM模型进行模型训练，获取与所述题目生成模型相对应的干扰项生成模型。
2.如权利要求1所述的选择题生成模型训练方法，其特征在于，所述根据所述标准题目信息对所述训练文档进行关键段落提取，获取与所述标准题目信息相对应的关键段落，包括：
采用预设分隔符对所述训练文档分句，获取所述训练文档对应的多个句子字符串；
根据每一所述句子字符串和所述标准题目信息，获取每一所述句子字符串对应的句子评分值；
依据至少一个所述句子字符串对应的句子评分值进行排序，获取句子排序结果；
根据所述句子排序结果，对满足段落拼接条件的所有句子字符串拼接，获取与所述标准题目信息相对应的关键段落。
3.如权利要求1所述的选择题生成模型训练方法，其特征在于，所述标准题目信息包括标准题干和标准正确选项；
所述将所述关键段落和所述标准题目信息输入到所述FinBert-UniLM模型进行模型训练，获取所述目标应用领域对应的题目生成模型，包括：
将所述关键段落输入到所述FinBert-UniLM模型的编码器进行编码，获取所述关键段落对应的段落语义表征；
将所述段落语义表征输入到所述FinBert-UniLM模型的解码器进行解码，获取候选题目信息，所述候选题目信息包括候选题干和候选正确选项；
根据所述标准题干和所述候选题干，确定题干损失值，并根据所述标准正确选项和所述候选正确选项，确定正确选项损失值；
根据所述题干损失值和所述正确选项损失值，获取题目信息损失值；
若所述题目信息损失值小于第一损失阈值，则获取所述目标应用领域对应的题目生成模型。
4.如权利要求1所述的选择题生成模型训练方法，其特征在于，所述将所述关键段落、所述标准题目信息和所述标准干扰选项输入到所述FinBert-UniLM模型进行模型训练，获取与所述题目生成模型相对应的干扰项生成模型，包括：
将所述标准题目信息、所述标准干扰选项和所述关键段落输入到所述FinBert-UniLM模型的编码器进行编码，获取综合语义表征；
将所述综合语义表征输入到所述FinBert-UniLM模型的解码器进行解码，获取候选干扰选项；
根据所述候选干扰选项和所述标准干扰选项，计算干扰选项损失值；
若所述干扰选项损失值小于第二损失阈值，则获取与所述题目生成模型相对应的干扰项生成模型。
5.一种选择题生成方法，其特征在于，包括：
获取目标应用领域对应的待处理文档；
对所述待处理文档进行分段，获取至少一个待处理段落；
获取所述目标应用领域对应的题目生成模型和干扰项生成模型；
将所述待处理段落输入到所述题目生成模型，获取所述目标题目信息，所述目标题目信息包括目标题干和目标正确选项；
将所述待处理段落和所述目标题目信息输入到所述干扰项生成模型，获取目标干扰选项；
采用选择题生成模板对所述目标题干、所述目标正确选项和所述目标干扰选项进行处理，获取目标选择题。
6.如权利要求5所述的选择题生成方法，其特征在于，所述将所述待处理段落和所述目标题目信息输入到所述干扰项生成模型，获取目标干扰选项，包括：
将所述待处理段落和所述目标题目信息输入到所述干扰项生成模型，获取原始干扰选项；
将所述原始干扰选项与所述目标正确选项进行匹配处理，判断所述原始干扰选项与所述目标正确选项语义是否相同；
若所述原始干扰选项与所述目标正确选项语义相同，则舍弃所述原始干扰选项；
若所述原始干扰选项与所述目标正确选项语义不相同，则基于所述原始干扰选项的语义，划分同义干扰选项组，所述同义干扰选项组包括至少一个语义相同的原始干扰选项；
若存在所述干扰选项组，则将所述同义干扰选项组中的任一所述原始干扰选项确定为目标干扰选项，舍弃所述同义干扰选项组中除所述目标干扰选项以外的原始干扰选项。
7.一种选择题生成模型训练装置，其特征在于，包括：
训练数据获取模块，用于获取目标应用领域对应的训练文档、标准题目信息和标准干扰选项；
关键段落获取模块，用于根据所述标准题目信息对所述训练文档进行关键段落提取，获取与所述标准题目信息相对应的关键段落；
训练模型获取模块，用于获取FinBert-UniLM模型，配置所述FinBert-UniLM模型对应的模型参数；
题目生成模型获取模块，用于将所述关键段落和所述标准题目信息输入到所述FinBert-UniLM模型进行模型训练，获取所述目标应用领域对应的题目生成模型；
干扰项生成模型获取模块，用于将所述关键段落、所述标准题目信息和所述标准干扰选项输入到所述FinBert-UniLM模型进行模型训练，获取与所述题目生成模型相对应的干扰项生成模型。
8.一种选择题生成装置，其特征在于，包括：
待处理文档获取模块，用于获取目标应用领域对应的待处理文档；
待处理段落获取模块，用于对所述待处理文档进行分段，获取至少一个待处理段落；
生成模型获取模块，用于获取所述目标应用领域对应的题目生成模型和干扰项生成模型；
目标题目信息获取模块，用于将所述待处理段落输入到所述题目生成模型，获取所述目标题目信息，所述目标题目信息包括目标题干和目标正确选项；
目标干扰选项获取模块，用于将所述待处理段落和所述目标题目信息输入到所述干扰项生成模型，获取目标干扰选项；
目标选择题获取模块，用于采用选择题生成模板对所述目标题干、所述目标正确选项和所述目标干扰选项进行处理，获取目标选择题。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述选择题生成模型训练方法，或者所述处理器执行所述计算机程序时实现如权利要求5至6任一项所述选择题生成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述选择题生成模型训练方法，或者所述计算机程序被处理器执行时实现如权利要求5至6任一项所述选择题生成方法。
CN202011604701.8A 2020-12-29 2020-12-29 选择题生成模型训练方法、选择题生成方法、设备及介质 Active CN112560443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011604701.8A CN112560443B (zh) 2020-12-29 2020-12-29 选择题生成模型训练方法、选择题生成方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011604701.8A CN112560443B (zh) 2020-12-29 2020-12-29 选择题生成模型训练方法、选择题生成方法、设备及介质

Publications (2)

Publication Number Publication Date
CN112560443A true CN112560443A (zh) 2021-03-26
CN112560443B CN112560443B (zh) 2022-11-29

Family

ID=75034387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011604701.8A Active CN112560443B (zh) 2020-12-29 2020-12-29 选择题生成模型训练方法、选择题生成方法、设备及介质

Country Status (1)

Country Link
CN (1) CN112560443B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065331A (zh) * 2021-04-15 2021-07-02 上海金融期货信息技术有限公司 基于实体上下文判别的实体情感识别方法和系统
CN113268581B (zh) * 2021-07-20 2021-10-08 北京世纪好未来教育科技有限公司 题目生成方法和装置
CN113722425A (zh) * 2021-07-23 2021-11-30 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、计算机设备及计算机可读存储介质
CN114297693A (zh) * 2021-12-30 2022-04-08 北京海泰方圆科技股份有限公司 一种模型预训练方法、装置、电子设备及存储介质
CN114757154A (zh) * 2022-06-13 2022-07-15 深圳市承儒科技有限公司 基于深度学习的作业生成方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111221945A (zh) * 2020-04-24 2020-06-02 支付宝(杭州)信息技术有限公司 基于用户问句生成标准问题的方法和装置
CN111274764A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 语言生成方法、装置、计算机设备及存储介质
CN111339281A (zh) * 2020-03-24 2020-06-26 苏州大学 一种多视角融合的阅读理解选择题的答案选择方法
CN111353037A (zh) * 2020-02-27 2020-06-30 北京字节跳动网络技术有限公司 一种题目生成方法、装置以及计算机可读存储介质
CN111783428A (zh) * 2020-07-07 2020-10-16 杭州叙简科技股份有限公司 基于深度学习的应急管理类客观题自动生成系统
CN112036146A (zh) * 2020-08-25 2020-12-04 广州视源电子科技股份有限公司 一种评语生成方法、装置、终端设备及存储介质
KR102189894B1 (ko) * 2019-10-10 2020-12-11 주식회사 렉스퍼 외국어 문장 빈칸 추론 문제 자동 생성 방법 및 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102189894B1 (ko) * 2019-10-10 2020-12-11 주식회사 렉스퍼 외국어 문장 빈칸 추론 문제 자동 생성 방법 및 시스템
CN111274764A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 语言生成方法、装置、计算机设备及存储介质
CN111353037A (zh) * 2020-02-27 2020-06-30 北京字节跳动网络技术有限公司 一种题目生成方法、装置以及计算机可读存储介质
CN111339281A (zh) * 2020-03-24 2020-06-26 苏州大学 一种多视角融合的阅读理解选择题的答案选择方法
CN111221945A (zh) * 2020-04-24 2020-06-02 支付宝(杭州)信息技术有限公司 基于用户问句生成标准问题的方法和装置
CN111783428A (zh) * 2020-07-07 2020-10-16 杭州叙简科技股份有限公司 基于深度学习的应急管理类客观题自动生成系统
CN112036146A (zh) * 2020-08-25 2020-12-04 广州视源电子科技股份有限公司 一种评语生成方法、装置、终端设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI DONG ET AL: "Unified Language Model Pre-training for Natural Language Understanding and Generation", 《ARXIV》 *
YI YANG ET AL: "FinBERT: A Pretrained Language Model for Financial Communications", 《ARXIV》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065331A (zh) * 2021-04-15 2021-07-02 上海金融期货信息技术有限公司 基于实体上下文判别的实体情感识别方法和系统
CN113268581B (zh) * 2021-07-20 2021-10-08 北京世纪好未来教育科技有限公司 题目生成方法和装置
CN113722425A (zh) * 2021-07-23 2021-11-30 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、计算机设备及计算机可读存储介质
CN114297693A (zh) * 2021-12-30 2022-04-08 北京海泰方圆科技股份有限公司 一种模型预训练方法、装置、电子设备及存储介质
CN114757154A (zh) * 2022-06-13 2022-07-15 深圳市承儒科技有限公司 基于深度学习的作业生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112560443B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN112560443B (zh) 选择题生成模型训练方法、选择题生成方法、设备及介质
US20230100376A1 (en) Text sentence processing method and apparatus, computer device, and storage medium
US10394956B2 (en) Methods, devices, and systems for constructing intelligent knowledge base
CN108416058B (zh) 一种基于Bi-LSTM输入信息增强的关系抽取方法
US20230244704A1 (en) Sequenced data processing method and device, and text processing method and device
US9189708B2 (en) Pruning and label selection in hidden markov model-based OCR
CN110472043B (zh) 一种针对评论文本的聚类方法及装置
CN112380837B (zh) 基于翻译模型的相似句子匹配方法、装置、设备及介质
CN111985228A (zh) 文本关键词提取方法、装置、计算机设备和存储介质
CN111858878B (zh) 从自然语言文本中自动提取答案的方法、系统及存储介质
CN112052331A (zh) 一种处理文本信息的方法及终端
CN112818110B (zh) 文本过滤方法、设备及计算机存储介质
CN112861524A (zh) 一种基于深度学习的多层次中文细粒度情感分析方法
CN112149410A (zh) 语义识别方法、装置、计算机设备和存储介质
CN116628186B (zh) 文本摘要生成方法及系统
CN113435208A (zh) 学生模型的训练方法、装置及电子设备
CN112084769A (zh) 依存句法模型优化方法、装置、设备及可读存储介质
CN113239697B (zh) 实体识别模型训练方法、装置、计算机设备及存储介质
CN111898339B (zh) 基于约束解码的古诗生成方法、装置、设备及介质
CN111241843A (zh) 基于复合神经网络的语义关系推断系统和方法
CN113535960A (zh) 一种文本分类方法、装置和设备
CN113449081A (zh) 文本特征的提取方法、装置、计算机设备及存储介质
CN113836892B (zh) 样本量数据提取方法、装置、电子设备及存储介质
JP5184195B2 (ja) 言語処理装置およびプログラム
CN114201953A (zh) 一种关键词提取、模型训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant