CN114556327A - 外语句子空白推理问题的自动生成方法及系统 - Google Patents

Abstract

根据本发明的外语句子空白推理问题的自动生成方法，包括：接收一个以上的外语句子的步骤；指定所述输入的外语句子中要设置为空白的范围的步骤；接收设置信息生成错误答案行的步骤；以及使用预设的基于人工智能的句子生成算法，根据所述空白范围及设置信息生成空白推理问题的步骤。

Description

外语句子空白推理问题的自动生成方法及系统

技术领域

本发明涉及一种外语句子空白推理问题的自动生成方法及系统。

背景技术

图1是用于说明空白推理问题的图。

空白推理题是一种在各种测试中用来评估外语能力的问题，阅读空白前后的句子并选择最适合上下文的行(阅读或选择)。

空白推理题为，例如在SAT外语领域，相对于其他题型如找句、长句题、总结、句子排列是一个非常难的题，而且需要考生大量练习。

为了解决这样的空白推理问题，出题者选择一个或多个外语文本，然后在文本中指定一个特定的短语或句子作为空白区域。

并将原来写在指定空白区域的原文设置为正确答案行，生成语法正确但与上下文不匹配的错误答案。

现有，出题者必须自己制作错误的答题卡，因此，回答一个空白推理问题需要花费大量时间，并且由于人为生成错误答案而导致语法错误的情况屡见。

发明内容

要解决的技术问题

本发明是鉴于所述诸多问题而提出的，其目的在于，提供一种通过使用基于人工智能的句子生成算法生成错误答案行来自动生成外语句子空白推理问题的方法及系统。

然而，本实施例要实现的技术任务不限于上述技术任务，还可以存在其他技术任务。

技术方案

为了实现所述目的，根据本发明的外语句子空白推理问题的自动生成方法，包括：接收一个以上的外语句子的步骤；指定所述输入的外语句子中要设置为空白的范围的步骤；接收设置信息生成错误答案行的步骤；以及使用预设的基于人工智能的句子生成算法，根据所述空白范围及设置信息生成空白推理问题的步骤。

为了实现所述目的，根据本发明的外语句子空白推理问题的自动生成系统，包括：通信模块，用于接收用户输入的一个以上的外语句子，并接收用于在所述输入的外语句子中用于生成要设置的范围及错误答案行来接收设置信息；存储器，存储用于从所述通信模块接收的外语句子生成空白推理问题的计算机程序；以及处理器，随着存储在所述存储器中的计算机程序被执行，使用预设的基于人工智能的句子生成算法根据所述空白范围及设置信息生成空白推理问题。

本发明的其他具体细节包括在详细描述及附图中。

有益效果

根据本发明的上述任一问题解决手段，即使输入的外语指纹的任意部分被指定为空白，也能够根据前后的上下文自动生成多个错误答案行。

此外，通过计算与正确答案的上下文相似度，可以自动生成语法正确但上下文不正确的错误答案行。

另外，可以允许用户设置词汇难度，并根据设置的难度等级通过各种方法控制超过难度等级的单词的出现频率。

本发明的效果不限于上述效果，本领域技术人员将从以下描述清楚地理解未提及的其他效果。

附图说明

图1是用于说明空白推理问题的图。

图2是根据本发明实施例的外语句子空白推理问题的自动生成方法的流程图。

图3a至图3c是用于说明本发明的使用示例的图。

图4a至图4e是用于说明本发明的第一实施例中的多个错误答案候选行的生成处理的图。

图5a至图5g是用于说明本发明的第二实施例中的多个错误答案候选行的生成处理的图。

图6a及6b是用于说明在本发明的第一及第二实施例中生成多个最终错误答案候选行的处理的图。

图7a及7b是用于说明根据本发明实施例的生成多个错误答案行的过程的图。

图8a及8b是用于说明本发明实施例中设置难度的方法的图。

图9是用于说明根据本发明实施例的外语句子空白推理问题的自动生成系统的图。

具体实施方式

本发明的优点及特征以及实现的方法将通过以下结合附图详细描述的实施例变得显而易见。然而，本发明不限于以下公开的实施例，而是可以以各种不同的形式实施，并且只有这些实施例才能使本发明的公开完整，提供以充分告知本发明所属领域的普通技术人员属于本发明的范围，并且本发明仅由权利要求的范围限定。

在说明书中使用的术语是为了描述实施例的目的，并不旨在限制本发明。在本说明书中，单数也包括复数，除非在短语中另有说明。在说明书中说明的“包括”及/或“包含”不排除除了所述组分之外的一种或多种其他组分的存在或添加。在整个说明书中，相同的附图令牌指代相同的组件，“及/或”包括所列举的一个或多个要素的每一种组合。虽然用“第一”、“第二”等来描述各种元素，这些组件不受这些术语的限制。这些术语仅用于区分一个组件与另一个组件。因此，下面提到的第一组分可以是本发明精神内的第二组分。

在没有其他定义的情况下，包括技术科学术语的所有术语在本发明的所属技术范围内根据技术人员可理解为同样的意义。通常使用的提前定义的术语被解释为文章上具有相同的意思，不会解释为超过本申请中的意思。

在下文中，将参照附图详细描述本发明的实施例。

图2是根据本发明实施例的外语句子空白推理问题的自动生成方法的流程图。图3a至图3c是用于说明本发明的使用示例的图。

另一方面，图2所示的步骤可以理解为由提供外语句子空白推理题生成服务的公司或平台的服务器(以下简称服务器)执行，但不限于此。

在本发明的实施例中，外语不限于图中所示的英语，也可以是母语以外的例如日语或汉语等的任何外语。此外，由于本发明的实施例不排除韩语，当针对外国人时，韩语可以用作外语。

在本发明的一个实施例中，首先，服务器从用户接收由一个或多个外语句子组成的指纹S110。

参考图3a作为实施例，用户访问提供服务的网页并首先输入一个或多个外语句子以产生空白推理问题。

并且当用户点击输入按钮时，将相应的内容传送到服务器。

接下来，服务器被分配在输入的外语句子中被设置为空白的范围S120，并且被分配用于生成错误答案行的设置信息S130。

参考图3b作为实施例，用户在输入的外语句子中指定要设置为空白的范围，并指定关于生成错误答案行的方法及方式的设置信息。

例如，用户可以指定的设置信息包括与将在后面描述的句子生成处理重复多少次、将创建多少错误答案候选以及是否包括由于语法错误而导致错误答案候选的不自然句子等有关的参数，但不限于此。

本发明的实施例可以通过分别结合一些设置信息来生成具有各种结果的错误答案行。

同时，用户可以通过用户终端输入外语句子或指定范围及设置信息。此时，用户终端是指例如智能手机、平板电脑、PDA、膝上型电脑、台式机、服务器等的计算机设备或电信设备。

接下来，服务器使用预设的基于人工智能的句子生成算法根据空白范围及设置信息生成空白推理问题S140。

服务器将输入的外语句子中的指定范围设置为空白，生成指定范围内的原文作为正确答案行，然后可以基于正确答案行使用预设的基于人工智能的句子生成算法来生成多个错误答案行。

以这种方式生成的空白推理问题的示例如图3c所示。

服务器针对用户输入的外语语句，显示并输出用户指定的范围。

根据指定范围及设置信息生成的错误答案行与正确答案行一起输出。

在这种情况下，用户可以通过指定一些参数来设置服务器的输出方式。例如，用户可以指定是否显示生成的句子的度量，但不限于此。

同时，根据本发明的实施例，可以将输入的外语句子划分为基于单词的令牌，以应用预设的基于AI的句子生成算法。

此外，可以选择如何使用划分的令牌在空白推理问题中生成错误答案行。

在这种情况下，在生成多个错误答案行时，服务器可以从用户指定的范围内生成由具有相同或不同长度的令牌的数量组成的答错答案行。

可以被生成为包括在与正确答案的相似度范围内的错误答案行及在与正确答案的预设相似度范围之外的错误答案行中的一个或多个错误答案行。

当然，这些方法可以分别相互组合应用。

例如，服务器具有与用户指定的范围相同的令牌长度，并且在与正确答案相似度最高的上下文结构中生成错误答案行。在该第一实施例的情况下，生成的令牌的长度与正确答案相同，上下文结构也可能与正确答案相似，语法错误的可能性可能较低，但词汇的多样性可能有点低。

相反，服务器可能具有与用户指定的范围不同的令牌长度，并且可能生成上下文结构超出与正确答案的预设相似度范围的错误答案行。在该第二实施例的情况下，生成的令牌的长度可能与正确答案相同或不同，上下文结构与正确答案的相似度可能较低，语法错误的可能性可能较高，但词汇的多样性可能很高。

在本发明的一个实施例中，当学生的水平高时，给出与正确答案非常相似的错误答案行，而当水平较低时，结合各种方法来生成与正确答案非相似的错误答案行。

同时，在本发明的实施例中，可以使用基于掩蔽语言模型(MLM)的来自变换器的双向编码器表示(BERT)算法来生成错误答案行，但不限于此。BERT算法是一种双向深度学习模型，掩盖给定句子中的特定语句(单词)，这意味着经过预训练以适应的深度学习模型(Jacob Devlin、Ming-Wei Chang、Kenton Lee、Kristina Toutanova，“BERT：Bidirectional Encoder Representations from Transformers”，2019)。

例如，BERT算法掩盖了句子“the man went to the【MASK】(store)to buy a【MASK】(gallon)of milk”中的“store”及“gallon”这两个词，然后学习匹配。

然而，在本发明的目的的外语句子空白推理问题中的多项选择的情况下，不应该只做出一个最佳选择，而是做出多个(通常情况下，在5选择题类型的情况下，排除正确答案的4个答案)选择，生成的选择之间的相似度要低。

为此，本发明的实施例没有照原样利用现有的BERT算法，而是应用改进的方法，下面将参照图4a至图7b描述生成多个错误答案行的过程。

图4a至图4e是用于说明本发明的第一实施例中的多个错误答案候选行的生成处理的图。图5a至图5g是用于说明本发明的第二实施例中的多个错误答案候选行的生成处理的图。图6a及6b是用于说明在本发明的第一及第二实施例中生成多个最终错误答案候选行的处理的图。图7a及7b是用于说明根据本发明实施例的生成多个错误答案行的过程的图。

在本发明的第一实施例中，为了生成多个错误答案候选行，首先将输入的外语句子划分为如图4a所示的基于单词的令牌，并检查用户指定的范围。

在图4a的示例中，包括由用户指定的范围的句子“He makes me happy and Ilove him always”分别是“He/makes/me/happy/and/I/love/him/always”被指令化，可以确认用户指定的范围是“me/happy/and/I/love/him”。

接下来，参考图4b，从指定范围中任意选择令牌，并对任意选择的令牌进行掩蔽。在图4b的示例中，位于第二令牌中的单词“happy”被掩蔽。

接下来，参考图4c，基于概率值来预测可以在被掩蔽令牌的位置处被替换的多个词。

即在被掩蔽的令牌的位置预测出一个可替换的词，在这种情况下，本发明实施例可以利用BERT算法推导出每个词的可替换概率值。

例如，可替换词可能包括“laugh”及“angry”，其中“laugh”可以以0.7的概率替换“happy”，“angry”可以用0.01的概率值替换即几乎不能代替的“happy”单词。

若照原样使用BERT算法，则将输出概率值最高的“laugh”作为被掩蔽部分的答案。即使在这种情况下，也会创建一个与原始单词“happy”不同且没有语法错误的新单词。因此，本发明的实施例使用BERT算法以根据上述概率值将选择的令牌替换为另一个词。

接下来，参照图4d，传递用于将多个预测词中的预定比例的词的概率值强制设置为0的内核。概率值被强制设为0的词是随机确定的。

根据本发明的实施例，当通过执行通过内核的过程产生错误答案行时，可以防止重复导出相同的单词。

例如，服务器可以将某个百分比10％的单词的概率值随机设置为0，在图4d的示例中，当通过内核时，可以看到“happy”及“cry”这两个词分别从0.5及0.2的概率值变成了0的概率值。

服务器通过对通过内核的单词进行采样，根据概率值提取单个单词。

在图4d的示例中，可以确认作为采样的结果提取了“laugh”。在一个示例中，已经通过内核的单词“laugh”及“angry”可以根据各自的概率值被提取为样本。即，在采样过程中，以70％的概率提取laugh的概率很高，但当然也可以提取“angry”。

如上所述，根据本发明的实施例，可以对通过基于多个单词的概率值执行采样而生成的错误答案行赋予随机性。即在重复生成不正确的选择时，“laugh”及“happy”的概率值在下一次通过内核时设置为0，可以根据概率值对“cry”进行采样提取。

接下来，参考图4e，服务器通过插入去掩蔽过程，即在被掩蔽位置处提取的单词，生成错误答案候选行。

此时，为了完全生成一个错误答案候选行，包括在用户指定范围内的其他令牌，即，必须针对所有令牌重复执行上述图4a至4e中的掩蔽步骤、概率值预测步骤、提取(内核应用及采样)步骤及去掩蔽步骤。

即在执行第一次去掩蔽过程后，仅将“laugh”一词替换为原句“He makes mehappy and I love him always”，之后，若在其他令牌上执行，最终生成一个错误的答案候选行“He makes her laugh but she hate him always”。

通过此方式可以生成错误答案候选行，并且可以重复执行上述过程，直到根据设置信息生成错误答案候选行的数量。

接下来，将参照图5a至5g描述本发明的第二实施例。在这种情况下，本发明的第二实施例的特征在于，生成的错误答案候选行的长度不限于指定范围，而是可以随着令牌的添加而改变指定范围的长度。

在本发明的第二实施例中，为了生成多个错误答案候选行，首先，如图5a所示，将输入的外语句子划分为基于单词的令牌，并且确认用户指定的范围。

在图5a的示例中，包括由用户指定的范围的句子“He makes me happy and Ilove him always”被令牌为“He/makes/me/happy/and/I/love/him/always”，分别可以确认用户指定的范围是“me/happy/and/I/love/him”。

另外，在对指定范围内包含的令牌进行掩蔽之前，对与指定范围连接的第一个令牌的位置进行掩蔽。然后，预测第一令牌的对应掩蔽位置处的第一概率值。

即，在图5a的例子中，紧跟在指定范围之后的第一个令牌“always”被掩蔽，并且在被掩蔽的位置处记录单词“always”在原文中出现的第一概率值。

相应地，在被掩蔽的位置，“so”可能以0.7的概率出现，“true”可能以0.01的概率出现，原文中的令牌词“always”可能以0.2的概率出现，对应的令牌词“always”的概率值为0.2被记录为第一概率值。

在本发明的第二实施例中，即使指定范围的长度发生变化，紧跟在可变范围之后的单词也是与原文相同的令牌，即若可以定位示例中的令牌“always”，则可以将其视为自然连接的指纹。

接下来，参考图5b，服务器从指定范围中选择一些令牌，并对随机选择的令牌进行掩蔽。在图5b的示例中，指定范围内75％的令牌被掩蔽，如上所述，紧跟在指定范围之后的第一个令牌的位置也被掩蔽了。

作为该掩蔽过程的结果，在图5b中，在“He/make/me/[MASK]/[MASK]/[MASK]/love/[MASK]/[MASK]”等指定范围内，除“me”及“love”字样外的其余的令牌都被掩蔽了，always的令牌的位置也被掩蔽了。

接下来，参考图5c，服务器基于概率值预测可以替代掩蔽令牌的位置的多个词。

即在被掩蔽的令牌的位置预测出一个可替换的词，在这种情况下，本发明的第二实施例也可以利用上述BERT算法为每个词推导出一个可替换的概率值。

例如，可替换词可能包括“laugh”及“angry”，其中“laugh”可以以0.7的概率替换“happy”，“angry”以0.01的概率替换，即用一个不太可能被替换的概率值替换“happy”这个词。

接下来，参照图5d，服务器通过内核强制将多个预测词中一定百分比的词的概率值设置为0。在这种情况下，概率值被强制设置为0的词是随机确定的。

根据本发明的第二实施例，通过执行通过内核的处理，可以防止在生成错误行时重复导出相同的词。

例如，服务器可以将某个百分比10％的单词的概率值随机设置为0，在图5d的示例中，当通过内核时，可以看到“happy”及“cry”这两个词分别从0.5及0.2的概率值变成了0。

服务器通过对通过内核的单词进行采样，根据概率值提取单个单词。

在图5d的示例中，可以确认作为采样的结果提取了“laugh”。在一个示例中，已经通过内核的单词“laugh”及“angry”可以根据各自的概率值被提取为样本。即，在采样过程中，以70％的概率提取laugh的概率很高，但当然也可以提取“angry”。

如上所述，根据本发明的实施例，可以对通过基于多个单词的概率值执行采样而生成的错误答案行赋予随机性。即在重复生成错误答案行时，“laugh”及“happy”的概率值在下一次通过内核时设置为0，可以根据概率值对“cry”进行采样提取。

接下来，参考图5e，服务器将去掩蔽过程，即提取的词插入掩蔽位置。

在这种情况下，在第二实施例中，必须重复上述对用户指定范围内掩蔽的所有令牌的概率值预测步骤、提取(内核应用及采样)步骤以及去掩蔽步骤。

即，在执行第一次去掩蔽过程之后，对于句子“He makes me[MASK][MASK][MASK]love[MASK][MASK]”只有“laugh”这个词会被替换，之后，在其他令牌上执行时，会生成“Hemakes me laugh enough to love his[MASK]”。

接下来，参考图5f及5g，服务器将提取的令牌插入指定范围内的掩蔽位置后，其位置与指定范围连续，即，计算图5a中“always”令牌位置的第二概率值。

此外，基于上述第一概率值及第二概率值生成错误答案候选行。

具体地，当新计算的第二概率值超过第一概率值时，可以仅针对包括分别插入掩蔽位置的令牌的指定范围生成错误答案候选行。

反之，若第二个概率值小于或等于第一个概率值，则在指定范围的最后一个令牌及与指定范围连续的对应位置之间添加一个新的掩蔽令牌，根据新添加位置的掩蔽令牌的概率值提取一个令牌。

并且在将提取的令牌插入添加的位置之后，服务器计算提取的令牌在对应位置的第三概率值，将第一概率值及第三概率值如上所述进行比较以生成错误答案候选行。

例如，根据算法，服务器根据算法估计如图5g所示的位于指定范围末尾的单词“his”之后出现“always”的第二概率非常低，为0.001。在这种情况下，由于新估计的第二概率值0.001没有超过第一概率值0.2，因此服务器无法仅在指定范围内确定错误答案候选行。

因此，如图5g所示，服务器在指定范围的最后一个令牌位置的“his”单词，与指定范围连续的位置的原文中“always”所在的令牌之间新添加被掩蔽的令牌，再次执行上述对新添加的掩蔽令牌的预测步骤、内核应用步骤、采样及提取步骤以及去掩蔽步骤。

结果，为掩蔽令牌确定了一个新词“manner”，并且在该状态下，服务器再次检查单词“always”将出现在单词“manner”之后的第三个概率值。作为检查的结果，由于第三概率值0.3超过了第一概率值0.001，因此指定范围被改变为包括新添加的单词“manner”，并且生成了错误答案候选行。

若第三概率值小于或等于第一概率值，则可以通过重复上述过程进一步扩大指定范围。

通过这样的方式可以生成错误答案候选行，并且还可以重复执行图5a至图5g所示的过程，直到根据设置信息生成错误答案候选行的数量。

当根据第一或第二实施例生成足够数量的错误答案候选行时，必须执行用于确定最终错误答案候选行的处理。

参考图6a，首先，服务器计算多个错误答案候选行中的每一个在替换空白时的出现概率值。即，对于每个错误答案候选行，计算用预测替换原文的情况的概率值。(更准确地说，似然)。

在这种情况下，在本发明的实施例中，可以将范围内的令牌的平均对数似然值计算为出现概率值，但本发明不限于此。此时，使用log是将乘积变为sum。

在图6a的示例中，对于第一句话“He makes her laugh but she hate himalways”，“her”0.2，“laugh”0.3，“but”0.5，“she”0.2，“hate”0.01，“him”0.3计算每个令牌的出现概率值，最后可以计算出句子的出现概率值为乘法运算值的0.000018。

类似地，对于第二句“He makes true love but true hate love always”“true”0.1,“love”0.3,“but”0.5,“true”0.001,“hate”0.01,“love”0.001的各令牌的出现概率值，最后，所述句子的出现概率值可以计算为乘法运算值的0.00000000015。

接下来，参考图6b，服务器计算错误答案候选行中的每个出现概率值的平均值，并从计算的各平均值中去除预设标准偏差范围之外的错误答案候选行，以确定最终的错误答案候选行。即，去除异常值对应的错误答案候选行。

这个过程是只选择没有语法错误的错误答案候选行，最终，如后面所描述，由于与正确答案的相关性低，将难以被误认为正确答案的错误答案候选行作为最终错误答案行行。

在根据图6a及图6b的步骤生成最终错误答案候选行之后，需要从这些候选中选择与正确答案相关性低的最终错误答案行(例如，四个)。

为此，本发明的实施例首先计算正确答案的隐藏状态向量，并且还计算最终错误答案候选行的隐藏状态向量。使用BERT算法中定义的方法计算隐藏状态向量。

即，如图7a所示，可以生成正确答案中包括的每个令牌的隐藏状态向量，并且可以对每个生成的令牌的隐藏状态向量进行平均以计算正确答案的隐藏状态向量。

例如，对于一个以“He/makes/me/happy/and/I/love/him/always”的令牌分隔的正确答案，服务器对于指定范围的“me/happy/and/I/love/him”分别算出每个令牌的隐藏状态向量H11到H16，并且可以通过平均来计算正确答案的隐藏状态向量H1。

类似地，通过为最终错误答案候选行中包含的每个令牌生成隐藏状态向量，并对每个令牌生成的隐藏状态向量进行平均，可以计算用于最终错误答案候选行的隐藏状态向量H2至H16(例如，当最终错误答案候选行是16时)。

此时，每个令牌的隐藏状态向量可以包括每个令牌的语义信息。

接下来，参考图7b，服务器计算正确答案的隐藏状态向量及最终错误答案行的隐藏状态向量之间的相关度，最终的错误答案候选行按照计算出的相关性最低的顺序被选择为多个错误答案行。

例如，通过分别比较正确答案行的隐藏状态向量H1及最终错误答案候选行的隐藏状态向量H2至H16来计算相关度，其中，可以选择计算出的相关度最低的H3、H4等作为最终的多个错误答案行。

在这种情况下，可以基于每个隐藏状态向量之间的余弦相似度来计算相关度，但不限于此。

根据该过程，如图7b所示的示例中，可以生成包括一个正确答案及四个错误答案在内的总共五行。

同时，根据本发明的实施例，当用户指定要在产生空白推理问题的范围，并指定用于指定范围的设置信息时，可以另外指定难度级别。

图8a及8b是用于说明本发明实施例中设置难度的方法的图。

例如，当词汇级别的难度被分类为Y<YG<G<B<R<P，总共六个级别，并且分级时，用户可以指定期望的词汇级别。

并且服务器可以使用低于用户指定的词汇级别的词汇生成错误答案行。

即，当用户选择G级难度级别时，服务器使用Y、YG、G级词汇生成错误答案行。若选择最高P级难度，服务器可以生成错误答案行，不受词汇限制。

对此，服务器在基于概率值预测被掩蔽的令牌的位置可以替换的多个词时，过滤多个词中超过指定难度的词的出现频率设置由用户指定的难度。

例如，参考图8a，在作为图4a以下的示例的句子“He makes me happy and I lovehim always”中，执行基于概率值来预测在掩蔽令牌的位置处可以被替换的多个词的过程。

此时，服务器可以将基于概率值预测的多个单词分类为每个难度等级，并且可以根据用户指定的难度等级调整超过对应难度等级的单词的出现概率。

即，当用户在图8a中指定G等级的难度时，服务器可以过滤具有超过G等级的难度的B、R、P等级的令牌出现概率。例如，当过滤器强度设置为100％时，不会出现B、R、P等级的令牌。但是，若过滤等级的所有单词都没有出现，则可能会生成语法或句子结构有些笨拙的错误句子，因此，优选地将过滤强度设置为90％，在某些情况下，在实际实现中用户可以自由设置。

这种概率过滤器放置在内核及采样之间。

作为另一实施例，在确定最终错误答案候选行时，服务器可以基于错误答案候选行中包括的单词中超过指定难度的单词的出现频率来确定最终错误答案候选行。

或者，在根据实施例确定最终的多个错误答案行时，可以根据最终错误答案候选行中包括的单词中超过指定难度的单词的出现频率来确定多个错误答案行。

例如，参考图8b，服务器统计生成的多个错误答案候选行中指定范围内每个难度等级的单词数量，根据超过指定难度级别的单词出现的频率，可以确定最终的错误答案候选行或错误答案行。

即当用户选择G的难度级别时，“our/brain/region/operate/in/an/isolated/manner','we/cannot/adapt/ourselves/to/natural/challenges',

'cultural/tools/stabilize/our/brain/functionality”最终错误答案候选行中包含的每个单词按难度级别计算单词数的结果，对于第一句子，超过G级难度的B级单词一个(孤立)，对于第三句子，B级单词一个(稳定)，R级单词一个(功能),因此可以选择不包括第二句作为最终的错误答案候选行。

另一方面，图8a及8b的上述实施例可以独立地应用于确定最终的错误答案候选行或错误答案行，并且可以组合并同时应用。

在以上描述中，根据本发明的实施例，步骤S110至S140可以进一步划分为额外的步骤或组合为更少的步骤。此外，若需要，可以省略一些步骤，并且可以改变步骤之间的顺序。

另外，即使省略其他内容，也可以将后述的图9的内容应用于图2至图8b的外语句子空白推理问题的自动生成方法。

在下文中，参考图9，将描述根据本发明实施例的外语句子空白推理问题的自动生成系统100。

图9是用于说明根据本发明实施例的外语句子空白推理问题的自动生成系统的图。

参照图9，外语句子空白推理题自动生成系统100包括通信模块110、存储器120以及处理器130。

通信模块110接收用户输入的一个或多个外语句子。另外，接收输入的外语语句中的被指定为空白的范围及指定范围的设置信息。

存储器120存储用于产生关于从通信模块110接收到的外语句子推断空白的问题的程序。

处理器130执行存储在存储器120中的程序。

处理器130在执行储存于存储器120的程序时，根据预设的基于人工智能的句子生成算法，根据所述空白范围及设定信息生成空白推理问题。由处理器130执行的空白推测问题的生成方法如上所述。

参考图9描述的外语句子空白推理问题自动生成系统100可以被提供作为上述服务器的组件。

上述根据本发明实施例的外语句子空白推理问题的自动生成方法可以实现为程序(或应用程序)并存储在介质中以与作为硬件的计算机结合执行。

上述程序，为了让所述计算机读取程序并执行作为程序实现的方法，所述计算机的处理器CPU可以包括通过所述计算机的设备接口读取的如C、C++、JAVA、Ruby、机器语等以计算机语言编码的代码(Code)。这样的代码可以包括与定义执行上述方法所必需的功能相关的功能代码等，可以包括所述计算机的处理器根据预定程序执行功能所必需的与执行程序相关的控制代码。此外，代码还可以包括存储器引用相关代码，用于在所述计算机的内部或外部存储器中引用所述计算机的处理器执行功能所必需的附加信息或媒体的地方(地址)。此外，当所述计算机的处理器需要与远程位置的任何其他计算机或服务器通信以执行所述功能时，代码还可以包括用于如何使用所述计算机的通信模块与任何其他远程计算机或服务器通信，以及在通信期间要发送/接收什么信息或媒体的通信相关代码。

存储的所述介质不是寄存器、缓存、存储器等短时间存储数据的介质，而是半永久存储数据并可以被设备读取的介质。具体地，存储所述介质的示例包括ROM、RAM、CD-ROM、磁带、软盘以及光学数据存储设备，但不限于此。即，所述程序可以存储在所述计算机可访问的各种服务器上的各种记录介质中或用户的计算机上的各种记录介质中。此外，所述介质可以分布在连接到网络的计算机系统中，并且可以以分布式方式存储计算机可读代码。

上述对本发明的描述是为了说明，本发明所属领域的普通技术人员可以理解为在不改变本发明的技术思想或本质特征的情况下，可以很容易地修改为其他具体形式。因此，应当理解为上述实施例在所有方面都是示例性的，而不是限制性的。例如，描述为单一类型的每个组件可以以分散的形式实现，同样描述为分布式的组件也可以以组合的形式实现。

本发明的范围由以下权利要求而不是上面的详细描述来表示，所有从权利要求及其等同物的含义及范围衍生的变化或修改均应理解为包含在本发明的范围内。

Claims (15)

1.一种外语句子空白推理问题的自动生成方法，作为由服务器执行的外语句子空白推理问题的自动生成方法其中，包括：

接收一个以上的外语句子的步骤；

指定所述输入的外语句子中要设置为空白的范围的步骤；

接收设置信息生成错误答案行的步骤；以及

使用预设的基于人工智能的句子生成算法，根据所述空白范围及设置信息生成空白推理问题的步骤，

所述生成空白推理问题的步骤包括：

将所述输入的外语句子中的指定范围设置为空白的步骤；

生成所述指定范围内的原文作为正确答案行的步骤；以及

根据所述预设的基于人工智能的句子生成算法，根据所述正确答案行生成多个错误答案行的步骤，

所述生成多个错误答案行的步骤包括：

将所述输入的外语句子划分为基于单词的令牌的步骤；

掩蔽从所述指定范围中随机选择的令牌的步骤；

根据概率值预测被所述掩蔽的令牌的位置上可以替换的多个词的步骤；以及

通过将与所述提取的令牌对应的单词插入到所述掩蔽位置来生成错误候选答案行的步骤。

2.根据权利要求1所述的外语句子空白推理问题的自动生成方法，其中，所述生成多个错误答案行的步骤包括：

生成由长度等于或不同于所述指定范围的令牌数量组成的错误答案行，或生成包括与所述正确答案行具有预定相似度范围的错误答案行及与所述正确答案行在预设相似度范围之外的错误答案行中的一个以上的错误答案行。

3.根据权利要求1所述的外语句子空白推理问题的自动生成方法，其中，所述掩蔽步骤、所述预测步骤、所述提取步骤及所述生成错误答案候选行步骤重复执行所述指定范围内包含的所有令牌。

4.根据权利要求1所述的外语句子空白推理问题的自动生成方法，其中，所述生成多个错误答案行的步骤还包括用于通过所述预测的多个单词中对于预定比率的概率值设置为0的内核的步骤，

通过对所述多个单词执行采样，基于概率值提取一个令牌的步骤通过对通过所述内核的单词进行采样，基于概率值提取一个令牌。

5.根据权利要求1所述的外语句子空白推理问题的自动生成方法，其中，对从所述指定范围中随机选择的令牌进行掩蔽的步骤包括从所述指定范围中对一些令牌进行掩蔽。

6.根据权利要求5所述的外语句子空白推理问题的自动生成方法，其中，所述生成多个错误答案行的步骤包括：

掩蔽与所述指定范围关联的第一个令牌的位置的步骤；

在对所述指定范围内的一些令牌进行掩蔽，并掩蔽所述第一个令牌的位置后，预测表示原始词在所述第一个令牌对应位置出现的概率的第一概率值的步骤；

将所述提取的令牌对应的词插入到所述掩蔽位置后，预测表示原始词出现在所述第一个令牌对应位置的概率的第二概率值的步骤；以及

根据所述第一概率值及第二概率值生成所述错误答案候选行的步骤。

7.根据权利要求6所述的外语句子空白推理问题的自动生成方法，其中，

根据所述第一概率值及第二概率值生成所述错误答案候选行的步骤包括：

当所述第二概率值小于或等于第一概率值时，在所述指定范围的最后一个令牌及所述第一个令牌的对应位置之间添加一个掩蔽的令牌的步骤；

根据所述添加位置处被掩蔽的令牌的概率值提取一个令牌的步骤；

将提取的令牌插入所述添加位置后，预测表示原词在所述第一个令牌对应位置的出现概率的第三个概率值的步骤；以及

基于第一概率值及第三概率值生成所述错误答案候选行的步骤。

8.根据权利要求6所述的外语句子空白推理问题的自动生成方法，其中，

根据所述第一概率值及第二概率值生成所述错误答案候选行的步骤为，当所述第二个概率值超过第一个概率值时，在所述掩蔽的位置插入与所述提取的令牌对应的单词，生成所述错误答案候选行。

9.根据权利要求1所述的外语句子空白推理问题的自动生成方法，其中，

所述生成多个错误答案行的步骤包括：

对所述多个错误答案候选行中的每一个计算所述原始文本的每个令牌替换的出现概率值的步骤；

计算所述计算的出现概率值的平均值的步骤；以及

通过从所述计算的平均值中去除预设标准偏差范围之外的错误答案候选行来确定最终的错误答案候选行的步骤。

10.根据权利要求9所述的外语句子空白推理问题的自动生成方法，其中，

所述生成多个错误答案行的步骤包括：

计算所述正确答案行的隐藏状态向量的步骤；

计算所述最终错误答案候选行的隐藏状态向量的步骤；

计算所述正确答案的隐藏状态向量与最终错误答案候选行的隐藏状态向量的相关度的步骤；以及

选择所述计算出的最低相关度的顺序选择的最终错误答案候选行作为所述多个错误答案行选择的步骤。

11.根据权利要求10所述的外语句子空白推理问题的自动生成方法，其中，

通过为所述正确答案或最终错误答案候选行中包含的每个令牌生成隐藏状态向量，并对每个所述令牌的生成隐藏状态向量进行平均来计算隐藏状态向量。

12.根据权利要求11所述的外语句子空白推理问题的自动生成方法，其中，所述每个令牌的隐藏状态向量包括每个令牌的语义信息。

13.根据权利要求9所述的外语句子空白推理问题的自动生成方法，其中，

接收设置信息生成所述错误答案行的步骤包括从用户接收难度的指定的步骤，确定所述最终错误答案候选行的步骤根据所述错误答案候选行中包含的超过所述指定难度的单词的出现频率确定所述最终错误答案候选行。

14.根据权利要求9所述的外语句子空白推理问题的自动生成方法，其中，

接收设置信息生成所述错误答案行的步骤包括从用户接收难度的指定的步骤，根据概率值预测所述掩蔽的令牌的位置的多个可替换词的步骤为，通过过滤所述多个单词中超过所述指定难度级别的单词的出现频率来设置所述指定难度级别。

15.一种外语句子空白推理问题的自动生成系统，作为外语句子空白推理问题的自动生成系统，其中，包括：

通信模块，用于接收用户输入的一个以上的外语句子，并接收用于在所述输入的外语句子中用于生成要设置的范围及错误答案行来接收设置信息；

存储器，存储用于从所述通信模块接收的外语句子生成空白推理问题的计算机程序；以及

处理器，随着存储在所述存储器中的计算机程序被执行，使用预设的基于人工智能的句子生成算法根据所述空白范围及设置信息生成空白推理问题，

生成所述空白推理问题包括将所述输入的外语句子中的指定范围设置为空白，生成所述指定范围的原文作为正确答案行，根据所述预设的基于人工智能的句子生成算法，基于所述正确答案行生成多个错误答案行，

所述多个错误答案行的生成为，将所述输入的外语句子划分为基于单词的令牌，掩蔽从所述指定范围中任意选择的令牌，根据概率值预测在所述掩码的令牌的位置可以被替换的多个词，通过对所述多个单词进行采样，基于概率值提取一个令牌，并将与所述提取的令牌对应的单词插入到所述掩码位置以生成错误答案候选行。

Images