CN114254750A - 准确度损失确定方法以及装置 - Google Patents
准确度损失确定方法以及装置 Download PDFInfo
- Publication number
- CN114254750A CN114254750A CN202111632110.6A CN202111632110A CN114254750A CN 114254750 A CN114254750 A CN 114254750A CN 202111632110 A CN202111632110 A CN 202111632110A CN 114254750 A CN114254750 A CN 114254750A
- Authority
- CN
- China
- Prior art keywords
- predicted
- loss
- answer
- determining
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供准确度损失确定方法以及装置，其中，所述准确度损失确定方法包括：确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失；将所述预测答案包含的字单元与目标答案包含的字单元进行比对，确定所述预测答案的语义损失；将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。本申请提供的准确度损失确定方法，不仅提高了准确度损失的准确度，还充分反映出预测答案的损失，从而基于该准确度损失对阅读理解模型的训练过程进行指导，提高阅读理解模型的训练效率，使训练获得的阅读理解模型的预测准确率更高。
Description
技术领域
本申请涉及自然语言处理技术领域，特别涉及一种准确度损失确定方法。本申请同时涉及一种准确度损失确定装置，一种计算设备，以及一种计算机可读存储介质。
背景技术
自然语言处理是研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法，而随着自然语言处理的飞速发展，作为自然语言处理领域中一个热门方向的机器阅读理解也受到了广泛关注，机器阅读理解是致力于教会机器阅读人类的语言并理解其内涵的研究，机器阅读理解任务更注重于对于篇章文本的理解，机器必须自己从篇章中学习到相关信息，而不是利用预设好的世界知识、常识来回答问题，所以更具有挑战性。
目前，训练机器去阅读理解人类语言的方法，重要的一种实现方式就是通过建立机器阅读理解模型，进一步通过对建立的机器阅读理解模型进行训练来获得想要的机器阅读理解模型，从而在训练获得的机器阅读理解模型的基础上在文本片段中找出问题的答案。但目前的机器阅读理解模型训练过程中考虑的损失不够充分，无法充分反映预测出答案的损失，最终预测出答案的准确率较低。
发明内容
有鉴于此，本申请实施例提供了一种准确度损失确定方法和一种阅读理解模型训练方法，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种准确度损失确定装置，一种阅读理解模型训练装置，一种计算设备，以及一种计算机可读存储介质。
本申请提供一种阅读理解模型训练方法，包括：
获取包含样本问题及其在样本文章中对应目标答案的训练样本；
通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案；
确定所述预测答案相对于所述目标答案的准确度损失；
基于所述准确度损失确定损失函数，利用所述损失函数对所述阅读理解模型进行优化。
可选的，所述确定所述预测答案相对于所述目标答案的准确度损失，包括：
确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失；
将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失。
可选的，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失，包括：
计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；
基于所述起始概率分布和所述结尾概率分布确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
基于所述起始概率分布中包含的所述预测起始位置对应的概率数值确定所述预测起始位置的起始位置损失，以及基于所述结尾概率分布中包含的所述预测结尾位置对应的概率数值确定所述预测结尾位置的结尾位置损失。
可选的，所述预测起始位置，包括：所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置；
所述预测结尾位置，包括：所述结尾概率分布中包含的概率数值最大的字单元在所述样本文章中的位置。
可选的，所述起始位置损失，包括：所述预测起始位置对应的概率数值与所述目标答案的起始位置对应的概率数值的差值；
所述结尾位置损失，包括：所述预测结尾位置对应的概率数值与所述目标答案的结尾位置对应的概率数值的差值。
可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述样本文章对应的文章矩阵；所述样本文章中的字单元与所述文章矩阵中的元素一一对应；
确定所述预测答案的预测起始位置和预测结尾位置在所述文章矩阵中对应的预测起始元素和预测结尾元素，以及所述目标答案的起始位置和结尾位置在所述文章矩阵中对应的目标起始元素和目标结尾元素；
确定从所述预测起始元素到所述预测结尾元素的预测答案向量，以及从所述目标起始元素到所述目标结尾元素的目标答案向量；
计算所述预测答案向量与所述目标答案向量的距离，作为所述预测答案的长度损失。
可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；
确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。
可选的，所述基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失，包括：
计算所述起始位置损失、所述结尾位置损失和所述长度损失三者的加权和，作为所述预测答案的准确度损失。
可选的，所述确定所述预测答案相对于所述目标答案的准确度损失，包括：
确定所述预测答案在所述样本文章中预测起始位置和预测结尾位置的位置损失；
将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述预测答案的语义损失；
将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
可选的，所述将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述预测答案的语义损失，包括：
计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义相似度；
基于所述语义相似度计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义损失并求和，获得所述预测答案的语义损失。
本申请提供一种准确度损失确定方法，包括：
确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失；
将所述预测答案包含的字单元与目标答案包含的字单元进行比对，确定所述预测答案的语义损失；
将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
可选的，所述确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失之前，还包括：
获取包含样本问题及其在样本文章中对应目标答案的训练样本；
通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案。
可选的，所述基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失之后，还包括：
基于所述准确度损失确定损失函数，利用所述损失函数对阅读理解模型进行优化。
可选的，所述阅读理解模型为Attentive Reader、Attention Sum Reader、Stanford Attentive Reader和Gated Attention Reader中的任意一种。
可选的，所述将所述预测答案包含的字单元与目标答案包含的字单元进行比对，确定所述预测答案的语义损失，包括：
计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义相似度；
基于所述语义相似度计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义损失并求和，获得所述预测答案的语义损失。
可选的，所述确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失，包括：
确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失；
将所述起始位置损失和所述结尾位置损失之和，确定为所述位置损失。
可选的，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失，包括：
计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；
基于所述起始概率分布和所述结尾概率分布确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
基于所述起始概率分布中包含的所述预测起始位置对应的概率数值确定所述预测起始位置的起始位置损失，以及基于所述结尾概率分布中包含的所述预测结尾位置对应的概率数值确定所述预测结尾位置的结尾位置损失。
可选的，所述预测起始位置，包括：所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置；
所述预测结尾位置，包括：所述结尾概率分布中包含的概率数值最大的字单元在所述样本文章中的位置。
可选的，所述起始位置损失，包括：所述预测起始位置对应的概率数值与所述目标答案的起始位置对应的概率数值的差值；
所述结尾位置损失，包括：所述预测结尾位置对应的概率数值与所述目标答案的结尾位置对应的概率数值的差值。
可选的，所述计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布，包括：
将所述样本文章和样本问题输入预先配置好的分类器，在所述分类器中计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；
计算完毕后由所述分类器输出所述起始概率分布和所述结尾概率分布。
可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述样本文章对应的文章矩阵；所述样本文章中的字单元与所述文章矩阵中的元素一一对应；
确定所述预测答案的预测起始位置和预测结尾位置在所述文章矩阵中对应的预测起始元素和预测结尾元素，以及所述目标答案的起始位置和结尾位置在所述文章矩阵中对应的目标起始元素和目标结尾元素；
确定从所述预测起始元素到所述预测结尾元素的预测答案向量，以及从所述目标起始元素到所述目标结尾元素的目标答案向量；
计算所述预测答案向量与所述目标答案向量的距离，作为所述预测答案的长度损失。
可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；
确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。
本申请提供一种阅读理解模型训练装置，包括：
训练样本获取模块，被配置为获取包含样本问题及其在样本文章中对应目标答案的训练样本；
预测答案生成模块，被配置为通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案；
准确度损失确定模块，被配置为确定所述预测答案相对于所述目标答案的准确度损失；
模型优化模块，被配置为基于所述准确度损失确定损失函数，利用所述损失函数对所述阅读理解模型进行优化。
可选的，所述准确度损失确定模块，包括：
位置损失确定子模块，被配置为确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失；
长度损失确定子模块，被配置为将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
准确度损失确定子模块，被配置为基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失。
本申请提供一种准确度损失确定装置，包括：
第二位置损失确定子模块，被配置为确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失；
语义损失确定子模块，被配置为将所述预测答案包含的字单元与目标答案包含的字单元进行比对，确定所述预测答案的语义损失；
第二长度损失确定子模块，被配置为将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
第二准确度损失确定子模块，被配置为基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
本申请提供一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现所述阅读理解模型训练方法或所述准确度损失确定方法的步骤。
本申请提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述阅读理解模型训练方法或所述准确度损失确定方法的步骤。
与现有技术相比，本申请具有如下优点：
本申请提供一种阅读理解模型训练方法，包括：获取包含样本问题及其在样本文章中对应目标答案的训练样本；通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案；确定所述预测答案相对于所述目标答案的准确度损失；基于所述准确度损失确定损失函数，利用所述损失函数对所述阅读理解模型进行优化。
本申请提供的阅读理解模型训练方法，在阅读理解模型训练过程中，通过将训练样本输入阅读理解模型生成该阅读理解模型对样本问题的预测答案，并将样本问题的预测答案与实际的目标答案进行比对来确定预测答案相对于实际的目标答案的损失，从而在确定损失的基础上对阅读理解模型的训练过程进行指导，提高阅读理解模型的训练效率，使训练获得的阅读理解模型的预测准确率更高。
本申请提供一种准确度损失确定方法，包括：确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失；将所述预测答案包含的字单元与目标答案包含的字单元进行比对，确定所述预测答案的语义损失；将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
综上所述，本申请提供的准确度损失确定方法，在确定准确度损失的过程中，通过确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失，并将样本问题的预测答案与实际的目标答案进行比对来确定预测答案相对于实际的目标答案的语义损失和长度损失，从而基于位置损失、语义损失和长度损失确定预测答案的准确度损失，也即从位置、语义和长度三个方面确定预测答案的准确度损失，不仅提高了准确度损失的准确度，还充分反映出预测答案的损失，从而基于该准确度损失对阅读理解模型的训练过程进行指导，能够提高阅读理解模型的训练效率，使训练获得的阅读理解模型的预测准确率更高。
附图说明
图1是本申请实施例提供的一种阅读理解模型训练方法处理流程图；
图2是本申请实施例提供的一种阅读理解模型训练装置的结构示意图；
图3是本申请实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提供一种阅读理解模型训练方法，本申请还提供一种阅读理解模型训练装置，一种计算设备，以及一种计算机可读存储介质。以下分别结合本申请提供的实施例的附图逐一进行详细说明，并且对方法的各个步骤进行说明。
本申请提供的一种阅读理解模型训练方法实施例如下：
参照附图1，其示出了本实施例提供的一种阅读理解模型训练方法处理流程图。
步骤S102，获取包含样本问题及其在样本文章中对应目标答案的训练样本。
模型的生命周期主要包含3个主要阶段：构建阶段、训练阶段和应用阶段；本申请提供的阅读理解模型训练方法是在模型构建阶段对已经构建好的阅读理解模型进行训练，以使训练后的阅读理解模型在应用时预测出更加准确的答案。
除此之外，本申请提供的阅读理解模型训练方法，还可在阅读理解模型的应用过程中对其进行训练，比如每向阅读理解模型输入一次问题和文章进行问题在文章中答案的预测，通过将这一次预测的问题、文章和问题在文章中预测的答案作为训练样本，对阅读理解模型进行优化，不仅能够使阅读理解模型应用过程中的预测准确率更高，同时也能使针对阅读理解模型的优化调整更加贴近应用该阅读理解模型的实际业务。
需要说明的是，本申请实施例所述阅读理解模型是指机器阅读理解模型，机器阅读理解研究领域出现非常多的具体模型，比如常见的机器阅读理解模型有：AttentiveReader、Attention Sum Reader(AS Reader)、Stanford Attentive Reader(Stanford AR)以及Gated Attention Reader(GA Reader)等。
本申请实施例中，一个训练样本由三部分组成：文章、问题以及该问题在文章中真实的答案，为便于描述，下述将文章称之为样本文章，问题称之为样本问题，样本问题在样本文章中的真实答案称之为目标答案，样本问题和样本文章输入阅读理解模型进行预测获得的答案称之为预测答案。
步骤S104，通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案。
具体实施时，为了评价阅读理解模型获得的预测答案与目标答案之间的差距，需将所述训练样本输入阅读理解模型以获得该阅读理解模型预测出的预测答案，具体是将所述训练样本中包含的样本文章和样本问题输入阅读理解模型，由阅读理解模型针对所述样本问题在所述样本文章中进行预测计算，最终输出其针对所述样本问题在所述样本文章中预测出的预测答案。
步骤S106，确定所述预测答案相对于所述目标答案的准确度损失。
本申请实施例提供的一种优选实施方式中，确定所述预测答案相对于所述目标答案的准确度损失，具体采用如下方式：
1)确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失；
本申请实施例中，所述预测答案在所述样本文章中预测起始位置，优选通过计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，并基于所述起始概率分布确定所述预测答案在所述样本文章中的预测起始位置。
优选的，所述预测答案在所述样本文章中的预测起始位置，是指所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置。
可见，上述通过计算所述样本文章中每个字单元为所述预测答案的起始字的概率，从而将所述样本文章中概率最大的字单元作为所述预测答案的起始字，提升了预测答案的起始字的预测准确率。
与上述提供的所述预测答案在所述样本文章中预测起始位置相类似，所述预测答案在所述样本文章中预测结尾位置，同样是通过计算所述样本文章包含的字单元为所述预测答案的结尾字的结尾概率分布，并基于所述结尾概率分布确定所述预测答案在所述样本文章中的预测结尾位置。
优选的，所述预测答案在所述样本文章中的预测结尾位置，是指所述结尾概率分布中包含的概率数值最大的字单元在所述样本文章中的位置。
可见，上述通过计算所述样本文章中每个字单元是所述预测答案的结尾字的概率，将所述样本文章中概率最大的字单元作为所述预测答案的结尾字，同样能够提升预测答案的结尾字的预测准确率。
具体实施时，阅读理解模型在预测所述预测答案在所述样本文章中对应答案的过程中，如果阅读理解模型在预测过程中需要计算所述样本文章中每个字单元是所述预测答案的起始字的概率，以及计算所述样本文章中每个字单元是所述预测答案的结尾字的概率，则可通过在阅读理解模型中读取所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述样本文章包含的字单元为所述预测答案的结尾字的结尾概率分布。
此外，所述起始字的起始概率分布和所述结尾概率分布，还可通过将所述样本文章和所述样本问题输入预先配置好的分类器，在分类器中进行所述样本文章包含的字单元为所述预测答案的起始字或者结尾字的概率计算，计算完毕后由分类器输出所述起始概率分布和所述结尾概率分布。
在上述确定所述预测答案在所述样本文章中预测起始位置和预测结尾位置的基础上，进一步计算所述预测起始位置相比目标答案在所述样本文章中起始位置的损失，该损失即是指所述预测起始位置的起始位置损失。优选的，所述预测起始位置的起始位置损失是指所述预测起始位置对应的概率数值与所述目标答案的起始位置对应的概率数值的差值。
例如，样本文章中由100个字单元构成，计算每个字单元是预测答案的起始字的概率，然后将概率最大的一个字单元(概率数值为85％)在样本文章中的位置确定为预测答案的预测起始位置，若该预测起始位置也是目标答案在样本文章中的起始位置，则目标答案在样本文章中的起始位置对应的概率数值为1，该预测起始位置的损失等于样本文章中的起始位置对应的概率数值1减去预测起始位置的对应的概率数值85％，最终该预测起始位置的起始位置损失为1-85％＝0.15。
与所述预测起始位置的起始位置损失的确定过程类似，在上述确定所述预测答案在所述样本文章中预测结尾位置和预测结尾位置的基础上，进一步计算所述预测结尾位置相比目标答案在所述样本文章中结尾位置的损失，该损失即是指所述预测结尾位置的结尾位置损失。所述预测结尾位置的结尾位置损失是指所述预测结尾位置对应的概率数值与所述目标答案的结尾位置对应的概率数值的差值。
例如，样本文章中由100个字单元构成，计算每个字单元是预测答案的结尾字的概率，然后将概率最大的一个字单元(概率数值为70％)在样本文章中的位置确定为预测答案的预测结尾位置，若该预测结尾位置也是目标答案在样本文章中的结尾位置，则目标答案在样本文章中的结尾位置对应的概率数值为1，该预测结尾位置的损失等于样本文章中的结尾位置对应的概率数值1减去预测结尾位置的对应的概率数值70％，最终该预测结尾位置的结尾位置损失为1-70％＝0.3。
2)将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
本申请实施例提供的一种优选实施方式中，所述预测答案的长度损失具体采用如下方式确定：
(a)确定所述样本文章对应的文章矩阵；
所述样本文章中的字单元与所述文章矩阵中的元素具有一一对应关系，每一个字单元对应文章矩阵中的一个元素；
(b)确定所述预测答案的预测起始位置和预测结尾位置在所述文章矩阵中对应的预测起始元素和预测结尾元素，以及所述目标答案的起始位置和结尾位置在所述文章矩阵中对应的目标起始元素和目标结尾元素；
(c)确定从所述预测起始元素到所述预测结尾元素的预测答案向量，以及从所述目标起始元素到所述目标结尾元素的目标答案向量；
(d)计算所述预测答案向量与所述目标答案向量的距离，作为所述预测答案的长度损失。
例如，样本文章中由100个字单元构成，具体在样本文章中展示为5行，每行20个字，通过将样本文章中的行与矩阵的行建立映射关系，以及将样本文章中的列与矩阵的列建立映射关系，从而针对样本文章构建一个对应的矩阵，矩阵中的每一个元素对应样本文章中的一个字单元；
然后预测起始位置和预测结尾位置在矩阵中对应的预测起始元素和预测结尾元素，并进一步确定从预测起始元素到预测结尾元素的预测答案向量；类似的，确定目标答案的起始位置和结尾位置在矩阵中对应的目标起始元素和目标结尾元素，并进一步确定从目标起始元素到目标结尾元素的目标答案向量；
最后计算预测答案向量与所述目标答案向量二者的欧式距离，作为预测答案相对于目标答案的长度损失。
除上述提供的所述预测答案的长度损失的确定方式之外，所述预测答案的长度损失还可以采用其他方式确定，比如优选采用下述方式确定所述预测答案的长度损失：首先，确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；然后，计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；最后，确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。
3)基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失。
所述预测答案的准确度损失，优选通过计算所述起始位置损失、所述结尾位置损失和所述长度损失三者的加权和确定。
例如，预测答案的准确度损失Loss为：
Loss＝Loss_start+Loss_end+Loss_length
其中，Loss_start为起始位置损失，Loss_end为结尾位置损失，Loss_length为长度损失。
步骤S108，基于所述准确度损失确定损失函数，利用所述损失函数对所述阅读理解模型进行优化。
根据确定的所述预测答案相对于所述目标答案的准确度损失，确定对阅读理解模型进行训练的损失函数(评价函数)，然后利用损失函数对阅读理解模型进行优化，比如对阅读理解模型的参数或者权重系数进行调整，最终在阅读理解模型训练完毕后，获得的阅读理解模型对预测答案的预测准确率更高。
本实施例确定所述预测答案相对于所述目标答案的准确度损失的过程中，优选根据所述起始位置损失、所述结尾位置损失和所述长度损失来确定最终所述预测答案相对于所述目标答案的准确度损失，除此之外，所述准确度损失确定过程中还可以采用其他与准确度相关的损失参与确定，比如下述提供的采用位置损失、语义损失和长度损失确定所述准确度：
1)确定所述预测答案在所述样本文章中预测起始位置和预测结尾位置的位置损失；
其中，所述位置损失等于所述预测起始位置的起始位置损失和所述预测结尾位置的结尾位置损失之和；
2)将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述预测答案的语义损失；
具体的，所述语义损失优选通过计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义相似度，并基于所述语义相似度计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义损失并求和，最终获得所述预测答案的语义损失；
3)将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
4)基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
在上述采用位置损失、语义损失和长度损失确定所述准确度损失的基础上，进一步确定对阅读理解模型进行训练的损失函数(评价函数)，然后利用损失函数对阅读理解模型进行优化，从而获得预测准确率更高的阅读理解模型。
综上所述，本申请提供的阅读理解模型训练方法，在阅读理解模型训练过程中，通过将训练样本输入阅读理解模型生成该阅读理解模型对样本问题的预测答案，并将样本问题的预测答案与实际的目标答案进行比对来确定预测答案相对于实际的目标答案的损失，从而在确定损失的基础上对阅读理解模型的训练过程进行指导，提高阅读理解模型的训练效率，使训练获得的阅读理解模型的预测准确率更高。
本申请提供的一种阅读理解模型训练装置实施例如下：
在上述的实施例中，提供了一种阅读理解模型训练方法，与之相对应的，本申请还提供了一种阅读理解模型训练装置，下面结合附图进行说明。
参照附图2，其示出了本申请实施例提供的一种阅读理解模型训练装置的结构示意图。
由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种阅读理解模型训练装置，包括：
训练样本获取模块202，被配置为获取包含样本问题及其在样本文章中对应目标答案的训练样本；
预测答案生成模块204，被配置为通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案；
准确度损失确定模块206，被配置为确定所述预测答案相对于所述目标答案的准确度损失；
模型优化模块208，被配置为基于所述准确度损失确定损失函数，利用所述损失函数对所述阅读理解模型进行优化。
可选的，所述准确度损失确定模块206，包括：
位置损失确定子模块，被配置为确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失；
长度损失确定子模块，被配置为将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
准确度损失确定子模块，被配置为基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失。
可选的，所述位置损失确定子模块，包括：
概率分布计算子单元，被配置为计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；
位置确定子单元，被配置为基于所述起始概率分布和所述结尾概率分布确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
损失确定子单元，被配置为基于所述起始概率分布中包含的所述预测起始位置对应的概率数值确定所述预测起始位置的起始位置损失，以及基于所述结尾概率分布中包含的所述预测结尾位置对应的概率数值确定所述预测结尾位置的结尾位置损失。
可选的，所述预测起始位置，包括：所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置；
所述预测结尾位置，包括：所述结尾概率分布中包含的概率数值最大的字单元在所述样本文章中的位置。
可选的，所述起始位置损失，包括：所述预测起始位置对应的概率数值与所述目标答案的起始位置对应的概率数值的差值；
所述结尾位置损失，包括：所述预测结尾位置对应的概率数值与所述目标答案的结尾位置对应的概率数值的差值。
可选的，所述长度损失确定子模块，包括：
矩阵确定子单元，被配置为确定所述样本文章对应的文章矩阵；所述样本文章中的字单元与所述文章矩阵中的元素一一对应；
元素确定子单元，被配置为确定所述预测答案的预测起始位置和预测结尾位置在所述文章矩阵中对应的预测起始元素和预测结尾元素，以及所述目标答案的起始位置和结尾位置在所述文章矩阵中对应的目标起始元素和目标结尾元素；
向量确定子单元，被配置为确定从所述预测起始元素到所述预测结尾元素的预测答案向量，以及从所述目标起始元素到所述目标结尾元素的目标答案向量；
第一长度损失确定子单元，被配置为计算所述预测答案向量与所述目标答案向量的距离，作为所述预测答案的长度损失。
可选的，所述长度损失确定子模块，包括：
预测位置确定子单元，被配置为确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
字节长度确定子单元，被配置为计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；
第二长度损失确定子单元，被配置为确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。
可选的，所述准确度损失确定子模块，具体被配置为计算所述起始位置损失、所述结尾位置损失和所述长度损失三者的加权和，作为所述预测答案的准确度损失。
可选的，所述准确度损失确定模块206，包括：
第二位置损失确定子模块，被配置为确定所述预测答案在所述样本文章中预测起始位置和预测结尾位置的位置损失；
语义损失确定子模块，被配置为将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述预测答案的语义损失；
第二长度损失确定子模块，被配置为将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
第二准确度损失确定子模块，被配置为基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
可选的，所述语义损失确定子模块，包括：
语义相似度计算子单元，被配置为计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义相似度；
语义损失确定子单元，被配置为基于所述语义相似度计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义损失并求和，获得所述预测答案的语义损失。
本申请提供的一种计算设备实施例如下：
图3是示出了根据本说明书一实施例的计算设备300的结构框图。该计算设备300的部件包括但不限于存储器310和处理器320。处理器320与存储器310通过总线330相连接，数据库350用于保存数据。
计算设备300还包括接入设备340，接入设备340使得计算设备300能够经由一个或多个网络360通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备340可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本说明书的一个实施例中，计算设备300的上述部件以及图3中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图3所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备300可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备300还可以是移动式或静止式的服务器。
本申请提供一种计算设备，包括存储器310、处理器320及存储在存储器上并可在处理器上运行的计算机指令，所述处理器320用于执行如下计算机可执行指令：
获取包含样本问题及其在样本文章中对应目标答案的训练样本；
通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案；
确定所述预测答案相对于所述目标答案的准确度损失；
基于所述准确度损失确定损失函数，利用所述损失函数对所述阅读理解模型进行优化。
可选的，所述确定所述预测答案相对于所述目标答案的准确度损失，包括：
确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失；
将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失。
可选的，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失，包括：
计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；
基于所述起始概率分布和所述结尾概率分布确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
基于所述起始概率分布中包含的所述预测起始位置对应的概率数值确定所述预测起始位置的起始位置损失，以及基于所述结尾概率分布中包含的所述预测结尾位置对应的概率数值确定所述预测结尾位置的结尾位置损失。
可选的，所述预测起始位置，包括：所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置；
所述预测结尾位置，包括：所述结尾概率分布中包含的概率数值最大的字单元在所述样本文章中的位置。
可选的，所述起始位置损失，包括：所述预测起始位置对应的概率数值与所述目标答案的起始位置对应的概率数值的差值；
所述结尾位置损失，包括：所述预测结尾位置对应的概率数值与所述目标答案的结尾位置对应的概率数值的差值。
可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述样本文章对应的文章矩阵；所述样本文章中的字单元与所述文章矩阵中的元素一一对应；
确定所述预测答案的预测起始位置和预测结尾位置在所述文章矩阵中对应的预测起始元素和预测结尾元素，以及所述目标答案的起始位置和结尾位置在所述文章矩阵中对应的目标起始元素和目标结尾元素；
确定从所述预测起始元素到所述预测结尾元素的预测答案向量，以及从所述目标起始元素到所述目标结尾元素的目标答案向量；
计算所述预测答案向量与所述目标答案向量的距离，作为所述预测答案的长度损失。
可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；
确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。
可选的，所述基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失，包括：
计算所述起始位置损失、所述结尾位置损失和所述长度损失三者的加权和，作为所述预测答案的准确度损失。
可选的，所述确定所述预测答案相对于所述目标答案的准确度损失，包括：
确定所述预测答案在所述样本文章中预测起始位置和预测结尾位置的位置损失；
将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述预测答案的语义损失；
将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
可选的，所述将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述预测答案的语义损失，包括：
计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义相似度；
基于所述语义相似度计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义损失并求和，获得所述预测答案的语义损失。
本申请提供的一种计算机可读存储介质实施例如下：
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：
获取包含样本问题及其在样本文章中对应目标答案的训练样本；
通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案；
确定所述预测答案相对于所述目标答案的准确度损失；
基于所述准确度损失确定损失函数，利用所述损失函数对所述阅读理解模型进行优化。
可选的，所述确定所述预测答案相对于所述目标答案的准确度损失，包括：
确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失；
将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失。
可选的，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失，包括：
计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；
基于所述起始概率分布和所述结尾概率分布确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
基于所述起始概率分布中包含的所述预测起始位置对应的概率数值确定所述预测起始位置的起始位置损失，以及基于所述结尾概率分布中包含的所述预测结尾位置对应的概率数值确定所述预测结尾位置的结尾位置损失。
可选的，所述预测起始位置，包括：所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置；
所述预测结尾位置，包括：所述结尾概率分布中包含的概率数值最大的字单元在所述样本文章中的位置。
可选的，所述起始位置损失，包括：所述预测起始位置对应的概率数值与所述目标答案的起始位置对应的概率数值的差值；
所述结尾位置损失，包括：所述预测结尾位置对应的概率数值与所述目标答案的结尾位置对应的概率数值的差值。
可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述样本文章对应的文章矩阵；所述样本文章中的字单元与所述文章矩阵中的元素一一对应；
确定所述预测答案的预测起始位置和预测结尾位置在所述文章矩阵中对应的预测起始元素和预测结尾元素，以及所述目标答案的起始位置和结尾位置在所述文章矩阵中对应的目标起始元素和目标结尾元素；
确定从所述预测起始元素到所述预测结尾元素的预测答案向量，以及从所述目标起始元素到所述目标结尾元素的目标答案向量；
计算所述预测答案向量与所述目标答案向量的距离，作为所述预测答案的长度损失。
可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；
确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。
可选的，所述基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失，包括：
计算所述起始位置损失、所述结尾位置损失和所述长度损失三者的加权和，作为所述预测答案的准确度损失。
可选的，所述确定所述预测答案相对于所述目标答案的准确度损失，包括：
确定所述预测答案在所述样本文章中预测起始位置和预测结尾位置的位置损失；
将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述预测答案的语义损失；
将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
可选的，所述将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述预测答案的语义损失，包括：
计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义相似度；
基于所述语义相似度计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义损失并求和，获得所述预测答案的语义损失。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的阅读理解模型训练方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述阅读理解模型训练方法的技术方案的描述。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (15)
1.一种准确度损失确定方法，其特征在于，包括：
确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失；
将所述预测答案包含的字单元与目标答案包含的字单元进行比对，确定所述预测答案的语义损失；
将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
2.根据权利要求1所述的准确度损失确定方法，其特征在于，所述确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失之前，还包括：
获取包含样本问题及其在样本文章中对应目标答案的训练样本；
通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案。
3.根据权利要求1或2所述的准确度损失确定方法，其特征在于，所述基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失之后，还包括：
基于所述准确度损失确定损失函数，利用所述损失函数对阅读理解模型进行优化。
4.根据权利要求2所述的准确度损失确定方法，其特征在于，所述阅读理解模型为Attentive Reader、Attention Sum Reader、Stanford Attentive Reader和GatedAttention Reader中的任意一种。
5.根据权利要求1所述的准确度损失确定方法，其特征在于，所述将所述预测答案包含的字单元与目标答案包含的字单元进行比对，确定所述预测答案的语义损失，包括：
计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义相似度；
基于所述语义相似度计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义损失并求和，获得所述预测答案的语义损失。
6.根据权利要求1所述的准确度损失确定方法，其特征在于，所述确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失，包括：
确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失；
将所述起始位置损失和所述结尾位置损失之和，确定为所述位置损失。
7.根据权利要求6所述的准确度损失确定方法，其特征在于，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失，包括：
计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；
基于所述起始概率分布和所述结尾概率分布确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
基于所述起始概率分布中包含的所述预测起始位置对应的概率数值确定所述预测起始位置的起始位置损失，以及基于所述结尾概率分布中包含的所述预测结尾位置对应的概率数值确定所述预测结尾位置的结尾位置损失。
8.根据权利要求7所述的准确度损失确定方法，其特征在于，所述预测起始位置，包括：所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置；
所述预测结尾位置，包括：所述结尾概率分布中包含的概率数值最大的字单元在所述样本文章中的位置。
9.根据权利要求8所述的准确度损失确定方法，其特征在于，所述起始位置损失，包括：所述预测起始位置对应的概率数值与所述目标答案的起始位置对应的概率数值的差值；
所述结尾位置损失，包括：所述预测结尾位置对应的概率数值与所述目标答案的结尾位置对应的概率数值的差值。
10.根据权利要求7所述的准确度损失确定方法，其特征在于，所述计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布，包括：
将所述样本文章和样本问题输入预先配置好的分类器，在所述分类器中计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；
计算完毕后由所述分类器输出所述起始概率分布和所述结尾概率分布。
11.根据权利要求1所述的准确度损失确定方法，其特征在于，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述样本文章对应的文章矩阵；所述样本文章中的字单元与所述文章矩阵中的元素一一对应；
确定所述预测答案的预测起始位置和预测结尾位置在所述文章矩阵中对应的预测起始元素和预测结尾元素，以及所述目标答案的起始位置和结尾位置在所述文章矩阵中对应的目标起始元素和目标结尾元素；
确定从所述预测起始元素到所述预测结尾元素的预测答案向量，以及从所述目标起始元素到所述目标结尾元素的目标答案向量；
计算所述预测答案向量与所述目标答案向量的距离，作为所述预测答案的长度损失。
12.根据权利要求1所述的准确度损失确定方法，其特征在于，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；
确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。
13.一种准确度损失确定装置，其特征在于，包括：
第二位置损失确定子模块，被配置为确定预测答案在样本文章中预测起始位置和预测结尾位置的位置损失；
语义损失确定子模块，被配置为将所述预测答案包含的字单元与目标答案包含的字单元进行比对，确定所述预测答案的语义损失；
第二长度损失确定子模块，被配置为将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
第二准确度损失确定子模块，被配置为基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
14.一种计算设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现权利要求1至12任意一项所述准确度损失确定方法的步骤。
15.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至12任意一项所述准确度损失确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111632110.6A CN114254750A (zh) | 2019-01-29 | 2019-01-29 | 准确度损失确定方法以及装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111632110.6A CN114254750A (zh) | 2019-01-29 | 2019-01-29 | 准确度损失确定方法以及装置 |
| CN201910084411.6A CN109816111B (zh) | 2019-01-29 | 2019-01-29 | 阅读理解模型训练方法以及装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910084411.6A Division CN109816111B (zh) | 2019-01-29 | 2019-01-29 | 阅读理解模型训练方法以及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114254750A true CN114254750A (zh) | 2022-03-29 |
Family
ID=66605644
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111629548.9A Pending CN114298310A (zh) | 2019-01-29 | 2019-01-29 | 长度损失确定方法以及装置 |
| CN201910084411.6A Active CN109816111B (zh) | 2019-01-29 | 2019-01-29 | 阅读理解模型训练方法以及装置 |
| CN202111632110.6A Pending CN114254750A (zh) | 2019-01-29 | 2019-01-29 | 准确度损失确定方法以及装置 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111629548.9A Pending CN114298310A (zh) | 2019-01-29 | 2019-01-29 | 长度损失确定方法以及装置 |
| CN201910084411.6A Active CN109816111B (zh) | 2019-01-29 | 2019-01-29 | 阅读理解模型训练方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (3) | CN114298310A (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110543631B (zh) * | 2019-08-23 | 2023-04-28 | 深思考人工智能科技(上海)有限公司 | 机器阅读理解的实现方法、装置、存储介质及电子设备 |
| CN110750630A (zh) * | 2019-09-25 | 2020-02-04 | 北京捷通华声科技股份有限公司 | 一种生成式机器阅读理解方法、装置、设备及存储介质 |
| CN110781663B (zh) * | 2019-10-28 | 2023-08-29 | 北京金山数字娱乐科技有限公司 | 文本分析模型的训练方法及装置、文本分析方法及装置 |
| CN111008266B (zh) * | 2019-12-06 | 2023-09-26 | 北京金山数字娱乐科技有限公司 | 文本分析模型的训练方法及装置、文本分析方法及装置 |
| CN111046158B (zh) * | 2019-12-13 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 问答匹配方法及模型训练方法、装置、设备、存储介质 |
| CN111078854B (zh) * | 2019-12-13 | 2023-10-27 | 北京金山数字娱乐科技有限公司 | 问答预测模型的训练方法及装置、问答预测方法及装置 |
| CN111160568B (zh) | 2019-12-27 | 2021-04-06 | 北京百度网讯科技有限公司 | 机器阅读理解模型训练方法、装置、电子设备和存储介质 |
| CN111309887B (zh) * | 2020-02-24 | 2023-04-14 | 支付宝(杭州)信息技术有限公司 | 一种训练文本关键内容提取模型的方法和系统 |
| CN111858878B (zh) * | 2020-06-18 | 2023-12-22 | 达观数据有限公司 | 从自然语言文本中自动提取答案的方法、系统及存储介质 |
| CN111460127A (zh) * | 2020-06-19 | 2020-07-28 | 支付宝(杭州)信息技术有限公司 | 训练机器阅读模型的方法和装置 |
| CN112632265A (zh) * | 2021-03-10 | 2021-04-09 | 北京沃丰时代数据科技有限公司 | 智能机器阅读理解方法、装置、电子设备及存储介质 |
| CN112800186B (zh) * | 2021-04-08 | 2021-10-12 | 北京金山数字娱乐科技有限公司 | 阅读理解模型的训练方法及装置、阅读理解方法及装置 |
| CN113223017A (zh) * | 2021-05-18 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 目标分割模型的训练方法、目标分割方法及设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991161B (zh) * | 2017-03-31 | 2019-02-19 | 北京字节跳动科技有限公司 | 一种自动生成开放式问题答案的方法 |
| CN108021934B (zh) * | 2017-11-23 | 2022-03-04 | 创新先进技术有限公司 | 多要素识别的方法及装置 |
| CN108052588B (zh) * | 2017-12-11 | 2021-03-26 | 浙江大学城市学院 | 一种基于卷积神经网络的文档自动问答系统的构建方法 |
| CN108415977B (zh) * | 2018-02-09 | 2022-02-15 | 华南理工大学 | 一个基于深度神经网络及强化学习的生成式机器阅读理解方法 |
| CN108959396B (zh) * | 2018-06-04 | 2021-08-17 | 众安信息技术服务有限公司 | 机器阅读模型训练方法及装置、问答方法及装置 |
| CN108920622B (zh) * | 2018-06-29 | 2021-07-20 | 北京奇艺世纪科技有限公司 | 一种意图识别的训练方法、训练装置和识别装置 |
| CN108984539B (zh) * | 2018-07-17 | 2022-05-17 | 苏州大学 | 基于模拟未来时刻的翻译信息的神经机器翻译方法 |
-
2019
- 2019-01-29 CN CN202111629548.9A patent/CN114298310A/zh active Pending
- 2019-01-29 CN CN201910084411.6A patent/CN109816111B/zh active Active
- 2019-01-29 CN CN202111632110.6A patent/CN114254750A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN109816111A (zh) | 2019-05-28 |
| CN109816111B (zh) | 2022-03-08 |
| CN114298310A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816111B (zh) | 阅读理解模型训练方法以及装置 | |
| US10565525B2 (en) | Collaborative filtering method, apparatus, server and storage medium in combination with time factor | |
| CN110781663B (zh) | 文本分析模型的训练方法及装置、文本分析方法及装置 | |
| CN109710953B (zh) | 一种翻译方法及装置、计算设备、存储介质和芯片 | |
| CN111460290B (zh) | 信息的推荐方法、装置、设备和存储介质 | |
| CN110457719B (zh) | 一种翻译模型结果重排序的方法及装置 | |
| JP2022502758A (ja) | 符号化方法、装置、機器およびプログラム | |
| CN111737439B (zh) | 一种问题生成方法及装置 | |
| CN109492085A (zh) | 基于数据处理的答案确定方法、装置、终端及存储介质 | |
| CN111738010A (zh) | 用于生成语义匹配模型的方法和装置 | |
| CN116756278A (zh) | 机器问答方法以及装置 | |
| CN111339274A (zh) | 对话生成模型训练方法、对话生成方法及装置 | |
| CN112765936B (zh) | 一种基于语言模型进行运算的训练方法及装置 | |
| CN111401042B (zh) | 一种训练文本关键内容提取模型的方法和系统 | |
| CN111078854B (zh) | 问答预测模型的训练方法及装置、问答预测方法及装置 | |
| CN113610231A (zh) | 语言模型训练方法及装置和词组推荐方法及装置 | |
| CN113570044A (zh) | 客户流失分析模型训练方法及装置 | |
| CN113886560A (zh) | 庭审问题的推荐方法以及装置 | |
| CN111506812A (zh) | 一种推荐词的生成方法、装置、存储介质及计算机设备 | |
| CN110458243B (zh) | 图像识别模型的训练方法及装置、图像识别方法及装置 | |
| CN110728625B (zh) | 一种图像推理的方法及装置 | |
| CN116522911B (zh) | 实体对齐方法及装置 | |
| CN111538822B (zh) | 一种智能客户服务机器人训练数据的生成方法和系统 | |
| CN116723234B (zh) | 推送处理方法、相关装置和介质 | |
| CN111160522B (zh) | 机器学习的抗噪方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |