CN112084301B - 文本修正模型的训练方法及装置、文本修正方法及装置 - Google Patents
文本修正模型的训练方法及装置、文本修正方法及装置 Download PDFInfo
- Publication number
- CN112084301B CN112084301B CN202010803793.6A CN202010803793A CN112084301B CN 112084301 B CN112084301 B CN 112084301B CN 202010803793 A CN202010803793 A CN 202010803793A CN 112084301 B CN112084301 B CN 112084301B
- Authority
- CN
- China
- Prior art keywords
- word vector
- text
- corrected
- correction
- semantic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 228
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012549 training Methods 0.000 title claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 423
- 238000012986 modification Methods 0.000 claims abstract description 15
- 230000004048 modification Effects 0.000 claims abstract description 15
- 230000000875 corresponding effect Effects 0.000 claims description 98
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000009499 grossing Methods 0.000 claims description 31
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000002596 correlated effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 239000003607 modifier Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种文本修正模型的训练方法及装置、文本修正方法及装置，以提高文本修正准确率，该训练方法包括：将错误文本输入文本修正模型，获得修正词向量序列；基于修正词向量序列和目标词向量序列，获得各个修正词向量分别对应的表示文本流畅度的上下文语义信息；基于各个修正词向量对应的上下文语义信息，分别获得各个修正词向量对应的生成概率，生成概率为生成带有上下文语义信息的修正词向量的概率；基于各个修正词向量的生成概率和各个目标词向量的差异度，获得第一损失值；基于目标词向量序列和修正词向量序列之间的差异度，获得第二损失值；基于第一损失值和第二损失值的加权求和结果，更新文本修正模型的参数。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种文本修正模型的训练方法及装置、文本修正方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
目前，常见的文本修正模型(如英文作文语法修正模型)都是采用基于Transformer(机器翻译)的端到端模型框架，该模型框架中包含Encoder(编码器)和Decoder(解码器)两部分结构。在模型训练过程中，往往采用的目标分布是0-1分布，即计算损失的时候只采用唯一正确目标对应的概率，这会导致模型不能很好地学习到训练数据的多样性，降低了模型输出的准确率。
发明内容
针对上述技术问题，非常需要一种改进的方法，能够有效地提高文本修正模型的准确率。
一方面，本申请一实施例提供了一种文本修正模型的训练方法，包括：
将错误文本输入文本修正模型，获得修正文本；
基于所述修正文本的修正词向量序列和目标词向量序列，获得所述修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，其中，目标词向量序列为所述错误文本对应的正确文本的词向量序列；
基于各个修正词向量对应的上下文语义信息，分别获得各个修正词向量对应的生成概率，所述生成概率为生成带有上下文语义信息的修正词向量的概率；
基于各个修正词向量的生成概率和所述目标词向量序列中各个目标词向量的差异度，获得第一损失值；
基于所述目标词向量序列和所述修正词向量序列之间的差异度，获得第二损失值；
基于所述第一损失值和所述第二损失值的加权求和结果，更新所述文本修正模型的参数。
可选地，其中，每一次更新所述参数时，所述第一损失值对应的第一权重与所述参数已更新的次数成正相关，所述第二损失值对应的第二权重与所述参数已更新的次数负相关。
可选地，所述基于各个修正词向量的生成概率和所述目标词向量序列中各个目标词向量的差异度，获得第一损失值，具体包括：
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和各个修正词向量的生成概率之间的差异度，获得第一损失值；
所述基于所述目标词向量序列和所述修正词向量序列之间的差异度，获得第二损失值，具体包括：
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和所述修正词向量序列中各个修正词向量之间的差异度，获得第二损失值。
可选地，用于获得所述正确文本对应的目标词向量序列的词向量矩阵与所述文本修正模型的编码器中的词向量矩阵为同一词向量矩阵。
可选地，所述方法还包括：
基于所述文本修正模型中的编码器输出的所述错误文本的语义信息，更新各个修正词向量的上下文语义信息，以获得各个修正词向量分别对应的可信度语义信息；
所述基于各个修正词向量对应的上下文语义信息，分别获得各个修正词向量对应的生成概率，具体包括：
针对每一修正词向量，基于所述每一修正词向量的上下文语义信息和可信度语义信息融合后的语义信息，获得所述每一修正词向量对应的生成概率。
可选地，所述基于所述修正词向量序列和目标词向量序列，获得所述修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，具体包括：
针对所述修正词向量序列中的每一修正词向量，将所述每一修正词向量之前的修正词向量和所述目标词向量序列中位于所述每一修正词向量之后的目标词向量，确定为所述每一修正词向量的上下文信息，基于所述上下文信息，获得所述每一修正词向量的上下文语义信息。
一方面，本申请一实施例提供了一种文本修正方法，包括：
获取待处理文本；
将所述待处理文本输入已训练的文本修正模型，获得所述待处理文本对应的修正文本，所述文本修正模型是基于上述任一文本修正模型的训练方法训练获得的。
一方面，本申请一实施例提供了一种文本修正模型的训练装置，包括：
修正单元，用于将错误文本输入文本修正模型，获得修正文本；
评估单元，用于基于所述修正文本的修正词向量序列和目标词向量序列，获得所述修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，其中，目标词向量序列为所述错误文本对应的正确文本的词向量序列；以及，基于各个修正词向量对应的上下文语义信息，分别获得各个修正词向量对应的生成概率，所述生成概率为生成带有上下文语义信息的修正词向量的概率；
更新单元，用于基于各个修正词向量的生成概率和所述目标词向量序列中各个目标词向量的差异度，获得第一损失值；基于所述目标词向量序列和所述修正词向量序列之间的差异度，获得第二损失值；以及基于所述第一损失值和所述第二损失值的加权求和结果，更新所述文本修正模型的参数。
可选地，其中，每一次更新所述参数时，所述第一损失值对应的第一权重与所述参数已更新的次数成正相关，所述第二损失值对应的第二权重与所述参数已更新的次数负相关。
可选地，所述更新单元，具体用于：
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和各个修正词向量的生成概率之间的差异度，获得第一损失值；
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和所述修正词向量序列中各个修正词向量之间的差异度，获得第二损失值。
可选地，用于获得所述正确文本对应的目标词向量序列的词向量矩阵与所述文本修正模型的编码器中的词向量矩阵为同一词向量矩阵。
可选地，所述评估单元，还用于基于所述文本修正模型中的编码器输出的所述错误文本的语义信息，更新各个修正词向量的上下文语义信息，以获得各个修正词向量分别对应的可信度语义信息；
所述评估单元，具体用于针对每一修正词向量，基于所述每一修正词向量的上下文语义信息和可信度语义信息融合后的语义信息，获得所述每一修正词向量对应的生成概率。
可选地，所述评估单元，具体用于针对所述修正词向量序列中的每一修正词向量，将所述每一修正词向量之前的修正词向量和所述目标词向量序列中位于所述每一修正词向量之后的目标词向量，确定为所述每一修正词向量的上下文信息，基于所述上下文信息，获得所述每一修正词向量的上下文语义信息。
一方面，本申请一实施例提供了一种文本修正装置，包括：
获取单元，用于获取待处理文本；
文本修正单元，用于将所述待处理文本输入已训练的文本修正模型，获得所述待处理文本对应的修正文本，所述文本修正模型是基于上述任一文本修正模型的训练方法训练获得的。
一方面，本申请一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
一方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
一方面，本申请一实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现上述任一种方法的步骤。
本申请实施例提供的文本修正模型的训练方法及装置、文本修正方法及装置、电子设备及存储介质，在训练文本修正模型的过程中，基于修正词向量序列和目标词向量序列，获得各个修正词向量的表示文本流畅度的上下文语义信息，进而获得各个修正词向量对应的生成概率，基于各个修正词向量的生成概率和目标词向量序列中各个目标词向量的差异度，获得第一损失值，即从文本流畅度方面对文本修正模型的输出进行评估，结合基于目标词向量序列和修正词向量序列之间的差异度获得的第二损失值，基于多个维度的损失，对文本修正模型进行参数更新，使得文本修正模型能有效地学习到训练数据的多样性，提高了文本修正模型输出的准确率。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：
图1为本申请实施例提供的文本修正方法的应用场景示意图；
图2为本申请一实施例提供的文本修正模型的训练方法的流程示意图；
图3为本申请一实施例提供的文本修正模型和评估模块的连接示意图；
图4为本申请一实施例提供的评估模块的结构示意图；
图5为本申请一实施例提供的文本修正模型的训练装置的结构示意图；
图6为本申请一实施例提供的文本修正装置的结构示意图；
图7为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本申请的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
词向量矩阵：是将文字转化成一种数学向量形式的模型，以方便后续处理。例如，常见的词向量模型可以是Word2vec，也可以采用one-hot编码方式，将文字转换成词向量。
损失函数(loss function)，是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。例如，在机器学习中，损失函数被用于模型的参数估计(parameteric estimation)，基于损失函数得到的损失值可用来描述模型的预测值与实际值的差异程度。常见的损失函数有均方误差损失函数、SVM(Support Vector Machine，支持向量机)合页损失函数、交叉熵损失函数等。
下面参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。
发明概述
现有技术中，在训练文本修正模型时，往往采用的目标分布是0-1分布，即计算损失的时候只采用唯一正确目标对应的概率，这会导致模型不能很好地学习到训练数据的多样性，降低了模型的准确率。
为了解决上述问题，本申请提供了一种文本修正模型的训练方法，包括：将错误文本输入文本修正模型，获得修正词向量序列；基于修正词向量序列和目标词向量序列，获得修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，其中，目标词向量序列为错误文本对应的正确文本的词向量序列；基于各个修正词向量对应的上下文语义信息，分别获得各个修正词向量对应的生成概率，生成概率为生成带有上下文语义信息的修正词向量的概率；基于各个修正词向量的生成概率和目标词向量序列中各个目标词向量的差异度，获得第一损失值；基于目标词向量序列和修正词向量序列之间的差异度，获得第二损失值；基于第一损失值和第二损失值的加权求和结果，更新文本修正模型的参数。在训练文本修正模型的过程中，基于修正词向量序列和目标词向量序列，获得各个修正词向量的表示文本流畅度的上下文语义信息，进而获得各个修正词向量对应的生成概率，基于各个修正词向量的生成概率和目标词向量序列中各个目标词向量的差异度，获得第一损失值，即从文本流畅度方面对文本修正模型的输出进行评估，结合基于目标词向量序列和修正词向量序列之间的差异度获得的第二损失值，基于多个维度的损失，对文本修正模型进行参数更新，使得文本修正模型能有效地学习到训练数据的多样性，提高了文本修正模型输出的准确率。
在介绍了本申请的基本原理之后，下面具体介绍本申请的各种非限制性实施方式。
应用场景总览
参考图1，其为本申请实施例提供的文本修正方法的应用场景示意图。该应用场景包括终端设备101、服务器102、和数据存储系统103。其中，终端设备101、服务器102以及数据存储系统103之间均可通过有线或无线的通信网络连接。终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备视、个人数字助理(personal digital assistant，PDA)或其它能够实现上述功能的电子设备等。服务器102和数据存储系统103均可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器102用于向终端设备101的用户提供文本修正服务，终端设备101中安装有与服务器102通信的客户端，用户可通过该客户端输入一段待检测文本，点击检测按钮后，客户端将待检测文本发送给服务器102，服务器102将待检测文本输入已训练的文本修正模型，获得文本修正模型输出的待检测文本修对应的修正文本，将修正文本发送给客户端，客户端向用户展示修正文本，以帮助用户进行文本纠错。
数据存储系统103中存储有大量训练数据，每个训练数据包括一个错误文本和该错误文本对应的正确文本，服务器102可基于大量训练数据对文本修正模型进行训练，使得文本修正模型能够对输入的错误文本进行修正，如修正错误文本中的文字错误、语法错误、用词错误等，训练数据的来源包括但不限于已有的数据库、从互联网爬取的数据或者在用户使用客户端时上传的数据。当文本修正模型输出的准确率达到一定要求时，服务器102可基于文本修正模型向用户提供文本修正服务，同时，服务器102还可以基于新增的训练数据不断优化文本修正模型。
本申请实施例的文本修正模型可应用于语法纠错、文字纠错、文本错误检查、自动批改试卷等场景。可基于不同语言的训练数据分别对文本修正模型进行训练，以获得应用于不同语言的文本修正模型。
下面结合图1的应用场景，来描述根据本申请示例性实施方式的文本修正模型的训练方法以及文本修改方法。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
示例性方法
参考图2，本申请实施例提供了一种文本修正模型的训练方法，具体包括以下步骤：
S201、将错误文本输入文本修正模型，获得修正文本。
其中，文本修正模型是指可以对输入文本进行语法修正、文字修正等的模型。具体实施时，参考图3，文本修正模型可以采用包括编码器(Encoder)和解码器(Decoder)的网络架构。编码器对输入的错误文本经过一系列的神经网络的变换之后，表示成一个高维的向量，即语义信息。解码器负责对语义信息重新解码，以获得预测的修正文本并输出。其中，编码器中包含词向量矩阵，通过该词向量矩阵，将输入的错误文本中的各个词分别转换为对应的词向量，以获得错误文本对应的词向量序列。
S202、基于修正文本的修正词向量序列和目标词向量序列，获得修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，其中，目标词向量序列为错误文本对应的正确文本的词向量序列。
具体实施时，用于训练文本修正模型的每一训练数据包括一个错误文本和一个正确文本，例如错误文本为“I have a apple”，正确文本为“I have an apple”，通过训练数据使得训练文本修正模型学习到错误文本的错误以及错误文本对应的正确的表达方式。
具体实施时，可基于词向量矩阵，将修正文本和正确文本中的各个词分别转换为对应的词向量，以获得修正文本对应的修正词向量序列和正确文本对应的目标词向量序列。
具体实施时，针对修正词向量序列中的每一修正词向量，将每一修正词向量之前的修正词向量和目标词向量序列中位于每一修正词向量之后的目标词向量，确定为每一修正词向量的上下文信息，基于上下文信息，获得每一修正词向量的上下文语义信息。
例如，错误文本的输入词向量序列x＝(x1，x2，…xJ)，修正文本的修正词向量序列y＝(y1，y2，…yI)，正确文本的目标词向量序列y*＝(y*1，y*2，…y*I)，以修正词向量序列y中的修正词向量yi为例，将y中位于yi之前的修正词向量y1，y2，…yi-1作为yi的上文信息，确定y*中与修正词向量yi对应的目标词向量y*i，将y中位于y*i之后的目标词向量y*i+1，…y*I作为yi的下文信息。然后，基于前馈神经网络(Feed Forward)分别提取(y1，y2，…yi-1，yi)的语义信息Ap和(yi，y*i+1，…y*I)的语义信息Af，其中前馈神经网络可提供输入向量的隐藏状态，融合Ap和Af获得修正词向量y对应的上下文语义信息Ae，具体的融合方式可以是Ae＝WpAp+WfAf，其中，权重Wp和Wf可根据实际应用场景确定。由于上下文语义信息Ae融合了修正词向量yi在修正文本中的上文信息以及在正确文本中的下文信息，因此上下文语义信息Ae中包含了(y1，y2，…yi-1，yi，y*i+1，…y*I)组成的文本是否符合自然语言规律的深层语义信息，即表示文本流畅度的信息。通过上述方式，可获得每个修正词向量对应的上下文语义信息Ae，Ae是一个多维向量。
S203、基于各个修正词向量对应的上下文语义信息，分别获得各个修正词向量对应的生成概率，生成概率为生成带有上下文语义信息的修正词向量的概率。
具体实施时，针对修正词向量yi，将yi对应的上下文语义信息Ae输入已训练的神经网络中，该神经网络可包括前馈神经网络和分类网络(softmax)，基于前馈神经网络进一步提取上下文语义信息Ae的深层特征，将提取的深层特征输入分类网络，获得生成带有yi对应的上下文语义信息的修正词向量yi的概率Pe。其中，生成概率Pe是一个维度等于词表中单词量的向量，例如词表中的单词量为N，则生成概率Pe是一个N维的向量，向量中每一维的数值表示生成对应的单词的概率，例如Pe＝(0.01,0.002，…，0.56，…0.11)；经过词向量矩阵获得的目标词向量也是一个N维的向量，例如目标词向量对应词表中第i个单词，则目标词向量的第i维的值为1，其它维度的值为0。
S204、基于各个修正词向量的生成概率和目标词向量序列中各个目标词向量的差异度，获得第一损失值。
具体实施时，基于损失函数计算各个修正词向量的生成概率和目标词向量序列中各个目标词向量的差异度，获得第一损失值。例如可基于叉熵损失函数计算第一损失值，具体公式如下：
具体实施时，还可以基于Label Smoothing Cross Entropy Loss(标签平滑交叉熵损失)获得第一损失值，具体包括：对目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和各个修正词向量的生成概率之间的差异度，获得第一损失值。上述基于Label Smoothing Cross Entropy Loss获得第一损失值的过程可通过如下公式表示：
基于Label Smoothing Cross Entropy Loss调整目标分布，可生成更加多样性的目标修正结果，从而使得文本修正模型学习到训练样本中包含的更多的信息。
S205、基于目标词向量序列和修正词向量序列之间的差异度，获得第二损失值。
具体实施时，基于损失函数计算目标词向量序列和修正词向量序列之间的差异度，获得第二损失值。例如可基于叉熵损失函数(Cross Entropy Loss)计算第二损失值，具体公式如下：
具体实施时，还可以基于Label Smoothing Cross Entropy Loss获得第二损失值，具体包括：对目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和修正词向量序列中各个修正词向量之间的差异度，获得第二损失值。上述基于Label Smoothing Cross Entropy Loss获得第二损失值的过程可通过如下公式表示：
基于Label Smoothing Cross Entropy Loss调整目标分布，可生成更加多样性的目标修正结果，从而使得文本修正模型学习到训练样本中包含的更多的信息。
具体实施时，可在执行步骤S202～S204的同时执行步骤S205；也可以先执行步骤S205，再执行步骤S202～S204；或者先执行步骤S202～S204，再执行步骤S205。
S206、基于第一损失值和第二损失值的加权求和结果，更新文本修正模型的参数。
参考图3，文本修正模型包括编码器和解码器两个部分，编码器将输入文本修正模型的错误文本转换为语义信息，解码器对该语义信息重新解码，以获得预测的修正文本并输出，上述过程对应步骤S201。将错误文本对应的正确文本和文本修正模型输出的修正文本输入评估模块，评估模块用于执行上述步骤S202～S204的方法，以获得修正文本和正确文本之间的第一损失值。同时可基于目标词向量序列和修正词向量序列之间的差异度，获得第二损失值。最后，基于第一损失值和第二损失值的加权求和结果获得融合损失，基于融合损失计算梯度并进行反向传递，以更新文本修正模型的参数。
在训练文本修正模型的过程中，基于修正词向量序列和目标词向量序列，获得各个修正词向量的表示文本流畅度的上下文语义信息，进而获得各个修正词向量对应的生成概率，基于各个修正词向量的生成概率和目标词向量序列中各个目标词向量的差异度，获得第一损失值，即从文本流畅度方面对文本修正模型的输出进行评估，结合基于目标词向量序列和修正词向量序列之间的差异度获得的第二损失值，基于多个维度的损失，对文本修正模型进行参数更新，使得文本修正模型能有效地学习到训练数据的多样性，提高了文本修正模型输出的准确率。
具体实施时，由于第一损失值对应的学习任务相对更加简单，可以很快的完成训练，因此可在模型训练后期减少第一损失值对整体模型的影响，为此，可给第一损失值和第二损失值分配不同的权重。具体地，每一次更新参数时，第一损失值对应的第一权重与参数已更新的次数成正相关，第二损失值对应的第二权重与参数已更新的次数负相关，即随着模型训练的逐步进行，第一损失值的权重逐步降低直至0，而第二损失值的权重逐步增加，因此在模型训练的后期，第一损失值可忽略不计。
具体实施时，用于获得正确文本对应的目标词向量序列的词向量矩阵与文本修正模型的编码器中的词向量矩阵可以为同一词向量矩阵。即图3的评估模块中使用的词向量矩阵与解码器中使用的词向量矩阵相同，通过评估模块和解码器共享词向量矩阵，可以提高模型训练时的收敛速度，且可以提升模型效果。
在上述任一实施方式的基础上，本申请实施例的文本修正模型的训练方法还包括如下步骤：基于文本修正模型中的编码器输出的错误文本的语义信息，更新各个修正词向量的上下文语义信息，以获得各个修正词向量分别对应的可信度语义信息。
具体实施时，可将编码器输出的错误文本的语义信息和各个修正词向量的上下文语义信息输入Multi-head attention(多头注意力)模块，基于Multi-head attention模块更新各个修正词向量的上下文语义信息，以获得各个修正词向量分别对应的可信度语义信息。
基于此，步骤S203具体包括：针对每一修正词向量，基于每一修正词向量的上下文语义信息和可信度语义信息融合后的语义信息，获得每一修正词向量对应的生成概率。
图4为图3所示的评估模块的内部结构示意图。文本修正模型输入的修正文本经过词向量矩阵后转换为修正词向量序列，将修正词向量序列和过去标签向量(Past LabelEmbedding)以及位置向量(Position Embedding)相加之后，输入到过去编码器(PastEncoder)中，基于多头注意力(Multi-Head Attention)模块和未来掩膜(Future Mask)去掉当前处理的修正词向量yi之后的修正词向量(yi+1，…yI)，并经过前馈神经网络(FeedForward)提取(y1，y2，…yi-1，yi)的隐藏状态信息，上述步骤循环N次之后输出上下文语义信息Ap。与此同时，正确文本经过词向量矩阵后转换为目标词向量序列，将目标词向量序列和未来标签向量(Future Label Embedding)以及位置向量(Position Embedding)相加之后，输入到未来编码器(Future Encoder)中，基于多头注意力(Multi-Head Attention)模块和过去掩膜(Past Mask)去掉当前处理的修正词向量yi之后的修正词向量(y*1，y*2，…y*i-1)，并经过前馈神经网络(Feed Forward)提取(yi，y*i+1，…y*I)的隐藏状态信息，上述步骤循环N次之后输出上下文语义信息Af。第一融合模块对Ap和Af进行融合，输出上下文语义信息Ae，第一融合模块的作用是将过去的信息(对应yi之前的修正词向量)和未来的信息(对应yi之后的目标词向量)融合，以便基于上下文语义信息Ae判断修正文本的流畅度。然后，将编码器输出的错误文本的语义信息和各个修正词向量的上下文语义信息输入Multi-headattention(多头注意力)模块，基于Multi-head attention模块更新各个修正词向量的上下文语义信息，以获得各个修正词向量分别对应的可信度语义信息，上述步骤的目的是对错误文本和正确文本的信息进行初步融合。基于第二融合模块，将各个修正词向量的上下文语义信息和可信度语义信息进行融合，获得融合后的语义信息，具体地，可对上下文语义信息和可信度语义信息进行加权求和，然后，将融合后的语义信息输入前馈神经网络，获得融合后的语义信息的深层特征隐，将获得的深层特征输入分类网络，获得生成各个修正词向量的概率Pe。
表1为几种训练方法获得的文本修正模型的实现数据。其中，指标P代表Precision(准确率)，表征的是文本修正模型修改的所有错误中修改正确的比例，P越高表明文本修正模型。指标R该表Recall(召回率)，表征的是希望文本修正模型修改的所有错误中模型实际修改的错误的比例。指标F0.5同时考虑了P和R的影响，其中，模型一为基于现有的BaseLine训练方法获得的文本修正模型，模型二为基于本申请实施例提供的一种训练方法获得的文本修正模型(不共享词向量矩阵)，模型三为基于本申请实施例提供的另一种训练方法获得的文本修正模型(共享词向量矩阵)。从表1的数据来看，模型二和模型三的准确率和找回率更高，此外对比模型二和模型三的指标可发现，共享词向量矩阵后，模型收敛需要的轮次更少，而且最终获得的模型的效果优于其他训练方式获得的模型，因此通过共享词向量矩阵，可以简化模型的学习复杂度，提高学习速度。
表1
本申请实施例还提供了一种文本修正方法，可应用于服务器或终端设备，具体包括如下步骤：获取待处理文本；将待处理文本输入已训练的文本修正模型，获得待处理文本对应的修正文本，其中文本修正模型是基于上述任一实施方式提供的文本修正模型的训练方法获得的。
具体实施时，待处理文本可以是用户通过客户端输入的文本信息，客户端将待处理文本发送给服务器，服务器将待处理文本输入已训练的文本修正模型，获得该待处理文本对应的修正文本，将修正文本发送给客户端，客户端显示修正文本。客户端还可以将修正文本与待处理文本进行比对，确定出修正文本中与待处理文本不同的部分，并标注出这些不同的部分。
具体实施时，客户端也可以从服务器端获取到文本修正模型，并存储在终端设备中，当用户通过客户端输入文本信息时，可基于本地存储的文本修正模型直接在终端设备上进行文本修正。
示例性设备
参考图5，基于与上述文本修正模型的训练方法相同的发明构思，本申请实施例还提供了一种文本修正模型的训练装置50，具体包括：修正单元501、评估单元502和更新单元503。
修正单元501，用于将错误文本输入文本修正模型，获得修正文本；
评估单元502，用于基于所述修正文本的修正词向量序列和目标词向量序列，获得所述修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，其中，目标词向量序列为所述错误文本对应的正确文本的词向量序列；以及，基于各个修正词向量对应的上下文语义信息，分别获得各个修正词向量对应的生成概率，所述生成概率为生成带有上下文语义信息的修正词向量的概率；
更新单元503，用于基于各个修正词向量的生成概率和所述目标词向量序列中各个目标词向量的差异度，获得第一损失值；基于所述目标词向量序列和所述修正词向量序列之间的差异度，获得第二损失值；以及基于所述第一损失值和所述第二损失值的加权求和结果，更新所述文本修正模型的参数。
可选地，其中，每一次更新所述参数时，所述第一损失值对应的第一权重与所述参数已更新的次数成正相关，所述第二损失值对应的第二权重与所述参数已更新的次数负相关。
可选地，所述更新单元503，具体用于：
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和各个修正词向量的生成概率之间的差异度，获得第一损失值；
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和所述修正词向量序列中各个修正词向量之间的差异度，获得第二损失值。
可选地，用于获得所述正确文本对应的目标词向量序列的词向量矩阵与所述文本修正模型的编码器中的词向量矩阵为同一词向量矩阵。
可选地，所述评估单元502，还用于基于所述文本修正模型中的编码器输出的所述错误文本的语义信息，更新各个修正词向量的上下文语义信息，以获得各个修正词向量分别对应的可信度语义信息；
所述评估单元502，具体用于针对每一修正词向量，基于所述每一修正词向量的上下文语义信息和可信度语义信息融合后的语义信息，获得所述每一修正词向量对应的生成概率。
可选地，所述评估单元502，具体用于针对所述修正词向量序列中的每一修正词向量，将所述每一修正词向量之前的修正词向量和所述目标词向量序列中位于所述每一修正词向量之后的目标词向量，确定为所述每一修正词向量的上下文信息，基于所述上下文信息，获得所述每一修正词向量的上下文语义信息。
本申请实施例提的文本修正模型的训练装置与上述文本修正模型的训练方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
参考图6，基于与上述文本修正方法相同的发明构思，本申请实施例还提供了一种文本修正装置，包括：获取单元601和文本修正单元602。
获取单元601，用于获取待处理文本；
文本修正单元602，用于将所述待处理文本输入已训练的文本修正模型，获得所述待处理文本对应的修正文本，所述文本修正模型是基于上述任一实施方式中的文本修正模型的训练方法训练获得的。
本申请实施例提的文本修正装置与上述文本修正方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
基于与上述文本修正模型的训练方法或文本修正方法相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备具体可以为单个物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器等。如图7所示，该电子设备70可以包括至少一个处理器701和至少一个存储器702。其中，存储器702存储有程序代码，当程序代码被处理器701执行时，使得处理器701执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的文本修正模型的训练方法或文本修正方法中的各种步骤。例如，处理器701可以执行如图2中所示的S201、将错误文本输入文本修正模型，获得修正文本；S202、基于修正文本的修正词向量序列和目标词向量序列，获得修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，其中，目标词向量序列为错误文本对应的正确文本的词向量序列；S203、基于各个修正词向量对应的上下文语义信息，分别获得各个修正词向量对应的生成概率，生成概率为生成带有上下文语义信息的修正词向量的概率；S204、基于各个修正词向量的生成概率和目标词向量序列中各个目标词向量的差异度，获得第一损失值；S205、基于目标词向量序列和修正词向量序列之间的差异度，获得第二损失值；S206、基于第一损失值和第二损失值的加权求和结果，更新文本修正模型的参数。
处理器701可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
示例性程序产品
本申请实施例提供了一种计算机可读存储介质，用于储存为上述电子设备所用的计算机程序指令，其包含用于执行本申请任一示例性实施方式中的文本修正模型的训练方法的程序或文本修正方法的程序。
上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
在一些可能的实施方式中，本申请的各个方面还可以实现为一种计算机程序产品，其包括程序代码，当该计算机程序产品在服务器设备上运行时，该计算机程序产品用于使所述服务器设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的文本修正模型的训练方法或文本修正方法中的步骤，例如，所述服务器设备可以执行如图2中所示的步骤S201、将错误文本输入文本修正模型，获得修正文本；S202、基于修正文本的修正词向量序列和目标词向量序列，获得修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，其中，目标词向量序列为错误文本对应的正确文本的词向量序列；S203、基于各个修正词向量对应的上下文语义信息，分别获得各个修正词向量对应的生成概率，生成概率为生成带有上下文语义信息的修正词向量的概率；S204、基于各个修正词向量的生成概率和目标词向量序列中各个目标词向量的差异度，获得第一损失值；S205、基于目标词向量序列和修正词向量序列之间的差异度，获得第二损失值；S206、基于第一损失值和第二损失值的加权求和结果，更新文本修正模型的参数。
所述计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
根据本申请的实施方式的用于视频处理的计算机程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在服务器设备上运行。然而，本申请的程序产品不限于此，在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本申请的精神和原理，但是应该理解，本申请并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本申请旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (16)
1.一种文本修正模型的训练方法，其特征在于，包括：
将错误文本输入文本修正模型，获得修正文本；
基于所述修正文本的修正词向量序列和目标词向量序列，获得所述修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，其中，目标词向量序列为所述错误文本对应的正确文本的词向量序列；
基于各个修正词向量对应的上下文语义信息和已训练的神经网络，获得各个修正词向量对应的生成概率，所述生成概率为生成带有上下文语义信息的修正词向量的概率；
基于各个修正词向量的生成概率和所述目标词向量序列中各个目标词向量的差异度，获得第一损失值；
基于所述目标词向量序列和所述修正词向量序列之间的差异度，获得第二损失值；
基于所述第一损失值和所述第二损失值的加权求和结果，更新所述文本修正模型的参数。
2.根据权利要求1所述的方法，其特征在于，其中，每一次更新所述参数时，所述第一损失值对应的第一权重与所述参数已更新的次数成正相关，所述第二损失值对应的第二权重与所述参数已更新的次数负相关。
3.根据权利要求2所述的方法，其特征在于，所述基于各个修正词向量的生成概率和所述目标词向量序列中各个目标词向量的差异度，获得第一损失值，具体包括：
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和各个修正词向量的生成概率之间的差异度，获得第一损失值；
所述基于所述目标词向量序列和所述修正词向量序列之间的差异度，获得第二损失值，具体包括：
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和所述修正词向量序列中各个修正词向量之间的差异度，获得第二损失值。
4.根据权利要求1至3任一项所述的方法，其特征在于，用于获得所述正确文本对应的目标词向量序列的词向量矩阵与所述文本修正模型的编码器中的词向量矩阵为同一词向量矩阵。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
基于所述文本修正模型中的编码器输出的所述错误文本的语义信息，更新各个修正词向量的上下文语义信息，以获得各个修正词向量分别对应的可信度语义信息；
所述基于各个修正词向量对应的上下文语义信息和已训练的神经网络，获得各个修正词向量对应的生成概率，具体包括：
针对每一修正词向量，将所述每一修正词向量的上下文语义信息和可信度语义信息融合后的语义信息输入所述神经网络，获得所述每一修正词向量对应的生成概率。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述修正词向量序列和目标词向量序列，获得所述修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，具体包括：
针对所述修正词向量序列中的每一修正词向量，将所述每一修正词向量之前的修正词向量和所述目标词向量序列中位于所述每一修正词向量之后的目标词向量，确定为所述每一修正词向量的上下文信息，基于所述上下文信息，获得所述每一修正词向量的上下文语义信息。
7.一种文本修正方法，其特征在于，包括：
获取待处理文本；
将所述待处理文本输入已训练的文本修正模型，获得所述待处理文本对应的修正文本，所述文本修正模型是基于权利要求1至6中的任一方法训练获得的。
8.一种文本修正模型的训练装置，其特征在于，包括：
修正单元，用于将错误文本输入文本修正模型，获得修正文本；
评估单元，用于基于所述修正文本的修正词向量序列和目标词向量序列，获得所述修正词向量序列中的各个修正词向量分别对应的表示文本流畅度的上下文语义信息，其中，目标词向量序列为所述错误文本对应的正确文本的词向量序列；以及，基于各个修正词向量对应的上下文语义信息和已训练的神经网络，获得各个修正词向量对应的生成概率，所述生成概率为生成带有上下文语义信息的修正词向量的概率；
更新单元，用于基于各个修正词向量的生成概率和所述目标词向量序列中各个目标词向量的差异度，获得第一损失值；基于所述目标词向量序列和所述修正词向量序列之间的差异度，获得第二损失值；以及基于所述第一损失值和所述第二损失值的加权求和结果，更新所述文本修正模型的参数。
9.根据权利要求8所述的装置，其特征在于，其中，每一次更新所述参数时，所述第一损失值对应的第一权重与所述参数已更新的次数成正相关，所述第二损失值对应的第二权重与所述参数已更新的次数负相关。
10.根据权利要求9所述的装置，其特征在于，所述更新单元，具体用于：
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和各个修正词向量的生成概率之间的差异度，获得第一损失值；
对所述目标词向量序列中的各个目标词向量进行标签平滑处理，基于经过标签平滑处理后的各个目标词向量和所述修正词向量序列中各个修正词向量之间的差异度，获得第二损失值。
11.根据权利要求8至10任一项所述的装置，其特征在于，用于获得所述正确文本对应的目标词向量序列的词向量矩阵与所述文本修正模型的编码器中的词向量矩阵为同一词向量矩阵。
12.根据权利要求8至10任一项所述的装置，其特征在于，所述评估单元，还用于基于所述文本修正模型中的编码器输出的所述错误文本的语义信息，更新各个修正词向量的上下文语义信息，以获得各个修正词向量分别对应的可信度语义信息；
所述评估单元，具体用于针对每一修正词向量，将所述每一修正词向量的上下文语义信息和可信度语义信息融合后的语义信息输入所述神经网络，获得所述每一修正词向量对应的生成概率。
13.根据权利要求8至10任一项所述的装置，其特征在于，所述评估单元，具体用于针对所述修正词向量序列中的每一修正词向量，将所述每一修正词向量之前的修正词向量和所述目标词向量序列中位于所述每一修正词向量之后的目标词向量，确定为所述每一修正词向量的上下文信息，基于所述上下文信息，获得所述每一修正词向量的上下文语义信息。
14.一种文本修正装置，其特征在于，包括：
获取单元，用于获取待处理文本；
文本修正单元，用于将所述待处理文本输入已训练的文本修正模型，获得所述待处理文本对应的修正文本，所述文本修正模型是基于权利要求1至7中的任一方法训练获得的。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010803793.6A CN112084301B (zh) | 2020-08-11 | 2020-08-11 | 文本修正模型的训练方法及装置、文本修正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010803793.6A CN112084301B (zh) | 2020-08-11 | 2020-08-11 | 文本修正模型的训练方法及装置、文本修正方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112084301A CN112084301A (zh) | 2020-12-15 |
| CN112084301B true CN112084301B (zh) | 2023-12-15 |
Family
ID=73735893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010803793.6A Active CN112084301B (zh) | 2020-08-11 | 2020-08-11 | 文本修正模型的训练方法及装置、文本修正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112084301B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113066494B (zh) * | 2021-03-15 | 2024-03-08 | 上海云从汇临人工智能科技有限公司 | 文本纠错模型生成方法及系统、文本纠错方法、系统、设备及介质 |
| CN112966506A (zh) * | 2021-03-23 | 2021-06-15 | 北京有竹居网络技术有限公司 | 一种文本处理方法、装置、设备及存储介质 |
| CN113553834B (zh) * | 2021-06-30 | 2023-09-22 | 北京百度网讯科技有限公司 | 文本纠错方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804428A (zh) * | 2018-06-12 | 2018-11-13 | 苏州大学 | 一种译文中术语错译的纠正方法、系统及相关装置 |
| CN110162766A (zh) * | 2018-02-12 | 2019-08-23 | 深圳市腾讯计算机系统有限公司 | 词向量更新方法和装置 |
| CN110347799A (zh) * | 2019-07-12 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 语言模型训练方法、装置和计算机设备 |
| CN110555209A (zh) * | 2018-05-30 | 2019-12-10 | 北京三星通信技术研究有限公司 | 训练词向量模型的方法及装置 |
| JP2020034704A (ja) * | 2018-08-29 | 2020-03-05 | 富士通株式会社 | テキスト生成装置、テキスト生成プログラムおよびテキスト生成方法 |
| CN111046652A (zh) * | 2019-12-10 | 2020-04-21 | 拉扎斯网络科技（上海）有限公司 | 文本纠错方法、文本纠错装置、存储介质和电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140214401A1 (en) * | 2013-01-29 | 2014-07-31 | Tencent Technology (Shenzhen) Company Limited | Method and device for error correction model training and text error correction |
-
2020
- 2020-08-11 CN CN202010803793.6A patent/CN112084301B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110162766A (zh) * | 2018-02-12 | 2019-08-23 | 深圳市腾讯计算机系统有限公司 | 词向量更新方法和装置 |
| CN110555209A (zh) * | 2018-05-30 | 2019-12-10 | 北京三星通信技术研究有限公司 | 训练词向量模型的方法及装置 |
| CN108804428A (zh) * | 2018-06-12 | 2018-11-13 | 苏州大学 | 一种译文中术语错译的纠正方法、系统及相关装置 |
| JP2020034704A (ja) * | 2018-08-29 | 2020-03-05 | 富士通株式会社 | テキスト生成装置、テキスト生成プログラムおよびテキスト生成方法 |
| CN110347799A (zh) * | 2019-07-12 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 语言模型训练方法、装置和计算机设备 |
| CN111046652A (zh) * | 2019-12-10 | 2020-04-21 | 拉扎斯网络科技（上海）有限公司 | 文本纠错方法、文本纠错装置、存储介质和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| Dynamic Label Correction for Distant Supervision Relation Extraction via Semantic Similarity;Xinyu Zhu等;《Natural Language Processing and Chinese Computing》;16-27 * |
| 基于上下文语义的新闻人名纠错方法;杨越等;《电子科技大学学报》;第48卷(第6期);809-814 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112084301A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112528672B (zh) | 一种基于图卷积神经网络的方面级情感分析方法及装置 | |
| US11487954B2 (en) | Multi-turn dialogue response generation via mutual information maximization | |
| US20210081503A1 (en) | Utilizing a gated self-attention memory network model for predicting a candidate answer match to a query | |
| CN112084301B (zh) | 文本修正模型的训练方法及装置、文本修正方法及装置 | |
| US11972365B2 (en) | Question responding apparatus, question responding method and program | |
| US11544474B2 (en) | Generation of text from structured data | |
| CN112966074B (zh) | 一种情感分析方法、装置、电子设备以及存储介质 | |
| WO2018051841A1 (ja) | モデル学習装置、その方法、及びプログラム | |
| CN110704576B (zh) | 一种基于文本的实体关系抽取方法及装置 | |
| CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
| US11380301B2 (en) | Learning apparatus, speech recognition rank estimating apparatus, methods thereof, and program | |
| WO2023197613A1 (zh) | 一种小样本微调方法、系统及相关装置 | |
| US11954594B1 (en) | Training recurrent neural networks to generate sequences | |
| CN114676234A (zh) | 一种模型训练方法及相关设备 | |
| CN111859967B (zh) | 实体识别方法、装置，电子设备 | |
| CN108536735B (zh) | 基于多通道自编码器的多模态词汇表示方法与系统 | |
| CN112149604A (zh) | 视频特征提取模型的训练方法、视频推荐方法及装置 | |
| CN111488455A (zh) | 模型训练的方法、文本分类的方法、系统、设备及介质 | |
| CN116136870A (zh) | 基于增强实体表示的智能社交对话方法、对话系统 | |
| CN116168401A (zh) | 基于多模态码本的文本图像翻译模型的训练方法 | |
| CN114528387A (zh) | 基于对话流自举的深度学习对话策略模型构建方法和系统 | |
| CN108475346A (zh) | 神经随机访问机器 | |
| CN116756536A (zh) | 数据识别方法、模型训练方法、装置、设备及存储介质 | |
| CN113704466B (zh) | 基于迭代网络的文本多标签分类方法、装置及电子设备 | |
| CN111161238A (zh) | 图像质量评价方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |