CN112818669A - 一种基于生成对抗网络的语法错误纠正方法 - Google Patents

一种基于生成对抗网络的语法错误纠正方法 Download PDF

Info

Publication number
CN112818669A
CN112818669A CN202110104829.6A CN202110104829A CN112818669A CN 112818669 A CN112818669 A CN 112818669A CN 202110104829 A CN202110104829 A CN 202110104829A CN 112818669 A CN112818669 A CN 112818669A
Authority
CN
China
Prior art keywords
generator
discriminator
grammar
sentence
error correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110104829.6A
Other languages
English (en)
Inventor
王小华
令狐彬
焦璐璐
张娜
宋晓晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Sanyouhe Smart Information Technology Co Ltd
Original Assignee
Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Sanyouhe Smart Information Technology Co Ltd filed Critical Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority to CN202110104829.6A priority Critical patent/CN112818669A/zh
Publication of CN112818669A publication Critical patent/CN112818669A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明属于信息处理领域，具体涉及一种基于生成对抗网络的语法错误纠正方法，使用生成对抗网络进行语法错误纠正，所述生成对抗网络包括生成器Gθ与鉴别器Dφ两部分，生成器Gθ将语法错误的句子翻译成语法正确的重写句子，鉴别器Dφ评估生成器Gθ对错误输入的句子进行词汇相似、语义保留和语法进行正确重写的概率。本发明提出了一种基于句子对分类的鉴别器，通过学习直接优化目标，而不是构建或依赖n‑gram模型，可以更好地区分语法文本和非语法文本。并且本发明所提出的模型在测试中可以获得较传统方法更好的结果，并且不依赖于除训练数据之外的任何数据。本发明用于语法错误的纠正。

Description

一种基于生成对抗网络的语法错误纠正方法
技术领域
本发明属于信息处理领域，具体涉及一种基于生成对抗网络的语法错误纠正方法。
背景技术
近些年来，随着人工智能的发展，语法错误纠正(GEC)已经发展成为一个流行的自然语言处理任务，它作为单语机器翻译(MT)问题越来越受欢迎，系统学会将给定的错误文本“翻译”到正确的语法文本。基于此，有一些神经机器翻译(NMT)系统被开发出来，并取得了较好的结果。
尽管基于NMT的模型在GEC取得了成功，但一个主要的问题仍然在于评估指标的定义。理想情况下，在给定语法错误的输入句子时，该评估指标应该能够量化词汇重叠、语义相似性和生成句子的语法性。基于NMT的GEC模型试图最大化n-gram的评价指标，使得基于NM的模型生成尽可能高精度的n-gram语句，但是这不能保证GEC模型生成高质量的纠错文本。
发明内容
针对上述GEC模型不能生成高质量的纠错文本的技术问题，本发明提供了一种使用方便、准确率高、效率高的基于生成对抗网络的语法错误纠正方法。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于生成对抗网络的语法错误纠正方法，使用生成对抗网络进行语法错误纠正，所述生成对抗网络包括生成器Gθ与鉴别器Dφ两部分，生成器Gθ将语法错误的句子翻译成语法正确的重写句子，鉴别器Dφ评估生成器Gθ对错误输入的句子进行词汇相似、语义保留和语法进行正确重写的概率。
所述生成对抗网络的生成方法为：包括下列步骤：
S1、使用随机权重θ、φ初始化生成器Gθ、鉴别器Dφ；
S2、采用最大似然估计方法MLE，利用真实数据D＝(X,Y)对生成器Gθ进行预训练，其中，真实数据D＝(X,Y)为正确的纠正例，X为原始输入句子，Y为纠正后的句子；
S3、使用生成器Gθ生成负面样本D'＝(X,Y')，并用来训练鉴别器Dφ；
S4、在真实数据D和负面样本D'上预训练鉴别器Dφ，直到达到交叉熵损失BCE的初始精度；
S5、开始对抗训练，直到此生成对抗网络收敛。
所述S1中的生成器Gθ采用添加注意机制的循环神经网络RNN，所述鉴别器Dφ采用卷积神经网络CNN。
所述S5中生对抗训练的方法为：包括下列步骤：
S5.1、输入(X,Y)～Pdata,Y'～Gθ(·|X),ρ～[0,1],λ～[0.2,0.8]，其中，ρ和λ是用来控制交替训练的参数，所述交替训练采用最大似然估计与梯度下降策略；
S5.2、如果ρ≤λ：使用鉴别器Dφ计算(X,Y')的奖励R，并利用奖励R通过梯度策略更新生成器Gθ
如果ρ>λ：使用最大似然估计方法更新生成器Gθ；
S5.3、根据下面的目标函数和梯度下降方法在(X,Y)和(X,Y')上训练鉴别器Dφ：
Figure BDA0002917392950000021
其中，
Figure BDA0002917392950000022
为鉴别器Dφ的目标函数，所述目标函数采用标准二元交叉熵损失，Pdata为训练数据的分布，
Figure BDA0002917392950000023
为生成器Gθ输出的分布；
S5.4、重复步骤S5.1-S5.3，直到此生成对抗网络收敛。
所述生成器Gθ与鉴别器Dφ更新参数的方法为：
Figure BDA0002917392950000024
其中：θ为生成器Gθ的参数，αg为生成器的学习率；
Figure BDA0002917392950000025
其中：φ为鉴别器Dφ的参数，αd为鉴别器的学习率。
本发明与现有技术相比，具有的有益效果是：
本发明提出了一种基于句子对分类的鉴别器，通过学习直接优化目标，而不是构建或依赖n-gram模型，可以更好地区分语法文本和非语法文本。并且本发明所提出的模型在测试中可以获得较传统方法更好的结果，并且不依赖于除训练数据之外的任何数据。
附图说明
图1为本发明的生成对抗网络原理图；
图2为本发明生成对抗网络训练流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于生成对抗网络的语法错误纠正方法，使用生成对抗网络进行语法错误纠正，生成对抗网络包括生成器Gθ与鉴别器Dφ两部分，生成器Gθ将语法错误的句子翻译成语法正确的重写句子，鉴别器Dφ评估生成器Gθ对错误输入的句子进行词汇相似、语义保留和语法进行正确重写的概率。
进一步，如图1所示，生成对抗网络的生成方法为：包括下列步骤：
S1、使用随机权重θ、φ初始化生成器Gθ、鉴别器Dφ；
S2、采用最大似然估计方法MLE，利用真实数据D＝(X,Y)对生成器Gθ进行预训练，其中，真实数据D＝(X,Y)为正确的纠正例，X为原始输入句子，Y为纠正后的句子；
S3、使用生成器Gθ生成负面样本D'＝(X,Y')，并用来训练鉴别器Dφ；
S4、在真实数据D和负面样本D'上预训练鉴别器Dφ，直到达到交叉熵损失BCE的初始精度；
S5、开始对抗训练，直到此生成对抗网络收敛。
进一步，优选的，S1中的生成器Gθ采用添加注意机制的循环神经网络RNN，鉴别器Dφ采用卷积神经网络CNN。
进一步，如图2所示，S5中生对抗训练的方法为：包括下列步骤：
S5.1、输入(X,Y)～Pdata,Y'～Gθ(·|X),ρ～[0,1],λ～[0.2,0.8]，其中，ρ和λ是用来控制交替训练的参数，交替训练采用最大似然估计与梯度下降策略；
S5.2、如果ρ≤λ：使用鉴别器Dφ计算(X,Y')的奖励R，并利用奖励R通过梯度策略更新生成器Gθ
如果ρ>λ：使用最大似然估计方法更新生成器Gθ；
S5.3、根据下面的目标函数和梯度下降方法在(X,Y)和(X,Y')上训练鉴别器Dφ：
Figure BDA0002917392950000041
其中，
Figure BDA0002917392950000042
为鉴别器Dφ的目标函数，目标函数采用标准二元交叉熵损失，Pdsata为训练数据的分布，
Figure BDA0002917392950000043
为生成器Gθ输出的分布；
S5.4、重复步骤S5.1-S5.3，直到此生成对抗网络收敛。
进一步，生成器Gθ与鉴别器Dφ更新参数的方法为：
Figure BDA0002917392950000044
其中：θ为生成器Gθ的参数，αg为生成器的学习率；
Figure BDA0002917392950000045
其中：φ为鉴别器Dφ的参数，αd为鉴别器的学习率。
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于生成对抗网络的语法错误纠正方法，其特征在于：使用生成对抗网络进行语法错误纠正，所述生成对抗网络包括生成器Gθ与鉴别器Dφ两部分，生成器Gθ将语法错误的句子翻译成语法正确的重写句子，鉴别器Dφ评估生成器Gθ对错误输入的句子进行词汇相似、语义保留和语法进行正确重写的概率。
2.根据权利要求1所述的一种基于生成对抗网络的语法错误纠正方法，其特征在于：所述生成对抗网络的生成方法为：包括下列步骤：
S1、使用随机权重θ、φ初始化生成器Gθ、鉴别器Dφ；
S2、采用最大似然估计方法MLE，利用真实数据D＝(X,Y)对生成器Gθ进行预训练，其中，真实数据D＝(X,Y)为正确的纠正例，X为原始输入句子，Y为纠正后的句子；
S3、使用生成器Gθ生成负面样本D'＝(X,Y')，并用来训练鉴别器Dφ；
S4、在真实数据D和负面样本D'上预训练鉴别器Dφ，直到达到交叉熵损失BCE的初始精度；
S5、开始对抗训练，直到此生成对抗网络收敛。
3.根据权利要求2所述的一种基于生成对抗网络的语法错误纠正方法，其特征在于：所述S1中的生成器Gθ采用添加注意机制的循环神经网络RNN，所述鉴别器Dφ采用卷积神经网络CNN。
4.根据权利要求2所述的一种基于生成对抗网络的语法错误纠正方法，其特征在于：所述S5中生对抗训练的方法为：包括下列步骤：
S5.1、输入(X,Y)～Pdata,Y'～Gθ(·|X),ρ～[0,1],λ～[0.2,0.8]，其中，ρ和λ是用来控制交替训练的参数，所述交替训练采用最大似然估计与梯度下降策略；
S5.2、如果ρ≤λ：使用鉴别器Dφ计算(X,Y')的奖励R，并利用奖励R通过梯度策略更新生成器Gθ
如果ρ>λ：使用最大似然估计方法更新生成器Gθ；
S5.3、根据下面的目标函数和梯度下降方法在(X,Y)和(X,Y')上训练鉴别器Dφ：
Figure FDA0002917392940000011
其中，
Figure FDA0002917392940000012
为鉴别器Dφ的目标函数，所述目标函数采用标准二元交叉熵损失，Pdata为训练数据的分布，
Figure FDA0002917392940000021
为生成器Gθ输出的分布；
S5.4、重复步骤S5.1-S5.3，直到此生成对抗网络收敛。
5.根据权利要求4所述的一种基于生成对抗网络的语法错误纠正方法，其特征在于：所述生成器Gθ与鉴别器Dφ更新参数的方法为：
Figure FDA0002917392940000022
其中：θ为生成器Gθ的参数，αg为生成器的学习率；
Figure FDA0002917392940000023
其中：φ为鉴别器Dφ的参数，αd为鉴别器的学习率。
CN202110104829.6A 2021-01-26 2021-01-26 一种基于生成对抗网络的语法错误纠正方法 Pending CN112818669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110104829.6A CN112818669A (zh) 2021-01-26 2021-01-26 一种基于生成对抗网络的语法错误纠正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110104829.6A CN112818669A (zh) 2021-01-26 2021-01-26 一种基于生成对抗网络的语法错误纠正方法

Publications (1)

Publication Number Publication Date
CN112818669A true CN112818669A (zh) 2021-05-18

Family

ID=75859424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110104829.6A Pending CN112818669A (zh) 2021-01-26 2021-01-26 一种基于生成对抗网络的语法错误纠正方法

Country Status (1)

Country Link
CN (1) CN112818669A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970541A (zh) * 2022-05-12 2022-08-30 吉林科讯信息科技有限公司 文本语义理解方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985218A (zh) * 2020-07-30 2020-11-24 哈尔滨工业大学 一种基于生成对抗网络的司法文书自动校对方法
CN111985219A (zh) * 2020-07-30 2020-11-24 哈尔滨工业大学 一种融合单语数据的文本语法错误纠正方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985218A (zh) * 2020-07-30 2020-11-24 哈尔滨工业大学 一种基于生成对抗网络的司法文书自动校对方法
CN111985219A (zh) * 2020-07-30 2020-11-24 哈尔滨工业大学 一种融合单语数据的文本语法错误纠正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970541A (zh) * 2022-05-12 2022-08-30 吉林科讯信息科技有限公司 文本语义理解方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Ge et al. Fluency boost learning and inference for neural grammatical error correction
US10860808B2 (en) Method and system for generation of candidate translations
CN110489760B (zh) 基于深度神经网络文本自动校对方法及装置
CN109492202B (zh) 一种基于拼音的编码与解码模型的中文纠错方法
CN106202153B (zh) 一种es搜索引擎的拼写纠错方法及系统
KR20200044201A (ko) 번역 성능 개선을 위한 신경망번역 모델 학습 방법 및 장치
US11520997B2 (en) Computing device and method for generating machine translation model and machine-translation device
CN112464676B (zh) 机器翻译结果打分方法和装置
CN112580373B (zh) 一种高质量蒙汉无监督神经机器翻译方法
CN111985219A (zh) 一种融合单语数据的文本语法错误纠正方法
CN110309512A (zh) 一种基于生成对抗网络的中文语法错误更正方法
CN114064856A (zh) 一种基于XLNet-BiGRU文本纠错方法
CN114781651A (zh) 基于对比学习的小样本学习鲁棒性提升方法
CN112818669A (zh) 一种基于生成对抗网络的语法错误纠正方法
CN115358219A (zh) 一种融合无监督学习和自监督学习的中文拼写纠错方法
Wang et al. Multi-adversarial learning for cross-lingual word embeddings
CN112488111B (zh) 一种基于多层级表达引导注意力网络的指示表达理解方法
JP5635025B2 (ja) 助詞誤り訂正装置、方法、及びプログラム
CN117217210A (zh) 一种语法纠错模型的训练方法和相关装置
JP5555542B2 (ja) 自動単語対応付け装置とその方法とプログラム
CN114896966A (zh) 一种中文文本语法错误定位方法、系统、设备及介质
Ho et al. Generative latent neural models for automatic word alignment
WO2021235968A1 (ru) Система и способ корректировки орфографических ошибок
CN111597831A (zh) 混合深度学习网络与单词生成统计学指导的机器翻译方法
Ma Research on Computer Intelligent Proofreading System for English Translation Based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210518

RJ01 Rejection of invention patent application after publication