CN111507092A - 一种基于cnn与bert模型的英文语法纠错方法 - Google Patents

一种基于cnn与bert模型的英文语法纠错方法 Download PDF

Info

Publication number
CN111507092A
CN111507092A CN201910085507.4A CN201910085507A CN111507092A CN 111507092 A CN111507092 A CN 111507092A CN 201910085507 A CN201910085507 A CN 201910085507A CN 111507092 A CN111507092 A CN 111507092A
Authority
CN
China
Prior art keywords
error correction
cnn
bert
models
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910085507.4A
Other languages
English (en)
Inventor
马士成
贾艳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bozhi Tianxia Information Technology Co ltd
Original Assignee
Beijing Bozhi Tianxia Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bozhi Tianxia Information Technology Co ltd filed Critical Beijing Bozhi Tianxia Information Technology Co ltd
Priority to CN201910085507.4A priority Critical patent/CN111507092A/zh
Publication of CN111507092A publication Critical patent/CN111507092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

英文语法纠错是自然语言处理领域中的一个重要研究方向。传统的语法纠错系统多基于规则判断，能够检测出的错误种类有限，扩展能力差。现有的基于循环神经网络的语法纠错系统在面对长句子时，容易丢失头尾的信息，且由于无法并行提取特征，致使训练周期长。本发明提供了一种基于CNN与BERT模型的英文语法纠错方法。模型采用了CNN+Attention+BERT结构，实现方式采用了Encoder‑Decoder框架。通过卷积，能够高效并准确地提取上下文的特征；Attention层为不同的单词增加的权重，使得模型可以学到更重要的特征；BERT采用了Masked Language Model的方式来训练语言模型，通过fine‑tuning可以为其添加（0,1）分类任务，用于为纠错系统输出的句子评分，提高系统准确度。

Description

一种基于CNN与BERT模型的英文语法纠错方法
技术领域
本发明是自然语言处理领域中的一项任务，主要是一种基于CNN（ConvolutionalNeural Networks，卷积神经网络）与BERT（Bidirectional Encoder Representationsfrom Transformers）模型的英文语法纠错方法。
背景技术
对于国内英语学习者来说，语法往往是他们在英语学习中的难点，由于教学资源有限，学习者们遇到的语法问题往往不能及时得到正确的修改意见与范例。如果能有一种语法纠错系统，使得学习者们在学习和使用英语的过程中出现的语法错误能够被及时地指出，并给出相应的反馈建议，则可以极大地降低学习者们学习的难度，并显著地提高他们的英语水平。传统的英文纠错系统大多是单纯基于统计机器翻译原理或是基于某种语法规则而实现的纠错系统，准确度不高，训练模型效率低，能够查出的语法错误类型也有限。针对这些问题，本文提出了一种基于CNN与BERT模型的英文语法纠错方法。利用CNN +Attention（注意力机制）有效地提取句子特征；同时通过对BERT模型进行fine-tuning（参数微调），训练新的语言模型，为神经网络的输出结果评分，选出最佳的纠错结果。
发明内容
本发明提出一种基于CNN与BERT模型的英文语法纠错方法，将语法纠错视为一种从错误的“坏英语”到对应正确的“好英语”的翻译类任务，使用Encoder – Decoder（编码 -解码）框架。模型采用了CNN + Attention + BERT结构。通过大量的平行语料，训练CNN模型，使其学习从错误句子到正确句子的映射；同时，在Decoder层添加Attention模块，为单词增加权重，以提高模型的精确度；利用大量平行语料对BERT模型进行fine-tuning，实现（0, 1）分类的效果，当输入一个句子时，可以返回将该句子判断为正确的概率值。将CNN模型的纠错结果输入BERT模型中，得到相应的得分，结合二者的评分，即可选出最佳的纠错结果。
附图说明：
图1 英语语法纠错系统流程图
图2 多层卷积模型体系结构图
图3 BERT评分流程图
具体实施步骤：
本发明实现的方法流程如图1所示，整体主要包含以下三个步骤：数据收集，模型训练，模型运用。
数据收集：在互联网上收集大量的“错误 - 正确”的英语平行语料，分别存放在两个文件中，存放顺序一致。
模型训练：对于神经网络模型，将平行语料输入到Encoder – Decoder框架中，模型框架如图2所示（其中，S1 表示传入第一个编码层中的词向量，F1 表示S1 经过卷积操作后得到的张量，O1 表示F1 经过全连接层后得到的张量，D1 表示第一个解码层解码后得到的张量）。通过设置学习率等参数，让模型进行迭代训练，直至生成理想的模型；对于BERT评分模型，将平行语料输入到预训练好的BERT模型中进行fine-tuning，为其添加（0, 1）分类任务，对错误的句子添加“0”标签，正确的句子添加“1”标签，fine-tuning完成后，模型即可为输入的句子给出判断其为“0”或“1”的概率，这里我们取正确（判断为“1”）的概率。
模型运用：得到训练好的CNN模型和BERT模型后，我们将有语法错误的句子输入CNN模型，会得到5个修改结果，再将这5个修改结果输入BERT模型，分别得到它们是正确句子的概率，取概率值最高的句子，即为最终的纠错结果。
结合一个具体的实例方法，语法纠错操作流程步骤如下：
1)搜集大量的“错误 - 正确”平行语料；
2)利用卷积神经网络训练纠错模型；
3)利用BERT训练评分模型；
4)将待纠错的句子输入步骤2中的模型，得到纠错结果后输入步骤3中的模型，得到相应的分数，取得分最高的句子为最终的纠错结果。

Claims (2)

1.一种基于CNN与BERT模型的英文语法纠错方法，利用基于Encoder-Decoder框架的CNN + Attention模型对英文句子进行纠错。
2.一种基于CNN与BERT模型的英文语法纠错方法，利用BERT模型为英文句子评分。
CN201910085507.4A 2019-01-29 2019-01-29 一种基于cnn与bert模型的英文语法纠错方法 Pending CN111507092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910085507.4A CN111507092A (zh) 2019-01-29 2019-01-29 一种基于cnn与bert模型的英文语法纠错方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910085507.4A CN111507092A (zh) 2019-01-29 2019-01-29 一种基于cnn与bert模型的英文语法纠错方法

Publications (1)

Publication Number Publication Date
CN111507092A true CN111507092A (zh) 2020-08-07

Family

ID=71873979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910085507.4A Pending CN111507092A (zh) 2019-01-29 2019-01-29 一种基于cnn与bert模型的英文语法纠错方法

Country Status (1)

Country Link
CN (1) CN111507092A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113609824A (zh) * 2021-08-10 2021-11-05 上海交通大学 基于文本编辑和语法纠错的多轮对话改写方法及系统
CN113948066A (zh) * 2021-09-06 2022-01-18 北京数美时代科技有限公司 一种实时转译文本的纠错方法、系统、存储介质和装置
CN114676683A (zh) * 2020-12-24 2022-06-28 广州视源电子科技股份有限公司 文本纠错方法、装置、计算机设备和存储介质
WO2022141844A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 文本纠错方法、装置、设备及可读存储介质
CN114970506A (zh) * 2022-06-09 2022-08-30 广东外语外贸大学 基于多粒度语法错误模板学习微调的语法纠错方法和系统
CN115221873A (zh) * 2022-09-20 2022-10-21 深圳大道云科技有限公司 输入词汇的补全方法、装置、设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676683A (zh) * 2020-12-24 2022-06-28 广州视源电子科技股份有限公司 文本纠错方法、装置、计算机设备和存储介质
WO2022141844A1 (zh) * 2020-12-31 2022-07-07 平安科技（深圳）有限公司 文本纠错方法、装置、设备及可读存储介质
CN113609824A (zh) * 2021-08-10 2021-11-05 上海交通大学 基于文本编辑和语法纠错的多轮对话改写方法及系统
CN113948066A (zh) * 2021-09-06 2022-01-18 北京数美时代科技有限公司 一种实时转译文本的纠错方法、系统、存储介质和装置
CN113948066B (zh) * 2021-09-06 2022-07-12 北京数美时代科技有限公司 一种实时转译文本的纠错方法、系统、存储介质和装置
CN114970506A (zh) * 2022-06-09 2022-08-30 广东外语外贸大学 基于多粒度语法错误模板学习微调的语法纠错方法和系统
CN115221873A (zh) * 2022-09-20 2022-10-21 深圳大道云科技有限公司 输入词汇的补全方法、装置、设备及存储介质
CN115221873B (zh) * 2022-09-20 2023-01-17 深圳大道云科技有限公司 输入词汇的补全方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111507092A (zh) 一种基于cnn与bert模型的英文语法纠错方法
CN109857845B (zh) 模型训练及数据检索方法、装置、终端及计算机可读存储介质
CN108170686B (zh) 文本翻译方法及装置
CN107977356A (zh) 识别文本纠错方法及装置
CN112464676B (zh) 机器翻译结果打分方法和装置
CN111062376A (zh) 基于光学字符识别与纠错紧耦合处理的文本识别方法
CN111062397A (zh) 一种智能票据处理系统
CN110276069A (zh) 一种中国盲文错误自动检测方法、系统及存储介质
CN111985219A (zh) 一种融合单语数据的文本语法错误纠正方法
CN112989806A (zh) 一种智能化文本纠错模型训练方法
CN115906857A (zh) 一种基于词汇增强的中医文本命名实体识别方法
CN113591460A (zh) 一种基于迭代知识迁移的机器翻译风格迁移性能提升方法
CN115293139A (zh) 一种语音转写文本纠错模型的训练方法和计算机设备
CN112364125A (zh) 一种联合阅读课程学习机制的文本信息抽取系统及方法
CN116861929A (zh) 基于深度学习的机器翻译系统
CN114881010A (zh) 一种基于Transformer和多任务学习的中文语法纠错方法
CN115630635B (zh) 一种基于检索和多阶段的中文文本校对方法、系统及设备
CN115034236B (zh) 一种基于知识蒸馏的中英机器翻译方法
CN116306940A (zh) 一种基于bert编码的数学应用题求解系统及方法
CN116306592A (zh) 一种基于阅读理解的老年痴呆量表纠错方法、系统及介质
CN102156692A (zh) 统计机器翻译中的基于森林的系统融合方法
CN114944148A (zh) 融合外部语言知识的流式越南语语音识别方法
CN115309886A (zh) 基于多模态信息输入的人工智能文本创作方法
RU2753183C1 (ru) Система и способ корректировки орфографических ошибок
CN115935949A (zh) 基于多头自注意力的端到端聋人书面纠错模型及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200807