CN114818666A - 一种汉语语法纠错的评估方法、装置、设备及存储介质 - Google Patents

一种汉语语法纠错的评估方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114818666A
CN114818666A CN202210443576.XA CN202210443576A CN114818666A CN 114818666 A CN114818666 A CN 114818666A CN 202210443576 A CN202210443576 A CN 202210443576A CN 114818666 A CN114818666 A CN 114818666A
Authority
CN
China
Prior art keywords
sentence
error correction
original
test set
chinese grammar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210443576.XA
Other languages
English (en)
Other versions
CN114818666B (zh
Inventor
蒋盛益
林楠铠
林晓钿
武洪艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Foreign Studies
Original Assignee
Guangdong University of Foreign Studies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Foreign Studies filed Critical Guangdong University of Foreign Studies
Priority to CN202210443576.XA priority Critical patent/CN114818666B/zh
Publication of CN114818666A publication Critical patent/CN114818666A/zh
Application granted granted Critical
Publication of CN114818666B publication Critical patent/CN114818666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/226—Validation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种汉语语法纠错的评估方法、装置、设备及存储介质，包括：对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；将每一修正句子分别与所有金标准注释进行匹配，计算得到基于句子级别的准确率；其中，修正句子为原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；对每一修正句子利用BLEU算法，计算得到基于字级别的BLEU值；将每一修正句子分别与对应的原始句子进行匹配，计算得到基于字级别的修改度；根据基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度对待评估汉语语法纠错模型进行评估。采用本发明实施例能够科学、全面、客观地评价汉语语法纠错模型的纠错效果。

Description

一种汉语语法纠错的评估方法、装置、设备及存储介质
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种汉语语法纠错的评估方法、装置、设备及存储介质。
背景技术
国外英语语法纠错的研究起步比较早，英语的语法规则比较统一，针对英语语法纠错的评估指标也比较多。例如基于参考答案的F值、I-measure、F0.5和GLEU，同时也有无参考答案的度量指标，涵盖了语法、流畅性和语义评估。然而，相较于英语语法纠错，国内汉语语法纠错的研究起步比较晚，汉语语法规则的复杂多变，导致汉语的语法纠错在自然语言处理领域中一直极具有挑战性。由于汉语语法纠错的评估指标受汉语分词结果或不同语言模型的显著影响，如何全面、客观地评估汉语语法的纠错效果成为了一个热门的研究方向。
现有汉语语法纠错评价方法的一个明显缺陷是评估结果会受中文分词结果或不同语言模型的显著影响，因此，在不同的分词系统或不同的语言模型下，相同的汉语语法纠错模型的评估结果会有很大差异。
发明内容
本发明提供一种汉语语法纠错的评估方法、装置、设备及存储介质，以解决现有技术中的评估结果受到汉语分词结果或不同语言模型影响的问题，本发明将基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度作为汉语语法纠错模型的评估指标，使得评估结果不受汉语分词结果或不同语言模型的影响，能够科学、全面、客观地评价汉语语法纠错模型的纠错效果。
为实现上述目的，本发明实施例提供了一种汉语语法纠错的评估方法，包括：
对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干金标准注释；
将每一修正句子分别与所有所述金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
作为上述方案的改进，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，包括：
对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个金标准注释的原始句子；
对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集。
作为上述方案的改进，所述将每一修正句子分别与所有所述金标准注释进行匹配，计算得到基于句子级别的准确率，包括：
将每一所述修正句子分别与所有所述金标准注释进行匹配，得到若干有效的修正句子；
统计所有所述有效的修正句子的总数量，并将所述总数量除以所述扩充测试集的样本数，得到基于句子级别的准确率。
作为上述方案的改进，所述基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值，包括：
根据下式计算每一修正句子Ci在不同粒度n下的准确率：
Figure BDA0003615587470000031
式中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(Sij))表示任一n-gram在所有的m个金标准注释中的最高频率；
根据下式计算简洁惩罚因子：
Figure BDA0003615587470000032
式中，lc表示修正句子Ci的长度，ls为最接近lc的黄金标准注释的长度；
根据下式计算BLEU值：
Figure BDA0003615587470000033
式中，BP是简洁惩罚因子，Pn是修正句子Ci在不同粒度n下的准确率，Wn表示权重。
作为上述方案的改进，所述将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度，包括：
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值、每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值；其中，所述匹配字符数为所述修正句子与对应的所述原始句子之间匹配的字符数；
根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分；
计算得到所有所述修改度得分的平均值；
将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果；
计算所有所述比较结果的平均值，得到基于字级别的修改度。
作为上述方案的改进，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对所述测试集中每一第二原始句子进行标注，以确认每一所述第二原始句子的金标准注释；其中，所述第二原始句子为含有一个金标准注释的原始句子。
作为上述方案的改进，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对于每一所述第一原始句子的若干修正答案，对只出现一次的修正答案进行审核。
为实现上述目的，本发明实施例还提供了一种汉语语法纠错的评估装置，包括：
测试集标注模块，用于对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干金标准注释；
句子级别准确率计算模块，用于将每一修正句子分别与所有所述金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
字级别准确率计算模块，用于基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
字级别修改度计算模块，用于将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
汉语语法纠错评估模块，用于根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
为实现上述目的，本发明实施例还提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上述的汉语语法纠错的评估方法。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述的汉语语法纠错的评估方法。
与现有技术相比，本发明实施例提供的一种汉语语法纠错的评估方法、装置、设备及存储介质，通过对原始汉语语法纠错评估语料库的测试集进行标注，使得原始的测试集中黄金标准校正注释集对应更多的修正答案，进而使得评估结果更贴近于人的语法知识和认知，能够更合理、全面地评价汉语语法纠错模型；通过将基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度作为汉语语法纠错模型的评估指标，使得评估结果不受汉语分词结果或不同语言模型的影响，能够科学、全面、客观地评价汉语语法纠错模型的纠错效果，更具实际价值。
附图说明
图1是本发明实施例提供的一种汉语语法纠错的评估方法的流程图；
图2是本发明实施例提供的一种汉语语法纠错的评估装置的结构框图；
图3是本发明实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种汉语语法纠错的评估方法的流程图，所述汉语语法纠错的评估方法，包括：
S1、对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干金标准注释；
S2、将每一修正句子分别与所有所述金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
S3、基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
S4、将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
S5、根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
具体地，在步骤S1中，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，包括：
对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个金标准注释的原始句子；
对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集。
具体地，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对所述测试集中每一第二原始句子进行标注，以确认每一所述第二原始句子的金标准注释；其中，所述第二原始句子为含有一个金标准注释的原始句子。
具体地，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对于每一所述第一原始句子的若干修正答案，对只出现一次的修正答案进行审核。
可以理解的是，现有的原始汉语语法纠错评估语料库中一个原始句子最多仅对应两个正确的修正结果即金标准注释，且包含有两个正确修正结果的样本数量较少。然而在实际情况中，中文构词方法多种多样，常出现多义词、同义词，往往一个句子可以存在多种修改方法和修正答案，因此本发明实施例对NL原始汉语语法纠错评估语料库中的测试集的黄金标准校正注释集进行再标注与扩充。
由两位汉语言文学工作者，对测试集中仅包含一个金标准注释的原始句子即第二原始句子进行重新标注；对于包含两个金标准注释的原始句子即第一原始句子，我们认为该句子包含有更多的语法错误，在修正过程中产生了更多不同的答案，因此，对于该类句子，则由十位汉语言文学工作者进行重新标注。可以理解的是，标注即为修正与注释，对原始句子进行标注，可以得到原始句子的金标准注释。
对于每一所述第一原始句子的若干修正答案：
对于出现至少两次的修正答案，将该相同的修正答案作为新的金标准注释添加至所述测试集的黄金标准校正注释集中；可以理解的是，黄金标准校正注释集由若干个金标准注释构成；
对于仅出现一次的修正答案，由其他汉语言文学工作者进行审核。
本发明实施例对原始汉语语法纠错评估语料库的测试集进行了人工标注与扩充，使原有的测试集的黄金标准校正注释集可以对应更多的修正答案，使评估更贴近于人的语法知识和认知，能够更合理、全面地评价汉语语法纠错模型。
具体地，在步骤S2中，所述将每一修正句子分别与所有所述金标准注释进行匹配，计算得到基于句子级别的准确率，包括：
将每一所述修正句子分别与所有所述金标准注释进行匹配，得到若干有效的修正句子；
统计所有所述有效的修正句子的总数量，并将所述总数量除以所述扩充测试集的样本数，得到基于句子级别的准确率。
在本发明实施例中，假设原始句子表示为Oi，待评估汉语语法纠错模型生成的句子即修正句子表示为Ci，金标准注释表示为Si＝{Si1,Si2,…,Sim}，其中m表示第i个原始句子的黄金标准校正注释集(Gold-standard Correction Annotations)内金标准校正注释的数量。在句子级别的准确度测量中，当修正句子Ci完全匹配Si中的任一金标准注释时，则认为该修正句子Ci是有效的修正句子：
Figure BDA0003615587470000071
其中，yi表示第i个原始句子的修正结果是否是正确的，整个扩充测试集的句子级别的准确率是：
Figure BDA0003615587470000081
其中，I是扩充测试集的样本数。可以理解的是，样本数是扩充测试集中原始句子的数量。
基于句子级别的准确率是一种严格的准确率，要求一个错误的句子在经过模型修正后，需要修正其本身存在的所有语法错误，才算校对正确，对于存在多种修正方案的句子，其黄金标准校正注释集包含有更多的修正答案时，该指标的评估方式越准确。
具体地，在步骤S3中，所述基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值，包括：
根据下式计算每一修正句子Ci在不同粒度n下的准确率：
Figure BDA0003615587470000082
式中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(Sij))表示任一n-gram在所有的m个金标准注释中的最高频率；
根据下式计算简洁惩罚因子：
Figure BDA0003615587470000083
式中，lc表示修正句子Ci的长度，ls为最接近lc的金标准注释的长度；
根据下式计算BLEU值：
Figure BDA0003615587470000084
式中，BP是简洁惩罚因子，Pn是修正句子Ci在不同粒度n下的准确率，Wn表示权重。
值得说明的是，BLEU(Bilingual Evaluation Understudy)常被用来在机器翻译任务中评估标准翻译句子与模型生成的修正句子之间的差异。在本发明实施例中将BLEU值扩展到汉语语法纠错任务中，并提出了基于字级别的BLEU指标。首先，基于字级别n-gram，计算汉语语法纠错模型生成的修正句子Ci在不同粒度下(n＝1,2,3,4)的准确率：
Figure BDA0003615587470000091
其中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(Sij))表示某个n-gram在所有的m个标准注释中的最高频率。
为了平衡不同的细粒度下的准确率的影响，对每个准确率取对数平均值，并用Wn对不同细粒度的准确率进行加权：
Figure BDA0003615587470000092
其中，
Figure BDA0003615587470000093
N表示n-gram中n的最大值。
在计算不同的细粒度下的准确率的对数平均值后，使用最大长度为N的n-gram和权重Wn总和为1，进一步计算简洁惩罚度因子(Brevity Penalty，BP)以避免不同的细粒度下的准确率P′n的偏差。具体来说，令lc为校正后的句子Ci的长度，ls为最接近lc的黄金标准注释的长度，计算简洁惩罚因子(BP)如下：
Figure BDA0003615587470000094
最终，字级别的BLEU分数计算如下：
BLEU＝BP·P′n
具体地，在步骤S4中，所述将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度，包括：
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值、每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值；其中，所述匹配字符数为所述修正句子与对应的所述原始句子之间匹配的字符数；
根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分；
计算得到所有所述修改度得分的平均值；
将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果；
计算所有所述比较结果的平均值，得到基于字级别的修改度。
值得说明的是，当修改度得分SCM(Ci,Oi)趋于1时，修正句子与原始句子相似度越高，即汉语语法纠错模型在完全不修正错误的情况下，可以获得很高的评分，然而该指标不是越高越好，而是趋近于某个值的时候达到最佳值。因此，本发明实施例对该指标进一步进行修正，得到基于字级别的修改度S*：
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值：
Figure BDA0003615587470000101
式中，m(Ci,Oi)表示修正句子和原始句子之间的匹配字符数，|Ci|和|Oi|分别表示修正句子和原始句子中的字数量；
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值：
Figure BDA0003615587470000102
式中，为m(Ci,Oi)表示修正句子和原始句子之间的匹配字符数，|Ci|和|Oi|分别表示修正句子和原始句子中的字数量；
根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分：
Figure BDA0003615587470000103
式中，Pi为匹配字符数与修正句子的字符数的第一比值，Ri为匹配字符数与原始句子的字符数的第二比值，t是平衡Pi值和Ri值的系数。这里t＝0.85。
计算得到所有所述修改度得分的平均值Saverage；
Figure BDA0003615587470000111
式中，SCM(Ci,Oi)为第i个修正句子的修改度得分；
将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果：
S′i＝|SCM(Ci,Oi)-Saverage|
计算所有比较结果的平均值，将该平均值作为修正后的字级别修改度：
Figure BDA0003615587470000112
式中，i为修正句子/原始句子的数量。
本发明实施例提供的字级别修改度S*的值越小，则该样本的字级别修改度越高。
本发明实施例提出了一个无参考的度量指标，即基于字级别的修改度。字级别修改度不是评估汉语语法纠错模型输出的修正句子与金标准注释的相似性，而是计算汉语语法纠错模型输出的修正句子和原始句子的字级别相似性。字级别修改度用于评估原始句子和修正句子之间修改幅度，能够衡量校正句子的语义保留程度。
具体地，在步骤S5中，利用所述基于句子级别的准确率、所述基于字级别的BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型的纠错效果进行评估。
本发明实施例提供的一种汉语语法纠错的评估方法，通过对原始汉语语法纠错评估语料库的测试集进行标注，使得原始的测试集中黄金标准校正注释集对应更多的修正答案，进而使得评估结果更贴近于人的语法知识和认知，能够更合理、全面地评价汉语语法纠错模型；通过将基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度作为汉语语法纠错模型的评估指标，使得评估结果不受汉语分词结果或不同语言模型的影响，能够科学、全面、客观地评价汉语语法纠错模型的纠错效果，更具实际价值。
参见图2，图2是本发明实施例提供的一种汉语语法纠错的评估装置10的结构框图，所述汉语语法纠错的评估装置10，包括：
测试集标注模块11，用于对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干金标准注释；
句子级别准确率计算模块12，用于将每一修正句子分别与所有所述金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
字级别准确率计算模块13，用于基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
字级别修改度计算模块14，用于将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
汉语语法纠错评估模块15，用于根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
具体地，所述测试集标注模块11包括：
第一原始句子标注单元，用于对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个金标准注释的原始句子；
金标准注释添加单元，用于对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集。
具体地，所述测试集标注模块11还包括：
第二原始句子标注单元，用于对所述测试集中每一第二原始句子进行标注，以确认每一所述第二原始句子的金标准注释；其中，所述第二原始句子为含有一个金标准注释的原始句子。
具体地，所述测试集标注模块11还包括：
审核单元，用于对于每一所述第一原始句子的若干修正答案，对只出现一次的修正答案进行审核。
具体地，所述句子级别准确率计算模块12包括：
第一匹配单元，用于将每一所述修正句子分别与所有所述金标准注释进行匹配，得到若干有效的修正句子；
句子级别准确率计算单元，用于统计所有所述有效的修正句子的总数量，并将所述总数量除以所述扩充测试集的样本数，得到基于句子级别的准确率。
具体地，所述字级别准确率计算模块13包括：
准确率计算单元，用于根据下式计算每一修正句子Ci在不同粒度n下的准确率：
Figure BDA0003615587470000131
式中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(Sij))表示任一n-gram在所有的m个金标准注释中的最高频率；
简洁惩罚因子计算单元，用于根据下式计算简洁惩罚因子：
Figure BDA0003615587470000132
式中，lc表示修正句子Ci的长度，ls为最接近lc的黄金标准注释的长度；
BLEU值计算单元，用于根据下式计算BLEU值：
Figure BDA0003615587470000133
式中，BP是简洁惩罚因子，Pn是修正句子Ci在不同粒度n下的准确率，Wn表示权重。
具体地，所述字级别修改度计算模块14包括：
第二匹配单元，用于将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值、每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值；其中，所述匹配字符数为所述修正句子与对应的所述原始句子之间匹配的字符数；
修改度得分计算单元，用于根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分；
平均值计算单元，用于计算得到所有所述修改度得分的平均值；
比较单元，用于将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果；
字级别修改度计算单元，用于计算所有所述比较结果的平均值，得到基于字级别的修改度。
值得说明的是，本发明实施例所述的汉语语法纠错的评估装置10中各个模块的工作过程可参考上述实施例所述的汉语语法纠错的评估方法的工作过程，在此不再赘述。
本发明实施例所提供的一种汉语语法纠错的评估装置10，通过对原始汉语语法纠错评估语料库的测试集进行标注，使得原始的测试集中黄金标准校正注释集对应更多的修正答案，进而使得评估结果更贴近于人的语法知识和认知，能够更合理、全面地评价汉语语法纠错模型；通过将基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度作为汉语语法纠错模型的评估指标，使得评估结果不受汉语分词结果或不同语言模型的影响，能够科学、全面、客观地评价汉语语法纠错模型的纠错效果，更具实际价值。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述实施例的汉语语法纠错的评估方法。
参见图3，图3是本发明实施例提供的一种电子设备20的结构框图，所述电子设备20包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述汉语语法纠错的评估方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备20中的执行过程。
所述电子设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是电子设备20的示例，并不构成对电子设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备20还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述电子设备20的控制中心，利用各种接口和线路连接整个电子设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述电子设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述电子设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种汉语语法纠错的评估方法，其特征在于，包括：
对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干金标准注释；
将每一修正句子分别与所有所述金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
2.如权利要求1所述的汉语语法纠错的评估方法，其特征在于，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，包括：
对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个金标准注释的原始句子；
对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集。
3.如权利要求1所述的汉语语法纠错的评估方法，其特征在于，所述将每一修正句子分别与所有所述金标准注释进行匹配，计算得到基于句子级别的准确率，包括：
将每一所述修正句子分别与所有所述金标准注释进行匹配，得到若干有效的修正句子；
统计所有所述有效的修正句子的总数量，并将所述总数量除以所述扩充测试集的样本数，得到基于句子级别的准确率。
4.如权利要求1所述的汉语语法纠错的评估方法，其特征在于，所述基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值，包括：
根据下式计算每一修正句子Ci在不同粒度n下的准确率：
Figure FDA0003615587460000021
式中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(Sij))表示任一n-gram在所有的m个金标准注释中的最高频率；
根据下式计算简洁惩罚因子：
Figure FDA0003615587460000022
式中，lc表示修正句子Ci的长度，ls为最接近lc的黄金标准注释的长度；
根据下式计算BLEU值：
Figure FDA0003615587460000023
式中，BP是简洁惩罚因子，Pn是修正句子Ci在不同粒度n下的准确率，Wn表示权重。
5.如权利要求1所述的汉语语法纠错的评估方法，其特征在于，所述将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度，包括：
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值、每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值；其中，所述匹配字符数为所述修正句子与对应的所述原始句子之间匹配的字符数；
根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分；
计算得到所有所述修改度得分的平均值；
将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果；
计算所有所述比较结果的平均值，得到基于字级别的修改度。
6.如权利要求2所述的汉语语法纠错的评估方法，其特征在于，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对所述测试集中每一第二原始句子进行标注，以确认每一所述第二原始句子的金标准注释；其中，所述第二原始句子为含有一个金标准注释的原始句子。
7.如权利要求2所述的汉语语法纠错的评估方法，其特征在于，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对于每一所述第一原始句子的若干修正答案，对只出现一次的修正答案进行审核。
8.一种汉语语法纠错的评估装置，其特征在于，包括：
测试集标注模块，用于对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干金标准注释；
句子级别准确率计算模块，用于将每一修正句子分别与所有所述金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
字级别准确率计算模块，用于基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
字级别修改度计算模块，用于将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
汉语语法纠错评估模块，用于根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
9.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7任一项所述的汉语语法纠错的评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7任一项所述的汉语语法纠错的评估方法。
CN202210443576.XA 2022-04-26 2022-04-26 一种汉语语法纠错的评估方法、装置、设备及存储介质 Active CN114818666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210443576.XA CN114818666B (zh) 2022-04-26 2022-04-26 一种汉语语法纠错的评估方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210443576.XA CN114818666B (zh) 2022-04-26 2022-04-26 一种汉语语法纠错的评估方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114818666A true CN114818666A (zh) 2022-07-29
CN114818666B CN114818666B (zh) 2023-03-28

Family

ID=82508079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210443576.XA Active CN114818666B (zh) 2022-04-26 2022-04-26 一种汉语语法纠错的评估方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114818666B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306249A1 (en) * 2009-05-27 2010-12-02 James Hill Social network systems and methods
US20110072025A1 (en) * 2009-09-18 2011-03-24 Yahoo!, Inc., a Delaware corporation Ranking entity relations using external corpus
CN102346756A (zh) * 2010-12-24 2012-02-08 镇江诺尼基智能技术有限公司 一种设备故障解决方案知识管理与检索系统及方法
US20160179774A1 (en) * 2014-12-18 2016-06-23 International Business Machines Corporation Orthographic Error Correction Using Phonetic Transcription
CN109948152A (zh) * 2019-03-06 2019-06-28 北京工商大学 一种基于lstm的中文文本语法纠错模型方法
CN110807102A (zh) * 2019-09-19 2020-02-18 平安科技（深圳）有限公司 知识融合方法、装置、计算机设备和存储介质
CN111767717A (zh) * 2020-05-13 2020-10-13 广东外语外贸大学 印尼语的语法纠错方法、装置、设备及存储介质
CN111858931A (zh) * 2020-07-08 2020-10-30 华中师范大学 一种基于深度学习的文本生成方法
CN111859933A (zh) * 2020-05-11 2020-10-30 广东外语外贸大学 马来语识别模型的训练方法、识别方法、装置、设备
CN112417155A (zh) * 2020-11-27 2021-02-26 浙江大学 基于指针-生成Seq2Seq模型的庭审询问生成方法、装置、介质
CN113268582A (zh) * 2021-05-21 2021-08-17 大连理工大学 面向社交媒体文本抑郁倾向性分析的基于排序学习模型的特征加权方法
CN113657122A (zh) * 2021-09-07 2021-11-16 内蒙古工业大学 一种融合迁移学习的伪平行语料库的蒙汉机器翻译方法
CN113901840A (zh) * 2021-09-15 2022-01-07 昆明理工大学 一种基于多粒度特征的文本生成评价方法
CN113948066A (zh) * 2021-09-06 2022-01-18 北京数美时代科技有限公司 一种实时转译文本的纠错方法、系统、存储介质和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306249A1 (en) * 2009-05-27 2010-12-02 James Hill Social network systems and methods
US20110072025A1 (en) * 2009-09-18 2011-03-24 Yahoo!, Inc., a Delaware corporation Ranking entity relations using external corpus
CN102346756A (zh) * 2010-12-24 2012-02-08 镇江诺尼基智能技术有限公司 一种设备故障解决方案知识管理与检索系统及方法
US20160179774A1 (en) * 2014-12-18 2016-06-23 International Business Machines Corporation Orthographic Error Correction Using Phonetic Transcription
CN109948152A (zh) * 2019-03-06 2019-06-28 北京工商大学 一种基于lstm的中文文本语法纠错模型方法
CN110807102A (zh) * 2019-09-19 2020-02-18 平安科技（深圳）有限公司 知识融合方法、装置、计算机设备和存储介质
CN111859933A (zh) * 2020-05-11 2020-10-30 广东外语外贸大学 马来语识别模型的训练方法、识别方法、装置、设备
CN111767717A (zh) * 2020-05-13 2020-10-13 广东外语外贸大学 印尼语的语法纠错方法、装置、设备及存储介质
CN111858931A (zh) * 2020-07-08 2020-10-30 华中师范大学 一种基于深度学习的文本生成方法
CN112417155A (zh) * 2020-11-27 2021-02-26 浙江大学 基于指针-生成Seq2Seq模型的庭审询问生成方法、装置、介质
CN113268582A (zh) * 2021-05-21 2021-08-17 大连理工大学 面向社交媒体文本抑郁倾向性分析的基于排序学习模型的特征加权方法
CN113948066A (zh) * 2021-09-06 2022-01-18 北京数美时代科技有限公司 一种实时转译文本的纠错方法、系统、存储介质和装置
CN113657122A (zh) * 2021-09-07 2021-11-16 内蒙古工业大学 一种融合迁移学习的伪平行语料库的蒙汉机器翻译方法
CN113901840A (zh) * 2021-09-15 2022-01-07 昆明理工大学 一种基于多粒度特征的文本生成评价方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANTONIO L.LAGARDA等: "Translating without in-domain corpus:Machine translation post-editing with online learning techniques", 《SCIENCEDIRECT》 *
叶绍林;郭武;: "基于句子级BLEU指标挑选数据的半监督神经机器翻译" *
李灿等: "基于语种相似性挖掘的神经机器翻译语料库扩充方法", 《计算机应用》 *
杨钦: "文言文翻译及阅读理解关键技术的研究", 《中国优秀硕士学位论文全文数据库哲学与人文科学辑》 *
白双成: "蒙古文原始语料统计建模研究", 《中文信息学报》 *
蒋盛益等: "印尼语、马来语自然语言处理研究综述", 《模式识别与人工智能》 *

Also Published As

Publication number Publication date
CN114818666B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
Ling et al. Latent predictor networks for code generation
US9665565B2 (en) Semantic similarity evaluation method, apparatus, and system
US20080270112A1 (en) Translation evaluation device, translation evaluation method and computer program
US11157686B2 (en) Text sequence segmentation method, apparatus and device, and storage medium thereof
US11232263B2 (en) Generating summary content using supervised sentential extractive summarization
US20120022850A1 (en) Statistical machine translation processing
CN110569335B (zh) 基于人工智能的三元组校验方法、装置及存储介质
CN110232923B (zh) 一种语音控制指令生成方法、装置及电子设备
US9311299B1 (en) Weakly supervised part-of-speech tagging with coupled token and type constraints
CN111046142A (zh) 文本审查方法、装置、电子设备及计算机存储介质
CN109117474B (zh) 语句相似度的计算方法、装置及存储介质
CN110874528B (zh) 文本相似度的获取方法及装置
KR101633556B1 (ko) 문법 오류 수정 장치 및 이를 이용한 문법 오류 수정 방법
CN110335608B (zh) 声纹验证方法、装置、设备及存储介质
CN112183117B (zh) 一种翻译评价的方法、装置、存储介质及电子设备
CN111767717B (zh) 印尼语的语法纠错方法、装置、设备及存储介质
CN111832281A (zh) 作文评分方法、装置、计算机设备及计算机可读存储介质
CN111143556A (zh) 软件功能点自动计数方法、装置、介质及电子设备
CN110046344B (zh) 添加分隔符的方法及终端设备
US9690797B2 (en) Digital information analysis system, digital information analysis method, and digital information analysis program
CN114861635A (zh) 一种中文拼写纠错方法、装置、设备及存储介质
CN113836894A (zh) 多维度英语作文评分方法、装置及可读存储介质
CN117077657A (zh) 一种无监督语法纠错方法、装置、终端及介质
CN112559711A (zh) 一种同义文本提示方法、装置及电子设备
CN114818666B (zh) 一种汉语语法纠错的评估方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant