CN114818666B - 一种汉语语法纠错的评估方法、装置、设备及存储介质 - Google Patents

一种汉语语法纠错的评估方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114818666B
CN114818666B CN202210443576.XA CN202210443576A CN114818666B CN 114818666 B CN114818666 B CN 114818666B CN 202210443576 A CN202210443576 A CN 202210443576A CN 114818666 B CN114818666 B CN 114818666B
Authority
CN
China
Prior art keywords
sentence
original
error correction
test set
gold standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210443576.XA
Other languages
English (en)
Other versions
CN114818666A (zh
Inventor
蒋盛益
林楠铠
林晓钿
武洪艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Foreign Studies
Original Assignee
Guangdong University of Foreign Studies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Foreign Studies filed Critical Guangdong University of Foreign Studies
Priority to CN202210443576.XA priority Critical patent/CN114818666B/zh
Publication of CN114818666A publication Critical patent/CN114818666A/zh
Application granted granted Critical
Publication of CN114818666B publication Critical patent/CN114818666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/226—Validation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种汉语语法纠错的评估方法、装置、设备及存储介质，包括：对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；将每一修正句子分别与所有黄金标准注释进行匹配，计算得到基于句子级别的准确率；其中，修正句子为原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；对每一修正句子利用BLEU算法，计算得到基于字级别的BLEU值；将每一修正句子分别与对应的原始句子进行匹配，计算得到基于字级别的修改度；根据基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度对待评估汉语语法纠错模型进行评估。采用本发明实施例能够科学、全面、客观地评价汉语语法纠错模型的纠错效果。

Description

一种汉语语法纠错的评估方法、装置、设备及存储介质
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种汉语语法纠错的评估方法、装置、设备及存储介质。
背景技术
国外英语语法纠错的研究起步比较早，英语的语法规则比较统一，针对英语语法纠错的评估指标也比较多。例如基于参考答案的F值、I-measure、F0.5和GLEU，同时也有无参考答案的度量指标，涵盖了语法、流畅性和语义评估。然而，相较于英语语法纠错，国内汉语语法纠错的研究起步比较晚，汉语语法规则的复杂多变，导致汉语的语法纠错在自然语言处理领域中一直极具有挑战性。由于汉语语法纠错的评估指标受汉语分词结果或不同语言模型的显著影响，如何全面、客观地评估汉语语法的纠错效果成为了一个热门的研究方向。
现有汉语语法纠错评价方法的一个明显缺陷是评估结果会受中文分词结果或不同语言模型的显著影响，因此，在不同的分词系统或不同的语言模型下，相同的汉语语法纠错模型的评估结果会有很大差异。
发明内容
本发明提供一种汉语语法纠错的评估方法、装置、设备及存储介质，以解决现有技术中的评估结果受到汉语分词结果或不同语言模型影响的问题，本发明将基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度作为汉语语法纠错模型的评估指标，使得评估结果不受汉语分词结果或不同语言模型的影响，能够科学、全面、客观地评价汉语语法纠错模型的纠错效果。
为实现上述目的，本发明实施例提供了一种汉语语法纠错的评估方法，包括：
对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干黄金标准注释；
将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
作为上述方案的改进，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，包括：
对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个黄金标准注释的原始句子；
对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的黄金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集。
作为上述方案的改进，所述将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率，包括：
将每一所述修正句子分别与所有所述黄金标准注释进行匹配，得到若干有效的修正句子；
统计所有所述有效的修正句子的总数量，并将所述总数量除以所述扩充测试集的样本数，得到基于句子级别的准确率。
作为上述方案的改进，所述基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值，包括：
根据下式计算每一修正句子Ci在不同粒度n下的准确率：
Figure GDA0004038959710000031
式中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(Sij))表示任一n-gram在所有的m个黄金标准注释中的最高频率；
根据下式计算简洁惩罚因子：
Figure GDA0004038959710000032
式中，lc表示修正句子Ci的长度，ls为最接近lc的黄金标准注释的长度；
根据下式计算BLEU值：
Figure GDA0004038959710000033
式中，BP是简洁惩罚因子，Pn是修正句子Ci在不同粒度n下的准确率，Wn表示权重。
作为上述方案的改进，所述将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度，包括：
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值、每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值；其中，所述匹配字符数为所述修正句子与对应的所述原始句子之间匹配的字符数；
根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分；
计算得到所有所述修改度得分的平均值；
将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果；
计算所有所述比较结果的平均值，得到基于字级别的修改度。
作为上述方案的改进，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对所述测试集中每一第二原始句子进行标注，以确认每一所述第二原始句子的黄金标准注释；其中，所述第二原始句子为含有一个黄金标准注释的原始句子。
作为上述方案的改进，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对于每一所述第一原始句子的若干修正答案，对只出现一次的修正答案进行审核。
为实现上述目的，本发明实施例还提供了一种汉语语法纠错的评估装置，包括：
测试集标注模块，用于对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干黄金标准注释；
句子级别准确率计算模块，用于将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
字级别准确率计算模块，用于基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
字级别修改度计算模块，用于将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
汉语语法纠错评估模块，用于根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
为实现上述目的，本发明实施例还提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上述的汉语语法纠错的评估方法。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述的汉语语法纠错的评估方法。
与现有技术相比，本发明实施例提供的一种汉语语法纠错的评估方法、装置、设备及存储介质，通过对原始汉语语法纠错评估语料库的测试集进行标注，使得原始的测试集中黄金标准校正注释集对应更多的修正答案，进而使得评估结果更贴近于人的语法知识和认知，能够更合理、全面地评价汉语语法纠错模型；通过将基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度作为汉语语法纠错模型的评估指标，使得评估结果不受汉语分词结果或不同语言模型的影响，能够科学、全面、客观地评价汉语语法纠错模型的纠错效果，更具实际价值。
附图说明
图1是本发明实施例提供的一种汉语语法纠错的评估方法的流程图；
图2是本发明实施例提供的一种汉语语法纠错的评估装置的结构框图；
图3是本发明实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种汉语语法纠错的评估方法的流程图，所述汉语语法纠错的评估方法，包括：
S1、对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干黄金标准注释；
S2、将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
S3、基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
S4、将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
S5、根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
具体地，在步骤S1中，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，包括：
对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个黄金标准注释的原始句子；
对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的黄金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集。
具体地，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对所述测试集中每一第二原始句子进行标注，以确认每一所述第二原始句子的黄金标准注释；其中，所述第二原始句子为含有一个黄金标准注释的原始句子。
具体地，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对于每一所述第一原始句子的若干修正答案，对只出现一次的修正答案进行审核。
可以理解的是，现有的原始汉语语法纠错评估语料库中一个原始句子最多仅对应两个正确的修正结果即黄金标准注释，且包含有两个正确修正结果的样本数量较少。然而在实际情况中，中文构词方法多种多样，常出现多义词、同义词，往往一个句子可以存在多种修改方法和修正答案，因此本发明实施例对NL原始汉语语法纠错评估语料库中的测试集的黄金标准校正注释集进行再标注与扩充。
由两位汉语言文学工作者，对测试集中仅包含一个黄金标准注释的原始句子即第二原始句子进行重新标注；对于包含两个黄金标准注释的原始句子即第一原始句子，我们认为该句子包含有更多的语法错误，在修正过程中产生了更多不同的答案，因此，对于该类句子，则由十位汉语言文学工作者进行重新标注。可以理解的是，标注即为修正与注释，对原始句子进行标注，可以得到原始句子的黄金标准注释。
对于每一所述第一原始句子的若干修正答案：
对于出现至少两次的修正答案，将该相同的修正答案作为新的黄金标准注释添加至所述测试集的黄金标准校正注释集中；可以理解的是，黄金标准校正注释集由若干个黄金标准注释构成；
对于仅出现一次的修正答案，由其他汉语言文学工作者进行审核。
本发明实施例对原始汉语语法纠错评估语料库的测试集进行了人工标注与扩充，使原有的测试集的黄金标准校正注释集可以对应更多的修正答案，使评估更贴近于人的语法知识和认知，能够更合理、全面地评价汉语语法纠错模型。
具体地，在步骤S2中，所述将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率，包括：
将每一所述修正句子分别与所有所述黄金标准注释进行匹配，得到若干有效的修正句子；
统计所有所述有效的修正句子的总数量，并将所述总数量除以所述扩充测试集的样本数，得到基于句子级别的准确率。
在本发明实施例中，假设原始句子表示为Oi，待评估汉语语法纠错模型生成的句子即修正句子表示为Ci，黄金标准注释表示为Si＝{Si1，Si2，...，Sim}，其中m表示第i个原始句子的黄金标准校正注释集(Gold-standard Correction Annotations)内金标准校正注释的数量。在句子级别的准确度测量中，当修正句子Ci完全匹配Si中的任一黄金标准注释时，则认为该修正句子Ci是有效的修正句子：
Figure GDA0004038959710000081
其中，yi表示第i个原始句子的修正结果是否是正确的，整个扩充测试集的句子级别的准确率是：
Figure GDA0004038959710000082
其中，I是扩充测试集的样本数。可以理解的是，样本数是扩充测试集中原始句子的数量。
基于句子级别的准确率是一种严格的准确率，要求一个错误的句子在经过模型修正后，需要修正其本身存在的所有语法错误，才算校对正确，对于存在多种修正方案的句子，其黄金标准校正注释集包含有更多的修正答案时，该指标的评估方式越准确。
具体地，在步骤S3中，所述基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值，包括：
根据下式计算每一修正句子Ci在不同粒度n下的准确率：
Figure GDA0004038959710000083
/>
式中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(Sij))表示任一n-gram在所有的m个黄金标准注释中的最高频率；
根据下式计算简洁惩罚因子：
Figure GDA0004038959710000084
式中，lc表示修正句子Ci的长度，ls为最接近lc的黄金标准注释的长度；
根据下式计算BLEU值：
Figure GDA0004038959710000085
式中，BP是简洁惩罚因子，Pn是修正句子Ci在不同粒度n下的准确率，Wn表示权重。
值得说明的是，BLEU(Bilingual Evaluation Understudy)常被用来在机器翻译任务中评估标准翻译句子与模型生成的修正句子之间的差异。在本发明实施例中将BLEU值扩展到汉语语法纠错任务中，并提出了基于字级别的BLEU指标。首先，基于字级别n-gram，计算汉语语法纠错模型生成的修正句子Ci在不同粒度下(n＝1，2，3，4)的准确率：
Figure GDA0004038959710000091
其中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(Sij))表示某个n-gram在所有的m个标准注释中的最高频率。
为了平衡不同的细粒度下的准确率的影响，对每个准确率取对数平均值，并用Wn对不同细粒度的准确率进行加权：
Figure GDA0004038959710000092
其中，
Figure GDA0004038959710000093
N表示n-gram中n的最大值。
在计算不同的细粒度下的准确率的对数平均值后，使用最大长度为N的n-gram和权重Wn总和为1，进一步计算简洁惩罚度因子(Brevity Penalty，BP)以避免不同的细粒度下的准确率P′n的偏差。具体来说，令lc为校正后的句子Ci的长度，ls为最接近lc的黄金标准注释的长度，计算简洁惩罚因子(BP)如下：
Figure GDA0004038959710000094
最终，字级别的BLEU分数计算如下：
BLEU＝BP·P′n
具体地，在步骤S4中，所述将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度，包括：
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值、每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值；其中，所述匹配字符数为所述修正句子与对应的所述原始句子之间匹配的字符数；
根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分；
计算得到所有所述修改度得分的平均值；
将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果；
计算所有所述比较结果的平均值，得到基于字级别的修改度。
值得说明的是，当修改度得分SCM(Ci，Oi)趋于1时，修正句子与原始句子相似度越高，即汉语语法纠错模型在完全不修正错误的情况下，可以获得很高的评分，然而该指标不是越高越好，而是趋近于某个值的时候达到最佳值。因此，本发明实施例对该指标进一步进行修正，得到基于字级别的修改度S*：
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值：
Figure GDA0004038959710000101
式中，m(Ci，Oi)表示修正句子和原始句子之间的匹配字符数，|Ci|和|Oi|分别表示修正句子和原始句子中的字数量；
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值：
Figure GDA0004038959710000102
式中，为m(Ci，Oi)表示修正句子和原始句子之间的匹配字符数，|Ci|和|Oi|分别表示修正句子和原始句子中的字数量；
根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分：
Figure GDA0004038959710000103
式中，Pi为匹配字符数与修正句子的字符数的第一比值，Ri为匹配字符数与原始句子的字符数的第二比值，t是平衡Pi值和Ri值的系数。这里t＝0.85。
计算得到所有所述修改度得分的平均值Saverage；
Figure GDA0004038959710000111
式中，SCM(Ci，Oi)为第i个修正句子的修改度得分；
将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果：
S′i＝|SCM(Ci，Oi)-Saverage|
计算所有比较结果的平均值，将该平均值作为修正后的字级别修改度：
Figure GDA0004038959710000112
式中，i为修正句子/原始句子的数量。
本发明实施例提供的字级别修改度S*的值越小，则该样本的字级别修改度越高。
本发明实施例提出了一个无参考的度量指标，即基于字级别的修改度。字级别修改度不是评估汉语语法纠错模型输出的修正句子与黄金标准注释的相似性，而是计算汉语语法纠错模型输出的修正句子和原始句子的字级别相似性。字级别修改度用于评估原始句子和修正句子之间修改幅度，能够衡量校正句子的语义保留程度。
具体地，在步骤S5中，利用所述基于句子级别的准确率、所述基于字级别的BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型的纠错效果进行评估。
本发明实施例提供的一种汉语语法纠错的评估方法，通过对原始汉语语法纠错评估语料库的测试集进行标注，使得原始的测试集中黄金标准校正注释集对应更多的修正答案，进而使得评估结果更贴近于人的语法知识和认知，能够更合理、全面地评价汉语语法纠错模型；通过将基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度作为汉语语法纠错模型的评估指标，使得评估结果不受汉语分词结果或不同语言模型的影响，能够科学、全面、客观地评价汉语语法纠错模型的纠错效果，更具实际价值。
参见图2，图2是本发明实施例提供的一种汉语语法纠错的评估装置10的结构框图，所述汉语语法纠错的评估装置10，包括：
测试集标注模块11，用于对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干黄金标准注释；
句子级别准确率计算模块12，用于将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
字级别准确率计算模块13，用于基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
字级别修改度计算模块14，用于将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
汉语语法纠错评估模块15，用于根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估。
具体地，所述测试集标注模块11包括：
第一原始句子标注单元，用于对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个黄金标准注释的原始句子；
黄金标准注释添加单元，用于对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的黄金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集。
具体地，所述测试集标注模块11还包括：
第二原始句子标注单元，用于对所述测试集中每一第二原始句子进行标注，以确认每一所述第二原始句子的黄金标准注释；其中，所述第二原始句子为含有一个黄金标准注释的原始句子。
具体地，所述测试集标注模块11还包括：
审核单元，用于对于每一所述第一原始句子的若干修正答案，对只出现一次的修正答案进行审核。
具体地，所述句子级别准确率计算模块12包括：
第一匹配单元，用于将每一所述修正句子分别与所有所述黄金标准注释进行匹配，得到若干有效的修正句子；
句子级别准确率计算单元，用于统计所有所述有效的修正句子的总数量，并将所述总数量除以所述扩充测试集的样本数，得到基于句子级别的准确率。
具体地，所述字级别准确率计算模块13包括：
准确率计算单元，用于根据下式计算每一修正句子Ci在不同粒度n下的准确率：
Figure GDA0004038959710000131
式中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(Sij))表示任一n-gram在所有的m个黄金标准注释中的最高频率；
简洁惩罚因子计算单元，用于根据下式计算简洁惩罚因子：
Figure GDA0004038959710000132
式中，lc表示修正句子Ci的长度，ls为最接近lc的黄金标准注释的长度；
BLEU值计算单元，用于根据下式计算BLEU值：
Figure GDA0004038959710000133
式中，BP是简洁惩罚因子，Pn是修正句子Ci在不同粒度n下的准确率，Wn表示权重。
具体地，所述字级别修改度计算模块14包括：
第二匹配单元，用于将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值、每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值；其中，所述匹配字符数为所述修正句子与对应的所述原始句子之间匹配的字符数；
修改度得分计算单元，用于根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分；
平均值计算单元，用于计算得到所有所述修改度得分的平均值；
比较单元，用于将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果；
字级别修改度计算单元，用于计算所有所述比较结果的平均值，得到基于字级别的修改度。
值得说明的是，本发明实施例所述的汉语语法纠错的评估装置10中各个模块的工作过程可参考上述实施例所述的汉语语法纠错的评估方法的工作过程，在此不再赘述。
本发明实施例所提供的一种汉语语法纠错的评估装置10，通过对原始汉语语法纠错评估语料库的测试集进行标注，使得原始的测试集中黄金标准校正注释集对应更多的修正答案，进而使得评估结果更贴近于人的语法知识和认知，能够更合理、全面地评价汉语语法纠错模型；通过将基于句子级别的准确率、基于字级别的BLEU值和基于字级别的修改度作为汉语语法纠错模型的评估指标，使得评估结果不受汉语分词结果或不同语言模型的影响，能够科学、全面、客观地评价汉语语法纠错模型的纠错效果，更具实际价值。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述实施例的汉语语法纠错的评估方法。
参见图3，图3是本发明实施例提供的一种电子设备20的结构框图，所述电子设备20包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述汉语语法纠错的评估方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备20中的执行过程。
所述电子设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是电子设备20的示例，并不构成对电子设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备20还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述电子设备20的控制中心，利用各种接口和线路连接整个电子设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述电子设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述电子设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种汉语语法纠错的评估方法，其特征在于，包括：
对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干黄金标准注释；
将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估；
其中，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，包括：
对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个黄金标准注释的原始句子；
对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的黄金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集；
对所述测试集中每一第二原始句子进行标注，以确认每一所述第二原始句子的黄金标准注释；其中，所述第二原始句子为含有一个黄金标准注释的原始句子；
所述基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值，包括：
根据下式计算每一修正句子Ci在不同粒度n下的准确率：
Figure FDA0004038959700000021
式中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(ij))表示任一n-gram在所有的m个黄金标准注释中的最高频率；
根据下式计算简洁惩罚因子：
Figure FDA0004038959700000022
式中，lc表示修正句子Ci的长度，ls为最接近lc的黄金标准注释的长度；
根据下式计算BLEU值：
Figure FDA0004038959700000023
式中，BP是简洁惩罚因子，Pn是修正句子Ci在不同粒度n下的准确率，Wn表示权重。
2.如权利要求1所述的汉语语法纠错的评估方法，其特征在于，所述将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率，包括：
将每一所述修正句子分别与所有所述黄金标准注释进行匹配，得到若干有效的修正句子；
统计所有所述有效的修正句子的总数量，并将所述总数量除以所述扩充测试集的样本数，得到基于句子级别的准确率。
3.如权利要求1所述的汉语语法纠错的评估方法，其特征在于，所述将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度，包括：
将每一所述修正句子分别与对应的所述原始句子进行匹配，得到每一匹配字符数与对应的所述修正句子的字符数的每一第一比值、每一所述匹配字符数与对应的所述原始句子的字符数的每一第二比值；其中，所述匹配字符数为所述修正句子与对应的所述原始句子之间匹配的字符数；
根据每一所述第一比值和每一所述第二比值，计算得到每一所述修正句子的每一修改度得分；
计算得到所有所述修改度得分的平均值；
将每一所述修改度得分分别与所述平均值进行比较，得到每一比较结果；
计算所有所述比较结果的平均值，得到基于字级别的修改度。
4.如权利要求1所述的汉语语法纠错的评估方法，其特征在于，所述对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集，还包括：
对于每一所述第一原始句子的若干修正答案，对只出现一次的修正答案进行审核。
5.一种汉语语法纠错的评估装置，其特征在于，包括：
测试集标注模块，用于对原始汉语语法纠错评估语料库的测试集进行标注，得到扩充测试集；其中，所述扩充测试集包括若干原始句子，及对应的若干黄金标准注释；
句子级别准确率计算模块，用于将每一修正句子分别与所有所述黄金标准注释进行匹配，计算得到基于句子级别的准确率；其中，所述修正句子为所述原始句子利用待评估汉语语法纠错模型进行修正后得到的句子；
字级别准确率计算模块，用于基于所有所述修正句子，利用BLEU算法，计算得到基于字级别的BLEU值；
字级别修改度计算模块，用于将每一所述修正句子分别与对应的所述原始句子进行匹配，计算得到基于字级别的修改度；
汉语语法纠错评估模块，用于根据所述准确率、所述BLEU值和所述基于字级别的修改度对所述待评估汉语语法纠错模型进行评估；
其中，所述测试集标注模块包括：
第一原始句子标注单元，用于对所述测试集中每一第一原始句子进行标注，得到每一所述第一原始句子的若干修正答案；其中，所述第一原始句子为含有两个黄金标准注释的原始句子；
黄金标准注释添加单元，用于对于每一所述第一原始句子的若干修正答案，当出现至少两个相同的修正答案时，将所述相同的修正答案作为新的黄金标准注释添加至所述测试集的黄金标准校正注释集中，得到扩充测试集；
第二原始句子标注单元，用于对所述测试集中每一第二原始句子进行标注，以确认每一所述第二原始句子的黄金标准注释；其中，所述第二原始句子为含有一个黄金标准注释的原始句子；
所述字级别准确率计算模块包括：
准确率计算单元，用于根据下式计算每一修正句子Ci在不同粒度n下的准确率：
Figure FDA0004038959700000041
式中，hk(·)表示出现在句子中的第k个n-gram的数量，maxj∈m(hk(ij))表示任一n-gram在所有的m个黄金标准注释中的最高频率；
简洁惩罚因子计算单元，用于根据下式计算简洁惩罚因子：
Figure FDA0004038959700000042
式中，lc表示修正句子Ci的长度，ls为最接近lc的黄金标准注释的长度；
BLEU值计算单元，用于根据下式计算BLEU值：
Figure FDA0004038959700000043
式中，BP是简洁惩罚因子，Pn是修正句子Ci在不同粒度n下的准确率，Wn表示权重。
6.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～4任一项所述的汉语语法纠错的评估方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～4任一项所述的汉语语法纠错的评估方法。
CN202210443576.XA 2022-04-26 2022-04-26 一种汉语语法纠错的评估方法、装置、设备及存储介质 Active CN114818666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210443576.XA CN114818666B (zh) 2022-04-26 2022-04-26 一种汉语语法纠错的评估方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210443576.XA CN114818666B (zh) 2022-04-26 2022-04-26 一种汉语语法纠错的评估方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114818666A CN114818666A (zh) 2022-07-29
CN114818666B true CN114818666B (zh) 2023-03-28

Family

ID=82508079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210443576.XA Active CN114818666B (zh) 2022-04-26 2022-04-26 一种汉语语法纠错的评估方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114818666B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948152A (zh) * 2019-03-06 2019-06-28 北京工商大学 一种基于lstm的中文文本语法纠错模型方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306249A1 (en) * 2009-05-27 2010-12-02 James Hill Social network systems and methods
US20110072025A1 (en) * 2009-09-18 2011-03-24 Yahoo!, Inc., a Delaware corporation Ranking entity relations using external corpus
CN102346756B (zh) * 2010-12-24 2013-04-03 镇江诺尼基智能技术有限公司 一种设备故障解决方案知识管理与检索系统及方法
GB2533370A (en) * 2014-12-18 2016-06-22 Ibm Orthographic error correction using phonetic transcription
CN110807102B (zh) * 2019-09-19 2023-09-29 平安科技（深圳）有限公司 知识融合方法、装置、计算机设备和存储介质
CN111859933B (zh) * 2020-05-11 2023-08-22 广东外语外贸大学 马来语识别模型的训练方法、识别方法、装置、设备
CN111767717B (zh) * 2020-05-13 2023-12-08 广东外语外贸大学 印尼语的语法纠错方法、装置、设备及存储介质
CN111858931B (zh) * 2020-07-08 2022-05-13 华中师范大学 一种基于深度学习的文本生成方法
CN112417155B (zh) * 2020-11-27 2022-06-10 浙江大学 基于指针-生成Seq2Seq模型的庭审询问生成方法、装置、介质
CN113268582A (zh) * 2021-05-21 2021-08-17 大连理工大学 面向社交媒体文本抑郁倾向性分析的基于排序学习模型的特征加权方法
CN113948066B (zh) * 2021-09-06 2022-07-12 北京数美时代科技有限公司 一种实时转译文本的纠错方法、系统、存储介质和装置
CN113657122B (zh) * 2021-09-07 2023-12-15 内蒙古工业大学 一种融合迁移学习的伪平行语料库的蒙汉机器翻译方法
CN113901840B (zh) * 2021-09-15 2024-04-19 昆明理工大学 一种基于多粒度特征的文本生成评价方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948152A (zh) * 2019-03-06 2019-06-28 北京工商大学 一种基于lstm的中文文本语法纠错模型方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶绍林 ; 郭武 ; .基于句子级BLEU指标挑选数据的半监督神经机器翻译.模式识别与人工智能.2017,第30卷(第10期),第937页-942页. *

Also Published As

Publication number Publication date
CN114818666A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
Ling et al. Latent predictor networks for code generation
CN107797985B (zh) 建立同义鉴别模型以及鉴别同义文本的方法、装置
US10741092B1 (en) Application of high-dimensional linguistic and semantic feature vectors in automated scoring of examination responses
US20080270112A1 (en) Translation evaluation device, translation evaluation method and computer program
CN109522552B (zh) 一种医疗信息的归一化方法、装置、介质及电子设备
US11157686B2 (en) Text sequence segmentation method, apparatus and device, and storage medium thereof
US11232263B2 (en) Generating summary content using supervised sentential extractive summarization
CN110569335B (zh) 基于人工智能的三元组校验方法、装置及存储介质
CN109117474B (zh) 语句相似度的计算方法、装置及存储介质
CN110232923B (zh) 一种语音控制指令生成方法、装置及电子设备
US9311299B1 (en) Weakly supervised part-of-speech tagging with coupled token and type constraints
CN109145282A (zh) 断句模型训练方法、断句方法、装置及计算机设备
US20200020321A1 (en) Speech recognition results re-ranking device, speech recognition results re-ranking method, and program
WO2020252935A1 (zh) 声纹验证方法、装置、设备及存储介质
CN111832281A (zh) 作文评分方法、装置、计算机设备及计算机可读存储介质
CN111326177B (zh) 一种语音评测方法、电子设备及计算机可读存储介质
CN115310460A (zh) 一种机器翻译质量评估方法、装置、设备和存储介质
CN110046344B (zh) 添加分隔符的方法及终端设备
Náplava et al. Understanding model robustness to user-generated noisy texts
CN114861635A (zh) 一种中文拼写纠错方法、装置、设备及存储介质
CN113836894A (zh) 多维度英语作文评分方法、装置及可读存储介质
CN113076736A (zh) 多维度的文本评分方法、装置、计算机设备及存储介质
CN114818666B (zh) 一种汉语语法纠错的评估方法、装置、设备及存储介质
CN113420545B (zh) 摘要生成方法、装置、设备及存储介质
US20220292267A1 (en) Machine learning method and information processing apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant