CN113806237B - 一种基于词典的语言理解模型的测评方法和系统 - Google Patents

Abstract

本申请涉及一种基于词典的语言理解模型的测评方法和系统，其中，该方法包括：通过从预设词典集中获取预设词典对，确定预设词典对中相同的单词为共有词集，根据共有词从预设词典对中得到第一义项集和第二义项集；通过预设相似度模型，分别计算第一义项集中每个第一义项与第二义项集中全部第二义项的相似度，根据相似度得到共有词的词评分，根据词评分计算得到预设词典对的词典对评分，进而得到预设相似度模型在预设词典集上的总评分，通过本申请，解决了对模型词义理解能力的评测效果差和人工标注耗时耗力的问题，实现了对模型的词义理解能力基于词典的单独测评，更好地反映模型对词义的理解能力，同时降低了人工标注会造成的误差。

Description

一种基于词典的语言理解模型的测评方法和系统

技术领域

本申请涉及自然语言处理领域，特别是涉及一种基于词典的语言理解模型的测评方法和系统。

背景技术

目前，为了对模型的自然语言理解能力进行测评，需要用基于相应测评基准的方法来对模型进行打分，通过分数来判断模型的性能优劣，现有的英文测评基准主要有SuperGlue和SQuAD，中文测评基准有CLUE。其中，具体的测量方式有阅读理解和句子相似度等，评分方式有EM（答案的精确匹配）、准确率和F1（综合准确率和召回率）等。

一般的测评方法需要模型同时具有理解词义和常识的能力，且无法对词义理解和常识理解进行区分测评，这就造成无法单独测评模型对词义的理解能力，而词义的理解是自然语言理解中最基础的能力，对常识的理解也基于对词义的理解，如果模型的词义理解能力不好，那么常识也会理解不好；进一步地，现有测评方法还需基于经人工标注过的巨量数据集来进行，耗时耗力且人工标注极有可能会出现错误。

目前针对相关技术中对模型词义理解能力的评测效果差和人工标注耗时耗力的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于词典的语言理解模型的测评方法和系统，以至少解决相关技术中对模型词义理解能力的评测效果差和人工标注耗时耗力的问题。

第一方面，本申请实施例提供了一种基于词典的语言理解模型的测评方法，所述方法包括：

从预设词典集中获取预设词典对，所述预设词典对包含第一词典和第二词典；

确定所述第一词典和所述第二词典中相同的单词为共有词集；

根据所述共有词集中的共有词，从所述第一词典中得到第一义项集，从所述第二词典中得到第二义项集；

通过预设相似度模型，分别计算所述第一义项集中每个第一义项与所述第二义项集中全部第二义项的相似度；

对若干所述相似度进行预设筛选处理，得到预设相似度集，对所述预设相似度集中的相似度进行累加求和，得到所述共有词的词评分；

根据所述词评分计算得到所述预设词典对的词典对评分，进而得到所述预设相似度模型在所述预设词典集上的总评分。

在其中一些实施例中，根据所述共有词集中的共有词，从所述第一词典中得到第一义项集，从所述第二词典中得到第二义项集包括：

根据所述共有词集中的每个共有词，从所述第一词典中得到每个所述共有词对应的若干第一义项集；

根据所述共有词集中的每个共有词，从所述第二词典中得到每个所述共有词对应的若干第二义项集。

在其中一些实施例中，对若干所述相似度进行预设筛选处理，得到预设相似度集，对所述预设相似度集中的相似度进行累加求和，得到所述共有词的词评分包括：

分别选取出每个所述第一义项与全部所述第二义项的相似度的最大值，组成最大相似度集；

对所述最大相似度集中的若干最大相似度进行累加求和，得到所述共有词的词评分。

在其中一些实施例中，根据所述词评分计算得到所述预设词典对的词典对评分包括：

将若干所述共有词的词评分进行累加求和，得到所述预设词典对的词典对评分。

在其中一些实施例中，进而得到所述预设相似度模型在所述预设词典集上的总评分包括：

所述预设词典集中包括若干所述预设词典对，将若干所述预设词典对的词典对评分进行累加求和，得到所述预设相似度模型在预设词典集上的总评分。

第二方面，本申请实施例提供了一种基于词典的语言理解模型的测评系统，所述系统包括数据获取模块和模型测评模块；

所述数据获取模块从预设词典集中获取预设词典对，所述预设词典对包含第一词典和第二词典；

所述数据获取模块确定所述第一词典和所述第二词典中相同的单词为共有词集；

所述数据获取模块根据所述共有词集中的共有词，从所述第一词典中得到第一义项集，从所述第二词典中得到第二义项集；

所述模型测评模块通过预设相似度模型，分别计算所述第一义项集中每个第一义项与所述第二义项集中全部第二义项的相似度；

所述模型测评模块对若干所述相似度进行预设筛选处理，得到预设相似度集，对所述预设相似度集中的相似度进行累加求和，得到所述共有词的词评分；

所述模型测评模块根据所述词评分计算得到所述预设词典对的词典对评分，进而得到所述预设相似度模型在所述预设词典集上的总评分。

在其中一些实施例中，所述数据获取模块根据所述共有词集中的共有词，从所述第一词典中得到第一义项集，从所述第二词典中得到第二义项集包括：

所述数据获取模块根据所述共有词集中的每个共有词，从所述第一词典中得到每个所述共有词对应的若干第一义项集；

所述数据获取模块根据所述共有词集中的每个共有词，从所述第二词典中得到每个所述共有词对应的若干第二义项集。

在其中一些实施例中，所述模型测评模块对若干所述相似度进行预设筛选处理，得到预设相似度集，对所述预设相似度集中的相似度进行累加求和，得到所述共有词的词评分包括：

所述模型测评模块分别选取出每个所述第一义项与全部所述第二义项的相似度的最大值，组成最大相似度集；

所述模型测评模块对所述最大相似度集中的若干最大相似度进行累加求和，得到所述共有词的词评分。

在其中一些实施例中，所述模型测评模块根据所述词评分计算得到所述预设词典对的词典对评分包括：

所述模型测评模块将若干所述共有词的词评分进行累加求和，得到所述预设词典对的词典对评分。

在其中一些实施例中，进而得到所述预设相似度模型在所述预设词典集上的总评分包括：

所述预设词典集中包括若干所述预设词典对，所述模型测评模块将若干所述预设词典对的词典对评分进行累加求和，得到所述预设相似度模型在预设词典集上的总评分。

相比于相关技术，本申请实施例提供的一种基于词典的语言理解模型的测评方法和系统，通过从预设词典集中获取预设词典对，预设词典对包含第一词典和第二词典，确定第一词典和第二词典中相同的单词为共有词集，根据共有词集中的共有词，从第一词典中得到第一义项集，从第二词典中得到第二义项集；通过预设相似度模型，分别计算第一义项集中每个第一义项与第二义项集中全部第二义项的相似度，对若干相似度进行预设筛选处理，得到预设相似度集，对预设相似度集中的相似度进行累加求和，得到共有词的词评分，根据词评分计算得到预设词典对的词典对评分，进而得到预设相似度模型在预设词典集上的总评分，解决了对模型词义理解能力的评测效果差和人工标注耗时耗力的问题，实现了对模型的词义理解能力基于词典的单独测评，由于词典解释更侧重于语义而非常识，更好地反映模型对词义的理解能力，同时降低了人工标注会造成的误差。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于词典的语言理解模型测评方法的步骤流程图；

图2是根据本申请实施例的基于词典的语言理解模型测评系统的结构框图；

图3是根据本申请实施例的电子设备的内部结构示意图。

附图说明：21、数据获取模块；22、模型测评模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

实施例1

本申请实施例提供了一种基于词典的语言理解模型的测评方法，图1是根据本申请实施例的基于词典的语言理解模型测评方法的步骤流程图，如图1所示，该方法包括以下步骤：

步骤S102，从预设词典集中获取预设词典对，预设词典对包含第一词典和第二词典；

具体地，从预设词典集D中获取预设词典对，其中，预设词典集包含至少两个词典，预设词典集是由两个词典组成的有序二元组，包含第一词典d_i和第二词典d_j，因为有序，所以(d_i，d_j)和(d_j，d_i)是不同的词典对。

步骤S104，确定第一词典和第二词典中相同的单词为共有词集；

具体地，确定预设词典对(d_i，d_j)中的第一词典d_i和第二词典d_j中相同的单词为共有词集intersect(d_i，d_j)。

步骤S106，根据共有词集中的共有词，从第一词典中得到第一义项集，从第二词典中得到第二义项集；

具体地，根据共有词集中intersect(d_i，d_j)中的共有词w_n，从第一词典d_i中得到第一义项集，从第二词典d_j中得到第二义项集。

步骤S108，通过预设相似度模型，分别计算第一义项集中每个第一义项与第二义项集中全部第二义项的相似度；

具体地，通过预设相似度模型M，分别计算第一义项集S_i中每个第一义项与第二义项集S_j中全部第二义项的相似度。

步骤S110，对若干相似度进行预设筛选处理，得到预设相似度集，对预设相似度集中的相似度进行累加求和，得到共有词的词评分；

步骤S112，根据词评分计算得到预设词典对的词典对评分，进而得到预设相似度模型在预设词典集上的总评分。

需要说明的是，如果一个语言理解模型在传统的测评基准上表现很好，那只能说明在该测评基准的特定领域的特定数据集上表现好。一旦模型去预测其他的领域或该领域的其他数据集，由于没有学习相应常识，其表现是无法准确预测的。所以将模型对词义的理解的测评分离出来是很有必要的。词义理解能力的测评，反映了模型最基础和核心的语义理解能力。如果模型对词义的理解效果好，那么进一步增强常识的学习才是事半功倍的；否则即使增强常识的学习，其效果也不会理想。

通过本申请实施例中的步骤S102至步骤S112，解决了对模型词义理解能力的评测效果差和人工标注耗时耗力的问题，实现了对模型的词义理解能力基于词典的单独测评，由于词典解释更侧重于语义而非常识，更好地反映模型对词义的理解能力，同时降低了人工标注会造成的误差。

在其中一些实施例中，步骤S106，根据共有词集中的共有词，从第一词典中得到第一义项集，从第二词典中得到第二义项集包括：

根据共有词集中的每个共有词，从第一词典中得到每个共有词对应的若干第一义项集；

根据共有词集中的每个共有词，从第二词典中得到每个共有词对应的若干第二义项集。

具体地，根据共有词集中intersect(d_i，d_j)中的每个共有词w_n，从第一词典d_i中得到每个共有词w_n对应的第一义项集S_i，

根据共有词集中intersect(d_i，d_j)中的每个共有词w_n，从第二词典d_j中得到每个共有词w_n对应的第二义项集S_j。

在其中一些实施例中，步骤S110，对若干相似度进行预设筛选处理，得到预设相似度集，对预设相似度集中的相似度进行累加求和，得到共有词的词评分包括：

分别选取出每个第一义项与全部第二义项的相似度的最大值，组成最大相似度集；

对最大相似度集中的若干最大相似度进行累加求和，得到共有词的词评分。

具体地，表1是每个第一义项与全部第二义项的相似度，如表1所示，分别选取出第一义项集S_i中的每个第一义项a_x与第二义项集S_j中的全部第二义项b_y的相似度的最大值sim1=max(similarity(a₁，b_y))，sim2=max(similarity(a₂，b_y))，…，simx=max(similarity(a_x，b_y))，组成最大相似度集；

对最大相似度集中的若干最大相似度进行累加求和，得到共有词w_n的词评分（若共有词w_n在第一义项集S_i中有e个第一义项a_x）：

表1

a<sub>1</sub>与b<sub>y</sub>的相似度	similarity(a<sub>1</sub>，b<sub>1</sub>)	similarity(a<sub>1</sub>，b<sub>2</sub>)	…	similarity(a<sub>1</sub>，b<sub>y</sub>)
					a<sub>2</sub>与b<sub>y</sub>的相似度	similarity(a<sub>2</sub>，b<sub>1</sub>)	similarity(a<sub>2</sub>，b<sub>2</sub>)	…	similarity(a<sub>2</sub>，b<sub>y</sub>)
…	…	…	…	…
					a<sub>x</sub>与b<sub>y</sub>的相似度	similarity(a<sub>x</sub>，b<sub>1</sub>)	similarity(a<sub>x</sub>，b<sub>2</sub>)	…	similarity(a<sub>x</sub>，b<sub>y</sub>)

需要说明的是，义项指的是词典中对一个词语的多个解释条目，如“自然”在现代汉语词典中有四个义项，分别为“自然界”、“自由发展；不经人力干预”、“表示理所当然”、“连接分句或句子，表示语义转折或追加说明”。

在其中一些实施例中，步骤S112，根据词评分计算得到预设词典对的词典对评分包括：

将若干共有词的词评分进行累加求和，得到预设词典对的词典对评分。

具体地，将若干共有词w_n的词评分

进行累加求和，得到预 设词典对(d_i，d_j)的词典对评分（若预设词典对(d_i，d_j)中有f个共有词w_n）：

在其中一些实施例中，步骤S112，进而得到预设相似度模型在预设词典集上的总评分包括：

预设词典集中包括若干预设词典对，将若干预设词典对的词典对评分进行累加求和，得到预设相似度模型在预设词典集上的总评分。

具体地，预设词典集D中包括若干预设词典对(d_i，d_j)，将若干预设词典对的词典对 评分

进行累加求和，得到预设相似度模型M在预设词典集D上的 总评分：

通过本实施例中的测评方法测出多个预设相似度模型在预设词典集上的总评分，由于该总评分是根据不同词典中共有词的义项集间的相似度计算得到的（该相似度是根据上述多个预设相似度模型计算得到），因此理论上来说，相似度模型在预设词典集上的总评分越高，表示该相似度模型的词义理解能力越强。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例2

本申请实施例提供了一种基于词典的语言理解模型的测评系统，图2是根据本申请实施例的基于词典的语言理解模型测评系统的结构框图，如图2所示，该系统包括数据获取模块21和模型测评模块22；

数据获取模块21从预设词典集中获取预设词典对，预设词典对包含第一词典和第二词典；

数据获取模块21确定第一词典和第二词典中相同的单词为共有词集；

数据获取模块21根据共有词集中的共有词，从第一词典中得到第一义项集，从第二词典中得到第二义项集；

模型测评模块22通过预设相似度模型，分别计算第一义项集中每个第一义项与第二义项集中全部第二义项的相似度；

模型测评模块22对若干相似度进行预设筛选处理，得到预设相似度集，对预设相似度集中的相似度进行累加求和，得到共有词的词评分；

模型测评模块22根据词评分计算得到预设词典对的词典对评分，进而得到预设相似度模型在预设词典集上的总评分。

通过本申请实施例中的数据获取模块21和模型测评模块22，解决了对模型词义理解能力的评测效果差和人工标注耗时耗力的问题，实现了对模型的词义理解能力基于词典的单独测评，由于词典解释更侧重于语义而非常识，更好地反映模型对词义的理解能力，同时降低了人工标注会造成的误差。

在其中一些实施例中，数据获取模块21根据共有词集中的共有词，从第一词典中得到第一义项集，从第二词典中得到第二义项集包括：

数据获取模块21根据共有词集中的每个共有词，从第一词典中得到每个共有词对应的若干第一义项集；

数据获取模块21根据共有词集中的每个共有词，从第二词典中得到每个共有词对应的若干第二义项集。

在其中一些实施例中，模型测评模块22对若干相似度进行预设筛选处理，得到预设相似度集，对预设相似度集中的相似度进行累加求和，得到共有词的词评分包括：

模型测评模块22分别选取出每个第一义项与全部第二义项的相似度的最大值，组成最大相似度集；

模型测评模块22对最大相似度集中的若干最大相似度进行累加求和，得到共有词的词评分。

在其中一些实施例中，模型测评模块22根据词评分计算得到预设词典对的词典对评分包括：

模型测评模块22将若干共有词的词评分进行累加求和，得到预设词典对的词典对评分。

在其中一些实施例中，进而得到预设相似度模型在预设词典集上的总评分包括：

预设词典集中包括若干预设词典对，模型测评模块22将若干预设词典对的词典对评分进行累加求和，得到预设相似度模型在预设词典集上的总评分。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

实施例3

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的基于词典的语言理解模型的测评方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于词典的语言理解模型的测评方法。

实施例4

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于词典的语言理解模型的测评方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图3是根据本申请实施例的电子设备的内部结构示意图，如图3所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图3所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于词典的语言理解模型的测评方法，数据库用于存储数据。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于词典的语言理解模型的测评方法，其特征在于，所述方法包括：

从预设词典集中获取预设词典对，所述预设词典对包含第一词典和第二词典；

确定所述第一词典和所述第二词典中相同的单词为共有词集；

根据所述共有词集中的共有词，从所述第一词典中得到第一义项集，从所述第二词典中得到第二义项集；

通过预设相似度模型，分别计算所述第一义项集中每个第一义项与所述第二义项集中全部第二义项的相似度；

分别选取出每个所述第一义项与全部所述第二义项的相似度的最大值，组成最大相似度集，对所述最大相似度集中的若干最大相似度进行累加求和，得到所述共有词的词评分；

根据所述词评分计算得到所述预设词典对的词典对评分，进而得到所述预设相似度模型在所述预设词典集上的总评分。

2.根据权利要求1所述的方法，其特征在于，根据所述共有词集中的共有词，从所述第一词典中得到第一义项集，从所述第二词典中得到第二义项集包括：

根据所述共有词集中的每个共有词，从所述第一词典中得到每个所述共有词对应的若干第一义项集；

根据所述共有词集中的每个共有词，从所述第二词典中得到每个所述共有词对应的若干第二义项集。

3.根据权利要求1所述的方法，其特征在于，根据所述词评分计算得到所述预设词典对的词典对评分包括：

将若干所述共有词的词评分进行累加求和，得到所述预设词典对的词典对评分。

4.根据权利要求1所述的方法，其特征在于，进而得到所述预设相似度模型在所述预设词典集上的总评分包括：

所述预设词典集中包括若干所述预设词典对，将若干所述预设词典对的词典对评分进行累加求和，得到所述预设相似度模型在预设词典集上的总评分。

5.一种基于词典的语言理解模型的测评系统，其特征在于，所述系统包括数据获取模块和模型测评模块；

所述数据获取模块从预设词典集中获取预设词典对，所述预设词典对包含第一词典和第二词典；

所述数据获取模块确定所述第一词典和所述第二词典中相同的单词为共有词集；

所述数据获取模块根据所述共有词集中的共有词，从所述第一词典中得到第一义项集，从所述第二词典中得到第二义项集；

所述模型测评模块通过预设相似度模型，分别计算所述第一义项集中每个第一义项与所述第二义项集中全部第二义项的相似度；

所述模型测评模块分别选取出每个所述第一义项与全部所述第二义项的相似度的最大值，组成最大相似度集，对所述最大相似度集中的若干最大相似度进行累加求和，得到所述共有词的词评分；

所述模型测评模块根据所述词评分计算得到所述预设词典对的词典对评分，进而得到所述预设相似度模型在所述预设词典集上的总评分。

6.根据权利要求5所述的系统，其特征在于，所述数据获取模块根据所述共有词集中的共有词，从所述第一词典中得到第一义项集，从所述第二词典中得到第二义项集包括：

所述数据获取模块根据所述共有词集中的每个共有词，从所述第一词典中得到每个所述共有词对应的若干第一义项集；

所述数据获取模块根据所述共有词集中的每个共有词，从所述第二词典中得到每个所述共有词对应的若干第二义项集。

7.根据权利要求5所述的系统，其特征在于，所述模型测评模块根据所述词评分计算得到所述预设词典对的词典对评分包括：

所述模型测评模块将若干所述共有词的词评分进行累加求和，得到所述预设词典对的词典对评分。

8.根据权利要求5所述的系统，其特征在于，进而得到所述预设相似度模型在所述预设词典集上的总评分包括：

所述预设词典集中包括若干所述预设词典对，所述模型测评模块将若干所述预设词典对的词典对评分进行累加求和，得到所述预设相似度模型在预设词典集上的总评分。

Images