CN112507698B - 字向量生成方法、装置、终端设备及计算机可读存储介质 - Google Patents

Abstract

本申请适用于终端技术领域，尤其涉及字向量生成方法、装置、终端设备及计算机可读存储介质。所述方法在需要生成目标字对应的目标字向量时，可以先确定目标字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量。然后，可以根据目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成目标字对应的目标字向量。即通过结合文本信息、象形字图像信息、字根信息以及拼音信息来进行字向量的生成，使得所生成的字向量具有丰富的特征信息，可以充分体现字的属性特征，符合中文字的特性，以为后续的自然语言处理提供更可靠的字向量，提高自然语言处理的准确性，极大地扩展了自然语言处理的应用范围。

Description

字向量生成方法、装置、终端设备及计算机可读存储介质

技术领域

本申请属于终端技术领域，尤其涉及字向量生成方法、装置、终端设备及计算机可读存储介质。

背景技术

在自然语言处理中，为了让计算机可以理解字的含义，需要将字转换成字向量。字向量是字的向量化表示。目前，主要基于英文的处理技术来构建每个字对应的字向量。由于中文与英文之间的天然差异，基于英文的处理技术生成的字向量并不能很好体现字的属性特征，使得自然语言处理的准确性较低，影响自然语言处理技术的广泛应用。

发明内容

本申请实施例提供了一种字向量生成方法、装置、终端设备及计算机可读存储介质，可以丰富字向量的特征信息，使得字向量可以充分体现字的属性特征，从而提高自然语言处理的准确性。

第一方面，本申请实施例提供了一种字向量生成方法，包括：

获取目标字，并确定所述目标字对应的初始字向量；

确定所述目标字对应的图像特征向量、确定所述目标字对应的字根特征向量，以及确定所述目标字对应的拼音特征向量；

根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量。

示例性的，在所述确定所述目标字对应的图像特征向量之前包括：

构建字表，所述字表中包括多个预设字；

针对每一个预设字，获取所述预设字对应的象形字图像；

根据所述预设字对应的象形字图像构建所述预设字对应的图像特征向量。

具体地，所述预设字对应的象形字图像包括多张，所述根据所述预设字对应的象形字图像构建所述预设字对应的图像特征向量包括：

将所述预设字对应的多张象形字图像分别输入至预设的图像识别模型，获取所述图像识别模型的目标网络层提取的各初始图像特征向量，所述目标网络层为所述图像识别模型的最后一层网络；

对所述各初始图像特征向量进行均值计算，并将计算得到的均值图像特征向量确定为所述预设字对应的图像特征向量。

可选地，在所述构建字表之后包括：

获取基础字根和各所述预设字对应的预设字根，并根据所述基础字根和各所述预设字对应的预设字根构建各所述预设字对应的字根特征向量。

在第一方面的一种可能的实现方式中，在所述根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量之前，包括：

获取训练文本，并对所述训练文本进行拆分处理，得到各训练字；

确定中心训练字，并获取所述中心训练字对应的初始字向量和所述中心训练字对应的相关训练字，所述中心训练字为所述各训练字中的任一训练字；

获取所述相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量，并对所述相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行组合，得到所述相关训练字对应的第一训练向量；

将所述第一训练向量输入至第一字向量模型进行处理，得到所述第一字向量模型输出的第一训练结果；

根据所述第一训练结果和所述中心训练字对应的初始字向量确定所述第一字向量模型的第一训练误差；

当所述第一训练误差不满足第一预设条件时，调整所述第一字向量模型的第一模型参数，并返回执行所述获取训练文本，并对所述训练文本进行拆分处理，得到各训练字的步骤以及后续步骤，所述第一模型参数包括所述预设权重矩阵，所述预设权重矩阵为所述第一字向量模型的输入层与隐藏层之间的权重矩阵；

当所述第一训练误差满足所述第一预设条件时，得到所述预设权重矩阵。

在第一方面的另一种可能的实现方式中，在所述根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量之前，包括：

获取训练文本，并对所述训练文本进行拆分处理，得到各训练字；

确定中心训练字，获取所述中心训练字对应的相关训练字以及所述相关训练字对应的初始字向量，所述中心训练字为所述各训练字中的任一训练字；

获取所述中心训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量，并对所述中心训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行组合，得到所述中心训练字对应的第二训练向量；

将所述第二训练向量输入至第二字向量模型进行处理，得到所述第二字向量模型输出的第二训练结果；

根据所述第二训练结果和所述相关训练字对应的初始字向量确定所述第二字向量模型的第二训练误差；

当所述第二训练误差不满足第二预设条件时，调整所述第二字向量模型的第二模型参数，并返回执行所述获取训练文本，并对所述训练文本进行拆分处理，得到各训练字的步骤以及后续步骤，所述第二模型参数包括所述预设权重矩阵，所述预设权重矩阵为所述第二字向量模型的输入层与隐藏层之间的权重矩阵；

当所述第二训练误差满足所述第二预设条件时，得到所述预设权重矩阵。

可选的，所述根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量包括：

对所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量进行组合，得到所述目标字对应的组合向量；

将所述组合向量与所述预设权重矩阵进行相乘处理，得到所述目标字对应的目标字向量。

第二方面，本申请实施例提供了一种字向量生成装置，包括：

目标字获取模块，用于获取目标字，并确定所述目标字对应的初始字向量；

特征向量确定模块，用于确定所述目标字对应的图像特征向量、确定所述目标字对应的字根特征向量，以及确定所述目标字对应的拼音特征向量；

字向量生成模块，用于根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的字向量生成方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的字向量生成方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的字向量生成方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

本申请实施例与现有技术相比存在的有益效果是：

本申请实施例中，在需要生成目标字对应的目标字向量时，可以先确定目标字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量。然后，可以根据目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成目标字对应的目标字向量。即本申请实施例通过结合文本信息、象形字图像信息、字根信息以及拼音信息来进行字向量的生成，使得所生成的字向量具有丰富的特征信息，可以充分体现字的属性特征，符合中文字的特性，以为后续的自然语言处理提供更可靠的字向量，提高自然语言处理的准确性，极大地扩展了自然语言处理的应用范围。

附图说明

图1是本申请实施例提供的字向量生成方法的示意性流程图；

图2是本申请实施例涉及的第一字向量模型的结构示意图；

图3是本申请一实施例训练第一字向量模型的示意性流程图；

图4是本申请实施例涉及的第二字向量模型的结构示意图；

图5是本申请另一实施例训练第二字向量模型的示意性流程图；

图6是本申请实施例提供的字向量生成装置的结构示意图；

图7是本申请实施例提供的终端设备的结构示意图。

具体实施方式

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的字向量生成方法可以应用于终端设备，终端设备可以为手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra－mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、云端服务器等，本申请实施例对终端设备的具体类型不作任何限制。

请参阅图1，图1示出了本申请实施例提供的字向量生成方法的示意性流程图。如图1所示，所述字向量生成方法可以包括：

S101、获取目标字，并确定所述目标字对应的初始字向量。

其中，目标字可以为某一输入文本中的任一字，例如，可以为文本分类任务中，待分类文本中的任一字；例如，可以为语义匹配任务中，待匹配文本中的任一字。

本申请实施例中，目标字对应的初始字向量可以为该目标字对应的独热one－hot编码。one－hot编码的维度可以根据字表的字数量V确定。例如当字表的字数量V为6，且目标字位于字表的第3个时，该目标字对应的初始字向量可以为[0，0，1，0，0，0]。

S102、确定所述目标字对应的图像特征向量、确定所述目标字对应的字根特征向量，以及确定所述目标字对应的拼音特征向量。

应理解，英文是由字母组成，中文是由汉字组成，即英文是表音的，中文是表意的，中文表意的功能得益于中文的象形文字特点。因此，本申请实施例可以结合目标字的象形字图像来进行字向量的生成，以确保生成的字向量符合中文特性。

在自然语言处理中，英文需要词形还原和词干提取等预处理操作的原因是英文单词有丰富的形态变化，包括：单复数、主被动、时态变化、词缀等。而中文没有像英文这样的词形态的变化，但中文有一个与“词干”变化相近的概念—偏旁部首，如“猴、狗、猪、猫、狼”这些汉字，显然都是动物名词。因此，本申请实施例还可以结合以偏旁为依据的字根信息以及结合拼音信息来进行字向量的生成，以确保生成的字向量符合中文特性。

本申请实施例中，可以事先构建字表，并构建字表中各预设字对应的图像特征向量、字根特征向量以及拼音特征向量。目标字可以为字表中的任一预设字。因此，在获取目标字后，可以直接从事先构建的图像特征向量、字根特征向量以及拼音特征向量中，获取目标字对应的图像特征向量、字根特征向量以及拼音特征向量。

具体地，可以从维基百科的中文开放数据集中获取数据源，对获取的数据源进行标点符号和停用词的去除处理，并拆分得到多个字。随后，获取这多个字中字频大于或者等于预设值的V个预设字，并根据V个预设字构建字表。例如，可以根据V个预设字的字频从高至低的顺序来构建字表，即在字表中，字频越高的预设字，排序越靠前，字频越低的预设字，排序越靠后。假定，字A的字频为5，字B的字频为6，则字A可以为字表中的第8个字，字B可以为字表中的第7个字。或者，可以根据V个预设字的字频从低至高的顺序来构建字表，即在字表中，字频越低的预设字，排序越靠前，字频越高的预设字，排序越靠后。

其中，字频是指该字在所有数据源中出现的总次数。预设值可以根据具体情况进行设置，例如可以将预设值设置为3。即字表中的预设字可以为数据源中出现的总次数大于或者等于3的字。

下面首先对任一预设字对应的图像特征向量的构建过程进行描述。

在构建字表后，针对字表中的每一个预设字，可以获取该预设字对应的象形字图像。然后，可以根据该预设字对应的象形字图像构建该预设字对应的图像特征向量。其中，象形字的字体可以包括甲骨文、金文、小篆、隶书、楷书等。象形字图像是指以对应的字体书写的文字的图像。

具体地，所述根据所述预设字对应的象形字图像构建所述预设字对应的图像特征向量，可以包括：

步骤a、将所述预设字对应的多张象形字图像分别输入至预设的图像识别模型，获取所述图像识别模型的目标网络层提取的各初始图像特征向量，所述目标网络层为所述图像识别模型的最后一层网络；

本申请实施例中，可以通过图像搜索来获取预设字对应的象形字图像，具体地，可以将该预设字和各字体分别输入至预设搜索引擎的图像搜索框中，以搜索出与该预设字对应的象形字图像，例如可以将“鱼甲骨文”输入至预设搜索引擎的图像搜索框中，搜索出“鱼”对应的甲骨文图像，其中，甲骨文图像是指以甲骨文书写该预设字的图像，后续的金文图像、小篆图像、隶书图像以及楷书图像类似。然后，可以下载搜索出的象形字图像，得到该预设字对应的甲骨文图像、金文图像、小篆图像、隶书图像、楷书图像等中的至少一种。在此，可以通过爬虫进行图像的自动化下载。由于下载的各象形字图像的像素大小不同，为方便进行图像特征的提取，可以将各象形字图像裁剪至统一像素，例如裁剪至224＊224。最后，可以将裁剪后的各象形字图像分别输入至预设的图像识别模型，并将该图像识别模型的目标网络层所提取出的特征向量，确定为该象形字图像对应的初始图像特征向量。

需要说明的是，由于并不是所有的预设字都能获取到五种字体对应的象形字图像，因此，各预设字对应的初始图像特征向量的数量可以为1、2、3、4或者5个。

其中，预设的图像识别模型可以为基于VGG16网络结构的图像识别模型。图像识别模型的目标网络层为VGG16网络结构的最后一层，VGG16网络结构的最后一层可以为一全连接层，该全连接层可以具有1000个隐藏节点，因此，各象形字图像对应的初始图像特征向量可以为1＊1000维的向量。

步骤b、对所述各初始图像特征向量进行均值计算，并将计算得到的均值图像特征向量确定为所述预设字对应的图像特征向量。

具体地，可将该预设字对应的各初始图像特征向量中相同维度所对应的值进行相加，并将相加之和分别除以该预设字对应的初始图像特征向量的数量，得到各个维度对应的平均值，将各个维度对应的平均值所构成的均值图像特征向量确定该预设字对应的图像特征向量。

例如，当某一预设字仅具有小篆图像、隶书图像和楷书图像时，则该预设字对应的初始图像特征向量的数量为3，假定小篆图像对应的初始图像特征向量为[2，3，5，6，……，6]，隶书图像对应的初始图像特征向量为[3，3，2，4，……，4]，楷书图像对应的初始图像特征向量为[1，3，2，2，……，5]，则该预设字对应的图像特征向量可以为[2，3，3，4，……，5]。

可以理解的是，当该预设字对应的初始图像特征向量仅为一个时，例如当该预设字仅具有楷书图像时，则可以直接将该初始图像特征向量确定为该预设字对应的图像特征向量。

需要说明的是，前述描述的图像识别模型为基于VGG16网络结构仅作示意性解释，不应理解为对本申请实施例的限制，本申请实施例当然也可以使用精度更高的网络结构来构建图像识别模型。

下面对任一预设字对应的字根特征向量的构建过程进行描述。

应理解，中文字的五笔字根总共由271个基础字根组成，即任何一个预设字均可由这271个基础字根组合而成。其中，基础字根可以是汉字、汉字的偏旁部首、也可以是部首的一部分、甚至是笔画等。因此，本申请实施例可以对该预设字进行拆解，得到该预设字对应的各预设字根。任一预设字根为基础字根中的任一个。然后，可以根据基础字根与该预设字对应的各预设字根来构建该预设字对应的字根特征向量。

其中，字根特征向量可以为1＊271维的向量，每一个维度表征一个基础字根。本申请实施例中，可以先统计该预设字对应的各预设字根的出现次数，并将出现次数确定该预设字根所在维度的值，而该预设字中没有出现的基础字根所在的维度则可以用0表示。例如，当某一预设字对应的预设字根为第一个基础字根、第三个基础字根以及第六个基础字根，且第一个基础字根的出现次数为2、第三个基础字根的出现次数为1、第六个基础字根的出现次数为4时，则该预设字对应的字根特征向量可以为[2，0，1，0，0，4，0，……，0]。

下面对任一预设字对应的拼音特征向量的构建过程进行描述。

应理解，任一预设字的拼音可以通过26个英文字母中的一个或者多个，以及4个声调来表示。因此，拼音特征向量可以为1＊30维的向量，其中，向量的前26个可以代表26个英文字母(如第1个可以代表a，第2个可以代表b，第3个可以代表c，……，第26个可以代表z)，后4个可以代表声调(如第27个可以代表第一声，第28个可以代表第二声，第29个可以代表第三声，第30个可以代表第四声)。因此，可以通过获取该预设字的拼音来构建该预设字对应的拼音特征向量。例如“鱼”的拼音为yú，则鱼对应的拼音特征向量可以表示为：[0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，1，0，0，0，1，0，0，1，0，0]。

需要说明的是，上述事先构建字表中各预设字对应的图像特征向量、字根特征向量以及拼音特征向量，然后通过目标字与预设字进行匹配，来获取目标字对应的图像特征向量、字根特征向量以及拼音特征向量仅作示意性解释，不应理解为对本申请实施例的限制，本申请实施例中，也可以直接根据目标字对应的象形字图像、目标字根以及拼音来实时构建该目标字对应的图像特征向量、字根特征向量以及拼音特征向量。

S103、根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量。

本申请实施例中，在获取目标字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量后，可以根据目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成目标字对应的目标字向量。

下面先对预设权重矩阵的获取过程进行描述。

在一个示例中，可以通过训练文本训练第一字向量模型来得到预设权重矩阵。其中，第一字向量模型可以为连续词袋模型(continuous bag－of－words model，CBOW)。训练第一字向量模型是指对第一字向量模型的第一模型参数进行调整优化的过程。第一字向量模型的第一模型参数可以包括输入层与隐藏层之间的权重矩阵，以及隐藏层与输出层之间的权重矩阵。预设权重矩阵可以为输入层与隐藏层之间的权重矩阵。

请参阅图2，图2示出了第一字向量模型的结构示意图。如图2所示，第一字向量模型可以包括输入层201、隐藏层202以及输出层203。其中，输入层201与隐藏层202之间的权重矩阵的维度可以为(V+1000+271+30)＊N，N为隐藏层202中神经元的个数。N可以根据字表中的字数量V确定。具体地，当V较大时，N可以相对较大，当V较小时，N可以相对较小。隐藏层202与输出层203之间的权重矩阵的维度可以为N＊V。

输入层201用于输入上下文的字对应的第一训练向量。隐藏层202用于对各第一训练向量进行处理，得到中间训练向量，并将中间训练向量传递给输出层203。具体的，隐藏层202可以将各第一训练向量与预设权重矩阵(即输入层201与隐藏层202之间的权重矩阵)相乘后进行相加，得到中间训练向量，并将中间训练向量传递给输出层203。输出层203将中间训练向量乘以隐藏层202与输出层203之间的权重矩阵，得到最终输出的第一训练结果，第一训练结果为1＊V维的向量。

请参阅图3，图3示出了训练第一字向量模型，得到预设权重矩阵的示意性流程图。如图3所示，在所述根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量之前，可以包括：

S301、获取训练文本，并对所述训练文本进行拆分处理，得到各训练字。

S302、确定中心训练字，并获取所述中心训练字对应的初始字向量和所述中心训练字对应的相关训练字，所述中心训练字为所述各训练字中的任一训练字。

对于S301和S302，一个训练文本可以为一句话。中心训练字对应的相关训练字是指训练文本中该中心训练字的上下文所对应的字。中心训练字对应的相关训练字的数量可以自定义设置。具体地，可以通过设置中心训练字一侧的字的数量来设置相关训练字的数量。例如，当将中心训练字一侧的字的数量设置为2时，即可以将中心训练字左侧的两个字和中心训练字右侧的两个字，共四个字确定为该中心训练字对应的相关训练字。例如，当将中心训练字一侧的字的数量设置为1时，即可以将中心训练字左侧的一个字和中心训练字右侧的一个字，共两个字确定为该中心训练字对应的相关训练字。

示例性的，可以将训练文本中的每一个训练字分别确定为中心训练字，来进行CBOW的训练。示例性的，对于每一个训练文本，可以将该训练文本中的一个或者多个训练字确定为中心训练字，来进行CBOW的训练。

其中，中心训练字对应的初始字向量可以为该中心训练字对应的one－hot编码。one－hot编码的维度可以根据前述的字表的字数量V确定，即中心训练字对应的初始字向量可以为1＊V维的向量。

S303、获取所述相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量，并对所述相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行组合，得到所述相关训练字对应的第一训练向量。

S304、将所述第一训练向量输入至第一字向量模型进行处理，得到所述第一字向量模型输出的第一训练结果。

其中，相关训练字对应的初始字向量也可以为该相关训练字对应的one－hot编码。one－hot编码的维度可以根据前述的字表的字数量V确定，即各相关训练字对应的初始字向量可以为1＊V维的向量。各相关训练字一般为前述的字表中的任一预设字，因此，本申请实施例中，可以直接获取各相关训练字对应的图像特征向量、字根特征向量以及拼音特征向量。

在获取任一相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量后，可以将该相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行拼接，得到该相关训练字对应的第一训练向量，其中，该相关训练字对应的第一训练向量可以为1＊(V+1000+271+30)的向量。

可以理解的是，CBOW可以根据多个相关训练字来预测与这多个相关训练字对应的中心训练字。本申请实施例中，可以将中心训练字对应的多个相关训练字所对应的第一训练向量分别输入至第一字向量模型(即CBOW)的输入层201。第一字向量模型的输入层201可以将各相关训练字对应的第一训练向量分别传递至隐藏层202。隐藏层202可以将各第一训练向量与预设权重矩阵(即输入层201与隐藏层202之间的权重矩阵)相乘后进行相加，得到中间训练向量，并将中间训练向量传递至输出层203。输出层203将中间训练向量乘以隐藏层202与输出层203之间的权重矩阵，得到最终输出的第一训练结果，第一训练结果为1＊V维的向量。

S305、根据所述第一训练结果和所述中心训练字对应的初始字向量确定所述第一字向量模型的第一训练误差。

S306、判断所述第一训练误差是否满足第一预设条件。

S307、当所述第一训练误差不满足第一预设条件时，调整所述第一字向量模型的第一模型参数，并返回执行所述获取训练文本，并对所述训练文本进行拆分处理，得到各训练字的步骤以及后续步骤，所述第一模型参数包括所述预设权重矩阵，所述预设权重矩阵为所述第一字向量模型的输入层与隐藏层之间的权重矩阵。

S308、当所述第一训练误差满足所述第一预设条件时，得到所述预设权重矩阵。

对于S305至S308，在得到第一字向量模型输出的第一训练结果后，可以将该第一训练结果与该中心训练字对应的初始字向量进行对比，以此确定第一字向量模型的第一训练误差。具体地，可以使用交叉熵作为代价函数。即可以将第一训练结果与该中心训练字对应的初始字向量之间的交叉熵作为第一字向量模型的第一训练误差。

应理解，当第一训练误差不满足第一预设条件时，可以通过梯度下降法更新第一字向量模型的第一模型参数，即更新输入层201与隐藏层202之间的权重矩阵，以及更新隐藏层202与输出层203之间的权重矩阵。第一预设条件可以为第一训练误差小于指定值。该指定值可以根据具体情况确定。然后，再通过训练文本进行第一字向量模型的训练，直至第一训练误差满足第一预设条件为止，得到训练完成的第一字向量模型，从而得到预设权重矩阵。

在另一个示例中，可以通过训练文本训练第二字向量模型来得到预设权重矩阵。其中，第二字向量模型可以为Skip－Gram模型。训练第二字向量模型是指对第二字向量模型的第二模型参数进行调整优化的过程。第二字向量模型的第二模型参数可以包括输入层与隐藏层之间的权重矩阵，以及隐藏层与输出层之间的权重矩阵。预设权重矩阵可以为输入层与隐藏层之间的权重矩阵。

请参阅图4，图4示出了第二字向量模型的结构示意图。如图4所示，第二字向量模型可以包括输入层401、隐藏层402以及输出层403。其中，输入层401与隐藏层402之间的权重矩阵的维度可以为(V+1000+271+30)＊N，N为隐藏层402中神经元的个数。N可以根据字表中的字数量V确定。具体地，当V较大时，N可以相对较大，当V较小时，N可以相对较小。隐藏层402与输出层403之间的权重矩阵的维度可以为N＊V。

输入层401用于输入中心训练字对应的第二训练向量。隐藏层402用于对第二训练向量进行处理，得到中间训练向量，并将中间训练向量传递给输出层403。具体的，隐藏层402可以将第二训练向量与预设权重矩阵(即输入层401与隐藏层402之间的权重矩阵)进行相乘，得到中间训练向量，并将中间训练向量传递给输出层403。输出层403将中间训练向量乘以隐藏层402与输出层403之间的权重矩阵，得到最终输出的各第二训练结果，各第二训练结果分别为1＊V维的向量。

请参阅图5，图5示出了训练第二字向量模型，得到预设权重矩阵的示意性流程图。如图5所示，在所述根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量之前，可以包括：

S501、获取训练文本，并对所述训练文本进行拆分处理，得到各训练字。

S502、确定中心训练字，获取所述中心训练字对应的相关训练字以及所述相关训练字对应的初始字向量，所述中心训练字为所述各训练字中的任一训练字。

其中，S501与前述的S301相似，S502与前述的S302相似，基本原理相同，为简明起见，在此不再赘述。

S503、获取所述中心训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量，并对所述中心训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行组合，得到所述中心训练字对应的第二训练向量。

S504、将所述第二训练向量输入至第二字向量模型进行处理，得到所述第二字向量模型输出的第二训练结果。

其中，中心训练字对应的初始字向量也可以为该中心训练字对应的one－hot编码。中心训练字一般为前述的字表中的任一预设字，因此，本申请实施例中，可以直接获取中心训练字对应的图像特征向量、字根特征向量以及拼音特征向量，然后可以对中心训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行拼接，得到中心训练字对应的第二训练向量，即第二训练向量可以为1＊(V+1000+271+30)的向量。

可以理解的是，Skip－Gram模型可以根据中心训练字来预测与该中心训练字对应的多个相关训练字。

本申请实施例中，可以将中心训练字对应的第二训练向量输入至第二字向量模型(即Skip－Gram模型)的输入层401。第二字向量模型的输入层401可以将中心训练字对应的第二训练向量传递至隐藏层402。隐藏层402可以将第二训练向量与预设权重矩阵(即输入层401与隐藏层402之间的权重矩阵)进行相乘，得到中间训练向量，并将中间训练向量传递至输出层403。输出层403将中间训练向量乘以隐藏层402与输出层403之间的权重矩阵，得到最终输出的各第二训练结果，各第二训练结果均为1＊V维的向量。

S505、根据所述第二训练结果和所述相关训练字对应的初始字向量确定所述第二字向量模型的第二训练误差。

S506、判断所述第二训练误差是否满足第二预设条件。

S507、当所述第二训练误差不满足第二预设条件时，调整所述第二字向量模型的第二模型参数，并返回执行所述获取训练文本，并对所述训练文本进行拆分处理，得到各训练字的步骤以及后续步骤，所述第二模型参数包括所述预设权重矩阵，所述预设权重矩阵为所述第二字向量模型的输入层与隐藏层之间的权重矩阵。

S508、当所述第二训练误差满足所述第二预设条件时，得到所述预设权重矩阵。

对于S505至S508，在得到第二字向量模型输出的各第二训练结果后，可以将各第二训练结果分别与该中心训练字对应的各相关训练字的初始字向量进行对比，以此确定第二字向量模型的第二训练误差。当第二训练误差不满足第二预设条件时，可以通过梯度下降法更新第二字向量模型的第二模型参数，即更新输入层401与隐藏层402之间的权重矩阵，以及更新隐藏层402与输出层403之间的权重矩阵。第二预设条件可以为第二训练误差小于指定值。该指定值可以根据具体情况确定。然后，再通过训练文本进行第二字向量模型的训练，直至第二训练误差满足第二预设条件为止，得到训练完成的第二字向量模型，从而得到预设权重矩阵。

本申请实施例中，根据目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成目标字对应的目标字向量可以是先对目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量进行组合，得到目标字对应的组合向量。然后，将组合向量与预设权重矩阵进行相乘处理，得到目标字对应的目标字向量。其中，对目标字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行组合，可以是将目标字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行拼接，得到1＊(V+1000+271+30)的组合向量。

本申请实施例中，在需要生成目标字对应的目标字向量时，可以先确定目标字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量。然后，可以根据目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成目标字对应的目标字向量。即本申请实施例通过结合文本信息、象形字图像信息、字根信息以及拼音信息来进行字向量的生成，使得所生成的字向量具有丰富的特征信息，可以充分体现字的属性特征，符合中文字的特性，以为后续的自然语言处理提供更可靠的字向量，提高自然语言处理的准确性，极大地扩展了自然语言处理的应用范围。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的字向量生成方法，图6示出了本申请实施例提供的字向量生成装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图6，所述字向量生成装置，可以包括：

目标字获取模块601，用于获取目标字，并确定所述目标字对应的初始字向量；

特征向量确定模块602，用于确定所述目标字对应的图像特征向量、确定所述目标字对应的字根特征向量，以及确定所述目标字对应的拼音特征向量；

字向量生成模块603，用于根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量。

示例性的，所述字向量生成装置，还可以包括：

字表构建模块，用于构建字表，所述字表中包括多个预设字；

图像获取模块，用于针对每一个预设字，获取所述预设字对应的象形字图像；

图像特征向量构建模块，用于根据所述预设字对应的象形字图像构建所述预设字对应的图像特征向量。

具体地，所述预设字对应的象形字图像包括多张，所述图像特征向量构建模块，具体用于将所述预设字对应的多张象形字图像分别输入至预设的图像识别模型，获取所述图像识别模型的目标网络层提取的各初始图像特征向量，所述目标网络层为所述图像识别模型的最后一层网络；对所述各初始图像特征向量进行均值计算，并将计算得到的均值图像特征向量确定为所述预设字对应的图像特征向量。

可选地，所述字向量生成装置，还可以包括：

字根特征向量构建模块，用于获取基础字根和各所述预设字对应的预设字根，并根据所述基础字根和各所述预设字对应的预设字根构建各所述预设字对应的字根特征向量。

在一种可能的实现方式中，所述字向量生成装置，还可以包括：

第一训练文本获取模块，用于获取训练文本，并对所述训练文本进行拆分处理，得到各训练字；

第一中心训练字确定模块，用于确定中心训练字，并获取所述中心训练字对应的初始字向量和所述中心训练字对应的相关训练字，所述中心训练字为所述各训练字中的任一训练字；

第一训练向量获取模块，用于获取所述相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量，并对所述相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行组合，得到所述相关训练字对应的第一训练向量；

第一训练结果获取模块，用于将所述第一训练向量输入至第一字向量模型进行处理，得到所述第一字向量模型输出的第一训练结果；

第一训练误差确定模块，用于根据所述第一训练结果和所述中心训练字对应的初始字向量确定所述第一字向量模型的第一训练误差；

第一模型参数调整模块，用于当所述第一训练误差不满足第一预设条件时，调整所述第一字向量模型的第一模型参数，并返回执行所述获取训练文本，并对所述训练文本进行拆分处理，得到各训练字的步骤以及后续步骤，所述第一模型参数包括所述预设权重矩阵，所述预设权重矩阵为所述第一字向量模型的输入层与隐藏层之间的权重矩阵；

第一预设权重矩阵获取模块，用于当所述第一训练误差满足所述第一预设条件时，得到所述预设权重矩阵。

在另一种可能的实现方式中，所述字向量生成装置，还可以包括：

第二训练文本获取模块，用于获取训练文本，并对所述训练文本进行拆分处理，得到各训练字；

第二中心训练字确定模块，用于确定中心训练字，获取所述中心训练字对应的相关训练字以及所述相关训练字对应的初始字向量，所述中心训练字为所述各训练字中的任一训练字；

第二训练向量获取模块，用于获取所述中心训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量，并对所述中心训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行组合，得到所述中心训练字对应的第二训练向量；

第二训练结果获取模块，用于将所述第二训练向量输入至第二字向量模型进行处理，得到所述第二字向量模型输出的第二训练结果；

第二训练误差确定模块，用于根据所述第二训练结果和所述相关训练字对应的初始字向量确定所述第二字向量模型的第二训练误差；

第二模型参数调整模块，用于当所述第二训练误差不满足第二预设条件时，调整所述第二字向量模型的第二模型参数，并返回执行所述获取训练文本，并对所述训练文本进行拆分处理，得到各训练字的步骤以及后续步骤，所述第二模型参数包括所述预设权重矩阵，所述预设权重矩阵为所述第二字向量模型的输入层与隐藏层之间的权重矩阵；

第二预设权重矩阵获取模块，用于当所述第二训练误差满足所述第二预设条件时，得到所述预设权重矩阵。

可选的，所述字向量生成模块603，可以包括：

向量组合单元，用于对所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量进行组合，得到所述目标字对应的组合向量；

字向量生成单元，用于将所述组合向量与所述预设权重矩阵进行相乘处理，得到所述目标字对应的目标字向量。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图7为本申请一实施例提供的终端设备的结构示意图。如图所示，该实施例的终端设备6包括：至少一个处理器70(图7中仅示出一个)、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个字向量生成方法实施例中的步骤。

所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备6的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所述处理器70可以是中央处理单元(central processing unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field－programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read－only memory，ROM，)、随机存取存储器(random accessmemory，RAM，)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种字向量生成方法，其特征在于，包括：

获取目标字，并确定所述目标字对应的初始字向量；

确定所述目标字对应的图像特征向量、确定所述目标字对应的字根特征向量，以及确定所述目标字对应的拼音特征向量；

根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量；

其中，在所述确定所述目标字对应的图像特征向量之前包括：

构建字表，所述字表中包括多个预设字；

针对每一个预设字，获取所述预设字对应的象形字图像；

根据所述预设字对应的象形字图像构建所述预设字对应的图像特征向量；

在所述构建字表之后包括：

获取基础字根和各所述预设字对应的预设字根，并根据所述基础字根和各所述预设字对应的预设字根构建各所述预设字对应的字根特征向量。

2.如权利要求1所述的字向量生成方法，其特征在于，所述预设字对应的象形字图像包括多张，所述根据所述预设字对应的象形字图像构建所述预设字对应的图像特征向量包括：

将所述预设字对应的多张象形字图像分别输入至预设的图像识别模型，获取所述图像识别模型的目标网络层提取的各初始图像特征向量，所述目标网络层为所述图像识别模型的最后一层网络；

对所述各初始图像特征向量进行均值计算，并将计算得到的均值图像特征向量确定为所述预设字对应的图像特征向量。

3.如权利要求1所述的字向量生成方法，其特征在于，在所述根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量之前，包括：

获取训练文本，并对所述训练文本进行拆分处理，得到各训练字；

确定中心训练字，并获取所述中心训练字对应的初始字向量和所述中心训练字对应的相关训练字，所述中心训练字为所述各训练字中的任一训练字；

获取所述相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量，并对所述相关训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行组合，得到所述相关训练字对应的第一训练向量；

将所述第一训练向量输入至第一字向量模型进行处理，得到所述第一字向量模型输出的第一训练结果；

根据所述第一训练结果和所述中心训练字对应的初始字向量确定所述第一字向量模型的第一训练误差；

当所述第一训练误差不满足第一预设条件时，调整所述第一字向量模型的第一模型参数，并返回执行所述获取训练文本，并对所述训练文本进行拆分处理，得到各训练字的步骤以及后续步骤，所述第一模型参数包括所述预设权重矩阵，所述预设权重矩阵为所述第一字向量模型的输入层与隐藏层之间的权重矩阵；

当所述第一训练误差满足所述第一预设条件时，得到所述预设权重矩阵。

4.如权利要求1所述的字向量生成方法，其特征在于，在所述根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量之前，包括：

获取训练文本，并对所述训练文本进行拆分处理，得到各训练字；

确定中心训练字，获取所述中心训练字对应的相关训练字以及所述相关训练字对应的初始字向量，所述中心训练字为所述各训练字中的任一训练字；

获取所述中心训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量，并对所述中心训练字对应的初始字向量、图像特征向量、字根特征向量以及拼音特征向量进行组合，得到所述中心训练字对应的第二训练向量；

将所述第二训练向量输入至第二字向量模型进行处理，得到所述第二字向量模型输出的第二训练结果；

根据所述第二训练结果和所述相关训练字对应的初始字向量确定所述第二字向量模型的第二训练误差；

当所述第二训练误差不满足第二预设条件时，调整所述第二字向量模型的第二模型参数，并返回执行所述获取训练文本，并对所述训练文本进行拆分处理，得到各训练字的步骤以及后续步骤，所述第二模型参数包括所述预设权重矩阵，所述预设权重矩阵为所述第二字向量模型的输入层与隐藏层之间的权重矩阵；

当所述第二训练误差满足所述第二预设条件时，得到所述预设权重矩阵。

5.如权利要求1至4任一项所述的字向量生成方法，其特征在于，所述根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量包括：

对所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量进行组合，得到所述目标字对应的组合向量；

将所述组合向量与所述预设权重矩阵进行相乘处理，得到所述目标字对应的目标字向量。

6.一种字向量生成装置，其特征在于，包括：

字表构建模块，用于构建字表，所述字表中包括多个预设字；

图像获取模块，用于针对每一个预设字，获取所述预设字对应的象形字图像；

图像特征向量构建模块，用于根据所述预设字对应的象形字图像构建所述预设字对应的图像特征向量；

字根特征向量构建模块，用于获取基础字根和各所述预设字对应的预设字根，并根据所述基础字根和各所述预设字对应的预设字根构建各所述预设字对应的字根特征向量；

目标字获取模块，用于获取目标字，并确定所述目标字对应的初始字向量；

特征向量确定模块，用于确定所述目标字对应的图像特征向量、确定所述目标字对应的字根特征向量，以及确定所述目标字对应的拼音特征向量；

字向量生成模块，用于根据所述目标字对应的初始字向量、图像特征向量、字根特征向量、拼音特征向量以及预设权重矩阵生成所述目标字对应的目标字向量。

7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的字向量生成方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的字向量生成方法。