CN115688885A - 一种基于卷积神经网络的bert模型的微调方法及系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的BERT模型的微调方法及系统，包括识别文本获取模块、文本识别模块、分词处理模块、词性词语模块、词语筛选模块、微调模块、词性向量模块、语句词性向量构建模块与电子设备模块，所述识别文本获取模块连接文本识别模块的位置，所述文本识别模块连接分词处理模块的位置，所述分词处理模块连接词性词语模块的位置，所述词性词语模块连接词语筛选模块的位置，所述词语筛选模块连接微调模块的位置，所述微调模块连接语句词性向量构建模块的位置。本发明所述的一种基于卷积神经网络的BERT模型的微调方法及系统，新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度。

Description

一种基于卷积神经网络的BERT模型的微调方法及系统

技术领域

本发明涉及神经网络技术领域，特别涉及一种基于卷积神经网络的BERT模型的微调方法及系统。

背景技术

基于卷积神经网络的BERT模型的微调方法是一种进行神经网络技术微调的方案，BERT模型是近年来自然语言处理(NLP)领域的热门研究领域之一，BERT模型的训练主要分为两个阶段，在预训练(pre-trained)阶段，基于海量数据优化模型参数，学习到通用的语言表示，而在微调(fine-tuned)阶段，基于具体的下游任务重新微调模型参数，从而提高具体NLP任务的精确率，随着科技的不断发展，人们对于基于卷积神经网络的BERT模型的微调方法的要求也越来越高。

BERT(Bidirectional Encoder Representations from Transformers，双向注意力神经网络模型)模型，BERT模型中的特征抽取使用的是Transformer，比LSTM具有更强的特征抽取能力，其中BERT使用MLM(MaskLanguage Model)的方式使得Transformer的encoder实现了融合双向特征。

现有的基于卷积神经网络的BERT模型的微调方法在使用时存在一定的弊端，对于有些有歧义的语料，BERT模型通过大规模无标注语料库的预训练后以及后续的微调过程中仍无法精确识别，为此，我们提出一种基于卷积神经网络的BERT模型的微调方法及系统。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于卷积神经网络的BERT模型的微调方法及系统，新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度，可以有效解决背景技术中的问题。

(二)技术方案

为实现上述目的，本发明采取的技术方案为：一种基于卷积神经网络的BERT模型的微调系统，包括识别文本获取模块、文本识别模块、分词处理模块、词性词语模块、词语筛选模块、微调模块、词性向量模块、语句词性向量构建模块与电子设备模块，所述识别文本获取模块连接文本识别模块的位置，所述文本识别模块连接分词处理模块的位置，所述分词处理模块连接词性词语模块的位置，所述词性词语模块连接词语筛选模块的位置，所述词语筛选模块连接微调模块的位置，所述微调模块连接语句词性向量构建模块的位置，所述语句词性向量构建模块连接词性向量模块的位置。

作为本申请一种优选的技术方案，所述词性词语模块包括词性匹配单元与组合单元，所述微调模块包括语句提取单元、义原查找单元、义原向量单元、微调单元，所述微调单元包括相连拼接子单元与BERT模型微调子单元。

作为本申请一种优选的技术方案，所述电子设备模块包括存储器、处理器、通信接口，所述存储器、处理器、通信接口均连接有通信总线。

作为本申请一种优选的技术方案，所述识别文本获取模块的输出端与文本识别模块的输入端电性连接，所述文本识别模块的输出端与分词处理模块的输入端电性连接，所述分词处理模块的输出端与词性词语模块的输入端电性连接，所述词性词语模块的输出端与词语筛选模块的输入端电性连接，所述词语筛选模块的输出端与微调模块的输入端电性连接，所述微调模块的输出端与语句词性向量构建模块的输入端电性连接，所述语句词性向量构建模块的输出端与词性向量模块的输入端电性连接。

作为本申请一种优选的技术方案，所述微调模块内部的语句提取单元提取多个歧义词语对应的语句，所述义原查找单元用于在预置的外部知识库中查找对应的语句的义原，所述义原向量单元将义原集合输入至预置的BERT模型中得到义原向量集，所述微调单元根据义原向量集对预置的BERT模型进行微调。

作为本申请一种优选的技术方案，所述存储器、处理器、通信接口相互之间直接或间接地电性连接以实现数据的传输或交互，所述存储器可以是但不限于随机存取存储器、只读存储器、可编程只读存储器、可擦除只读存储器、电可擦除只读存储器等，所述处理器可以是通用处理器，包括中央处理器、网络处理器，还可以是数字信号处理器、专用集成电路、现场可编程门阵列，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

一种基于卷积神经网络的BERT模型的微调方法，包括以下操作步骤：

S110：获取信息：获取待识别文本图片信息；

S120：获取文本：将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本；

S130：文本处理：对识别文本中的多个语句分别进行分词处理，得到多个词语；

S140：词库组合：根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；

S150：词库筛选：根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；

S160：模型构建：根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。

作为本申请一种优选的技术方案，所述S140中将各个词语在预置的词性库中进行匹配，以得到各个词语的词性，将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语。

(三)有益效果

与现有技术相比，本发明提供了一种基于卷积神经网络的BERT模型的微调方法及系统，具备以下有益效果：该一种基于卷积神经网络的BERT模型的微调方法及系统，新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度，通过获取待识别文本图片信息；然后将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本，其中，上述预置的文本识别模型采用卷积神经网络训练得到；然后对识别文本中的多个语句分别进行分词处理，得到多个词语；然后根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；然后根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；最后根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。通过对待识别文本图片信息进行识别，在识别过程中采用了卷积神经网络识别模型，从而使得识别结果更加准确，进而筛选出识别文本中歧义语句，然后再根据歧义语句对预置的BERT模型微调，使得新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度，整个基于卷积神经网络的BERT模型的微调方法结构简单，操作方便，使用的效果相对于传统方式更好。

附图说明

图1为本发明一种基于卷积神经网络的BERT模型的微调系统的整体结构示意图。

图2为本发明一种基于卷积神经网络的BERT模型的微调系统中电子设备的结构示意图。

图3为本发明一种基于卷积神经网络的BERT模型的微调方法流程的结构示意图。

图中：100、识别文本获取模块；200、文本识别模块；300、分词处理模块；400、词性词语模块；410、词性匹配单元；420、组合单元；500、词语筛选模块；600、微调模块；610、语句提取单元；620、义原查找单元；630、义原向量单元；640、微调单元；641、相连拼接子单元；642、BERT模型微调子单元；700、词性向量模块；800、语句词性向量构建模块；101、存储器；102、处理器；103、通信接口。

具体实施方式

下面将结合附图和具体实施方式对本发明的技术方案进行清楚、完整地描述，但是本领域技术人员将会理解，下列所描述的实施例是本发明一部分实施例，而不是全部的实施例，仅用于说明本发明，而不应视为限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1-3所示，一种基于卷积神经网络的BERT模型的微调系统，包括识别文本获取模块100、文本识别模块200、分词处理模块300、词性词语模块400、词语筛选模块500、微调模块600、词性向量模块700、语句词性向量构建模块800与电子设备模块，识别文本获取模块100连接文本识别模块200的位置，文本识别模块200连接分词处理模块300的位置，分词处理模块300连接词性词语模块400的位置，词性词语模块400连接词语筛选模块500的位置，词语筛选模块500连接微调模块600的位置，微调模块600连接语句词性向量构建模块800的位置，语句词性向量构建模块800连接词性向量模块700的位置。

进一步的，词性词语模块400包括词性匹配单元410与组合单元420，微调模块600包括语句提取单元610、义原查找单元620、义原向量单元630、微调单元640，微调单元640包括相连拼接子单元641与BERT模型微调子单元642。

进一步的，电子设备模块包括存储器101、处理器102、通信接口103，存储器101、处理器102、通信接口103均连接有通信总线。

进一步的，识别文本获取模块100的输出端与文本识别模块200的输入端电性连接，文本识别模块200的输出端与分词处理模块300的输入端电性连接，分词处理模块300的输出端与词性词语模块400的输入端电性连接，词性词语模块400的输出端与词语筛选模块500的输入端电性连接，词语筛选模块500的输出端与微调模块600的输入端电性连接，微调模块600的输出端与语句词性向量构建模块800的输入端电性连接，语句词性向量构建模块800的输出端与词性向量模块700的输入端电性连接。

进一步的，微调模块600内部的语句提取单元610提取多个歧义词语对应的语句，义原查找单元620用于在预置的外部知识库中查找对应的语句的义原，义原向量单元630将义原集合输入至预置的BERT模型中得到义原向量集，微调单元640根据义原向量集对预置的BERT模型进行微调。

进一步的，存储器101、处理器102、通信接口103相互之间直接或间接地电性连接以实现数据的传输或交互，存储器101可以是但不限于随机存取存储器、只读存储器、可编程只读存储器、可擦除只读存储器、电可擦除只读存储器等，处理器102可以是通用处理器，包括中央处理器、网络处理器，还可以是数字信号处理器、专用集成电路、现场可编程门阵列，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

一种基于卷积神经网络的BERT模型的微调方法，包括以下操作步骤：

S110：获取信息：获取待识别文本图片信息；

S120：获取文本：将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本；

S130：文本处理：对识别文本中的多个语句分别进行分词处理，得到多个词语；

S140：词库组合：根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；

S150：词库筛选：根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；

S160：模型构建：根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。

进一步的，S140中将各个词语在预置的词性库中进行匹配，以得到各个词语的词性，将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语。

实施例：

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

请参看图3，图3为本发明实施例提供的一种基于卷积神经网络的BERT模型的微调方法流程图。该基于卷积神经网络的BERT模型的微调方法，包括以下步骤：

步骤S110：获取待识别文本图片信息；上述待识别文本图片信息可以是某一个领域的文本及图像，包括有多个语句，其中，待识别文本图片信息中包括有多个容易出现歧义的词语。上述获取可以是直接输入待识别文本图片信息，也可以是包含待识别文本图片信息的图片，获取方式包括爬虫获取、网上下载和批量导入等。

步骤S120：将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本，其中，上述预置的文本识别模型采用卷积神经网络训练得到；上述预置的文本识别模型是预先使用大量训练样本进行训练得到的文本识别模型，上述预置的文本识别模型可以是针对某一领域的文本描述进行训练得到，比如：医学领域、互联网领域。通过文本识别模型可以识别出对应的文字信息。上述在进行识别时可以是先通过预先训练好的文本识别模型的卷积层对待识别文字图像依次进行去均值归一化和特征提取处理，获取上述待识别文字的文字图像特征；然后通过池化层对上述文字图像特征进行降维处理，得到降维后的文字图像特征；然后通过上述卷积神经网络模型的Softmax层对上述文字图像特征进行处理，获取上述文字图像特征的权重；然后将上述降维后的文字图像特征与上述文字图像特征的权重相乘，以获取加权后的文字图像特征；然后通过Transform特征解码器对上述加权后的文字图像特征进行处理，获取文字图像全局特征；最后对上述文字图像全局特征进行识别，获取与上述文字图像全局特征相对应的文字数据，从而得到识别文本。

步骤S130：对识别文本中的多个语句分别进行分词处理，得到多个词语；上述识别文本包括多个语句，上述进行分词处理可以采用jieba工具进行分词处理，以便与得到多个词语，若识别文本中包括只包括英文，则可以通过识别空格进行分词处理。通常有三种方法对歧义词语对应的语句进行分词处理，包括：基于字符串匹配的分词方法、基于统计的分词方法和基于理解的分词方法，其中，上述基于字符串的分词方法为将汉字串与字典中的词条进行匹配的分词方法；上述基于统计的分词方法通过对语料中相邻共现的各个字的组合的频度进行统计，计算它们相邻共现的概率，从而判断相邻字是否可以成词；上述基于理解的分词方法通过让计算机模拟人对歧义词语对应的语句的理解以达到识别词的效果。上述分词处理属于现有技术，在此就不再赘述。

步骤S140：根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；上述预置的词性库是根据现有的词语的词性建立的库，包括有大量的词语以及对应的词性，相当于一个电子词典。上述进行组合具体包括以下步骤：

首先，将各个词语在预置的词性库中进行匹配，以得到各个词语的词性；上述匹配是指在预置的词性库中查找出对应的词语，从而得到相应的词性。上述词性包括名词、动词、形容词等。为便于查看，上述词性可以采用代码进行表示，各个词性采用的代码不同，比如：名词用N表示，动词用V表示。

然后，将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语。上述进行组合可以是将各个词语的词性添加至对应的词语的后面，以得到带有词性的词语。例如：苹果对应的词性为名词，则进行组合得到带有词性的词语为苹果名词。

步骤S150：根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；上述预置的歧义词库可以是根据经验总结出的大量易出现歧义的词语。上述筛选就是将出现在预置的歧义词库的词语筛选出来，从而得到识别文本中容易出现歧义的词语。

步骤S160：根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型；上述进行微调的过程具体包括以下步骤：

首先，提取多个歧义词语对应的语句；上述提取是根据歧义词语在识别文本中查找到对应的语句。

然后，在预置的外部知识库中查找对应的语句的义原，得到义原集合；上述预置的外部知识库可以是根据识别文本所属领域找到对应的外部知识库，也可以是总的外部知识库。上述预置的外部知识库包括大量的义原，义原是指最小的不可再分的语义单位。上述查找义原的过程是指根据上述词语与OpenHowNet中义原的映射关系从OpenHowNet中获取所有与上述词语相对应的义原并将所有与上述词语相对应的义原作为歧义词语对应的语句的义原集合。

然后，将义原集合输入至预置的BERT模型中，得到义原向量集；上述义原集合的义原向量集合为上述义原集合中的义原向量的集合，上述义原集合中的义原在输入至上述BERT模型中之前以字符串的形式存在上述服务器中，故将上述义原集合中所有的义原均输入至上述BERT模型中进行向量化以获得上述义原集合中所有义原的义原向量，即为上述义原向量集合。

最后，根据义原向量集对预置的BERT模型进行微调，以得到新的BERT模型。具体地，可以采用以下步骤进行微调：

首先将带有词性的词语输入至预置的BERT模型中，得到词性向量；上述BERT模型是一个句子级别的语言模型，不像ELMo模型在与下游具体NLP任务拼接时需要每层加上权重做全局池化，BERT可以直接获得一整个句子的唯一向量表示。它在每个input前面加一个特殊的记号.[CL].，然后让Transformer对.[CL].进行深度encoding，由于Transformer是可以无视空间和距离的把全局信息encoding进每个位置的，而.[CL].的最高隐层作为句子/句对的表示直接跟softmax的输出层连接，因此其作为梯度反向传播路径上的“关卡”，可以学到整个input的上层特征。

然后根据词性向量构造对应的语句的词性向量。将歧义词语对应的语句中所有词语的词向量以字符的排列顺序进行矢量叠加便可得到上述对应的语句的句向量。

然后再将词性向量、义原向量集、语句的词性向量进行拼接，得到句向量；将词性向量、义原向量、句向量进行拼接为将歧义词语对应的语句的词性向量、义原向量、句向量进行矢量叠加，进而得到一个拼接后的句向量，该拼接后的句向量不仅包含了歧义词语对应的语句的语义信息，而且还包含了与歧义词语对应的语句相对应的义原信息。

最后将句向量输入至预置的第一循环神经网络中以完成上述BERT模型的微调。上述第一循环神经网络为上述BERT模型的已经训练好的外部网络，上述第一循环神经网络既可以为GRU循环神经网络，也可以为BiLSTM循环神经网络，上述拼接后的句向量输入至上述第一循环神经网络中后便可更新上述第一循环神经网络，即更新了上述BERT的外部网络，从而完成了上述BERT模型的微调。

上述实现过程中，通过获取待识别文本图片信息；然后将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本，其中，上述预置的文本识别模型采用卷积神经网络训练得到；然后对识别文本中的多个语句分别进行分词处理，得到多个词语；然后根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；然后根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；最后根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。通过对待识别文本图片信息进行识别，在识别过程中采用了卷积神经网络识别模型，从而使得识别结果更加准确，进而筛选出识别文本中歧义语句，然后再根据歧义语句对预置的BERT模型微调，使得新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度。

基于同样的发明构思，本发明还提出一种基于卷积神经网络的BERT模型的微调系统，包括：

识别文本获取模块100，用于获取待识别文本图片信息；

文本识别模块200，用于将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本，其中，上述预置的文本识别模型采用卷积神经网络训练得到

分词处理模块300，用于对识别文本中的多个语句分别进行分词处理，得到多个词语；

词性词语模块400，用于根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；

词语筛选模块500，用于根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；

微调模块600，用于根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。

上述实现过程中，通过识别文本获取模块100获取待识别文本图片信息；然后文本识别模块200将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本，其中，上述预置的文本识别模型采用卷积神经网络训练得到；然后分词处理模块300对识别文本中的多个语句分别进行分词处理，得到多个词语；然后词性词语模块400根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；然后词语筛选模块500根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；最后微调模块600根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。通过对待识别文本图片信息进行识别，在识别过程中采用了卷积神经网络识别模型，从而使得识别结果更加准确，进而筛选出识别文本中歧义语句，然后再根据歧义语句对预置的BERT模型微调，使得新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度。

其中，上述词性词语模块400包括：

词性匹配单元410，用于将各个词语在预置的词性库中进行匹配，以得到各个词语的词性；

组合单元420，用于将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语。

其中，上述微调模块600包括：

语句提取单元610，用于提取多个歧义词语对应的语句；

义原查找单元620，用于在预置的外部知识库中查找对应的语句的义原，得到义原集合；

义原向量单元630，用于将义原集合输入至预置的BERT模型中，得到义原向量集；

微调单元640，用于根据义原向量集对预置的BERT模型进行微调，以得到新的BERT模型。

其中，还包括：

词性向量模块700，用于将带有词性的词语输入至预置的BERT模型中，得到词性向量；

语句词性向量构建模块800，用于根据词性向量构造对应的语句的词性向量。

其中，上述微调单元640还包括以下步骤：

相连拼接子单元641，用于将词性向量、义原向量集、语句的词性向量进行拼接，得到句向量；

BERT模型微调子单元642，用于将句向量输入至预置的第一循环神经网络中以完成上述BERT模型的微调。

请参阅图2，图2为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本申请实施例所提供的一种基于卷积神经网络的BERT模型的微调系统对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是但不限于，随机存取存储器Random Access Memory，RAM，只读存储器Read Only Memory，ROM，可编程只读存储器Programmable Read-Only Memory，PROM，可擦除只读存储器Erasable Programmable Read-Only Memory，EPROM，电可擦除只读存储器Electric Erasable Programmable Read-Only Memory，EEPROM等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器Central Processing Unit，CPU、网络处理器NetworkProcessor，NP等；还可以是数字信号处理器Digital Signal Processing，DSP、专用集成电路Application Specific Integrated Circuit，ASIC、现场可编程门阵列Field－Programmable Gate Array，FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图2所示的结构仅为示意，电子设备还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备可以是个人计算机，服务器，或者网络设备等执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器ROM，Read-Only Memory、随机存取存储器RAM，RandomAccess Memory、磁碟或者光盘等各种可以存储程序代码的介质。

综上，本发明实施例提供一种基于卷积神经网络的BERT模型的微调方法及系统，通过获取待识别文本图片信息；然后将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本，其中，上述预置的文本识别模型采用卷积神经网络训练得到；然后对识别文本中的多个语句分别进行分词处理，得到多个词语；然后根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；然后根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；最后根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。通过对待识别文本图片信息进行识别，在识别过程中采用了卷积神经网络识别模型，从而使得识别结果更加准确，进而筛选出识别文本中歧义语句，然后再根据歧义语句对预置的BERT模型微调，使得新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度。

需要说明的是，在本文中，诸如第一和第二(一号、二号)等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (8)

1.一种基于卷积神经网络的BERT模型的微调系统，包括识别文本获取模块(100)、文本识别模块(200)、分词处理模块(300)、词性词语模块(400)、词语筛选模块(500)、微调模块(600)、词性向量模块(700)、语句词性向量构建模块(800)与电子设备模块，其特征在于：所述识别文本获取模块(100)连接文本识别模块(200)的位置，所述文本识别模块(200)连接分词处理模块(300)的位置，所述分词处理模块(300)连接词性词语模块(400)的位置，所述词性词语模块(400)连接词语筛选模块(500)的位置，所述词语筛选模块(500)连接微调模块(600)的位置，所述微调模块(600)连接语句词性向量构建模块(800)的位置，所述语句词性向量构建模块(800)连接词性向量模块(700)的位置。

2.根据权利要求1所述的一种基于卷积神经网络的BERT模型的微调系统，其特征在于：所述词性词语模块(400)包括词性匹配单元(410)与组合单元(420)，所述微调模块(600)包括语句提取单元(610)、义原查找单元(620)、义原向量单元(630)、微调单元(640)，所述微调单元(640)包括相连拼接子单元(641)与BERT模型微调子单元(642)。

3.根据权利要求1所述的一种基于卷积神经网络的BERT模型的微调系统，其特征在于：所述电子设备模块包括存储器(101)、处理器(102)、通信接口(103)，所述存储器(101)、处理器(102)、通信接口(103)均连接有通信总线。

4.根据权利要求1所述的一种基于卷积神经网络的BERT模型的微调系统，其特征在于：所述识别文本获取模块(100)的输出端与文本识别模块(200)的输入端电性连接，所述文本识别模块(200)的输出端与分词处理模块(300)的输入端电性连接，所述分词处理模块(300)的输出端与词性词语模块(400)的输入端电性连接，所述词性词语模块(400)的输出端与词语筛选模块(500)的输入端电性连接，所述词语筛选模块(500)的输出端与微调模块(600)的输入端电性连接，所述微调模块(600)的输出端与语句词性向量构建模块(800)的输入端电性连接，所述语句词性向量构建模块(800)的输出端与词性向量模块(700)的输入端电性连接。

5.根据权利要求2所述的一种基于卷积神经网络的BERT模型的微调系统，其特征在于：所述微调模块(600)内部的语句提取单元(610)提取多个歧义词语对应的语句，所述义原查找单元(620)用于在预置的外部知识库中查找对应的语句的义原，所述义原向量单元(630)将义原集合输入至预置的BERT模型中得到义原向量集，所述微调单元(640)根据义原向量集对预置的BERT模型进行微调。

6.根据权利要求3所述的一种基于卷积神经网络的BERT模型的微调系统，其特征在于：所述存储器(101)、处理器(102)、通信接口(103)相互之间直接或间接地电性连接以实现数据的传输或交互，所述存储器(101)可以是但不限于随机存取存储器、只读存储器、可编程只读存储器、可擦除只读存储器、电可擦除只读存储器等，所述处理器(102)可以是通用处理器，包括中央处理器、网络处理器，还可以是数字信号处理器、专用集成电路、现场可编程门阵列，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

7.一种基于卷积神经网络的BERT模型的微调方法，其特征在于：包括以下操作步骤：

S110：获取信息：获取待识别文本图片信息；

S120：获取文本：将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本；

S130：文本处理：对识别文本中的多个语句分别进行分词处理，得到多个词语；

S140：词库组合：根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；

S150：词库筛选：根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；

S160：模型构建：根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。

8.根据权利要求7所述的一种基于卷积神经网络的BERT模型的微调方法，其特征在于：所述S140中将各个词语在预置的词性库中进行匹配，以得到各个词语的词性，将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语。

Images