CN113326354A - 文本语义识别方法、装置、设备及存储介质 - Google Patents
文本语义识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113326354A CN113326354A CN202110729524.4A CN202110729524A CN113326354A CN 113326354 A CN113326354 A CN 113326354A CN 202110729524 A CN202110729524 A CN 202110729524A CN 113326354 A CN113326354 A CN 113326354A
- Authority
- CN
- China
- Prior art keywords
- text
- semantic
- model
- target
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 57
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000011176 pooling Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 23
- 238000012549 training Methods 0.000 description 13
- 230000008451 emotion Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008909 emotion recognition Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000329 smooth muscle myocyte Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Character Discrimination (AREA)
Abstract
本发明涉及语义识别领域，提供了一种文本语义识别方法、装置、设备及存储介质。所述方法包括：对待识别文本执行预处理操作得到目标文本，将目标文本输入预先训练好的文本语义识别模型，得到目标文本的识别结果，其中，文本语义识别模型是基于ALBERT模型和CNN模型构建的，判断识别结果是否为预设结果，当判断识别结果为预设结果时，将该识别结果反馈至预设终端。本发明可以在缺乏样本数据集的情况下，提高文本语义识别的准确性。
Description
技术领域
本发明涉及语义识别领域，尤其涉及一种文本语义识别方法、装置、设备及存储介质。
背景技术
目前，文本的语义识别(例如，识别房产领域的对话文本是否为高危情绪)方法采用的模型大多数为TextCnn模型，相比于基于RNN的基线模型，TextCnn模型训练及推理速度较快，但是在训练数据积累较少的情况下，该模型识别效果较差。Transformer模型比TextCnn模型更加复杂，但是同样在训练数据积累较少的情况下该模型会出现过拟合的现象，推理效果差。BERT等预训练语言模型可以将其它领域的文本知识进行迁移，以微调的方式可以在新的数据领域上达到较好的识别效果，有效地缓解了标注数据缺乏的问题，但其缺点是模型体积大，训练速度慢。
因此，如何在缺乏样本数据集的情况下，提高文本语义识别的准确性并且不牺牲推理速度，已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上内容，本发明提供一种文本语义识别方法、装置、设备及存储介质，其目的在于解决现有技术中缺乏样本数据集的情况下，文本语义识别的准确性较低的技术问题。
为实现上述目的，本发明提供一种文本语义识别方法，该方法包括：
对待识别文本执行预处理操作得到目标文本；
将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的；
判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
优选的，所述文本语义识别模型包括：语义嵌入层、卷积层、池化层及全连接层，所述卷积层的卷积核的过滤器长度分别为2和4。
优选的，所述将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，包括：
基于所述语义嵌入层将所述目标文本转换为语义矩阵，对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，将所述目标语义向量输入所述全连接层得到所述识别结果。
优选的，所述对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，包括：
对所述语义矩阵执行平均池化操作，得到第一语义向量；
对所述语义矩阵执行卷积操作，对执行卷积操作后的语义矩阵执行最大池化操作得到第二语义向量；
将所述第一语义向量、所述第二语义向量及所述语义矩阵的CLS向量执行拼接操作得到所述目标语义向量。
优选的，所述对待识别文本执行预处理操作得到目标文本，包括：
筛除待识别文本的标点符号，并基于预设的停用词库筛除待识别文本的停用词。
为实现上述目的，本发明还提供一种文本语义识别装置，该文本语义识别装置包括：
预处理模块：用于对待识别文本执行预处理操作得到目标文本；
识别模块：用于将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的；
反馈模块：用于判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
为实现上述目的，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的程序，所述程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如下步骤：
对待识别文本执行预处理操作得到目标文本；
将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的；
判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
优选的，所述文本语义识别模型包括：语义嵌入层、卷积层、池化层及全连接层，所述卷积层的卷积核的过滤器长度分别为2和4。
优选的，所述将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，包括：
基于所述语义嵌入层将所述目标文本转换为语义矩阵，对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，将所述目标语义向量输入所述全连接层得到所述识别结果。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有文本语义识别程序，所述文本语义识别程序被处理器执行时，实现如上所述文本语义识别方法的任意步骤。
本发明提出的文本语义识别方法、装置、设备及存储介质，将ALBERT模型与CNN模型进行结合，在标注数据缺乏的情况下，由于BERT模型参数量过多，容易造成模型过拟合的风险，ALBERT-CNN模型基于ALBERT模型，ALBERT模型的参数量比BERT模型要小，模型过拟合风险相对来说较弱，线上数据证明，ALBERT-CNN模型预测准确性更高，且ALBERT-CNN模型的耗时减少40％左右，更加适合实际应用。可以在缺乏样本数据集的情况下，提高文本语义识别的准确性。
附图说明
图1为本发明文本语义识别方法较佳实施例的流程图示意图；
图2为本发明文本语义识别模型的结构示意图；
图3为本发明文本语义识别装置较佳实施例的模块示意图；
图4为本发明电子设备较佳实施例的示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种文本语义识别方法。参照图1所示，为本发明文本语义识别方法的实施例的方法流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。文本语义识别方法包括：
步骤S10：对待识别文本执行预处理操作得到目标文本。
目前房地产公司采用智能客服助手代替置业顾问回答了大量的线上购房者的提问。本方案以线上购房场景中，房产智能问答助手对用户输入的文本情绪识别为例，对本方案进行详细说明，需要说明的是，本方案的实际应用场景并不仅限于此。
在本实施例中，当用户需要在线上咨询时，用户可以开启终端上智能客服界面并发起对话请求，用户可以在终端的智能客服界面上输入相关的对话文本(即待识别文本)。
由于用户输入的文本通常带有标点符号，而标点符号是不具备语义信息的，容易干扰模型识别结果，因此终端在接收到用户输入的待识别文本之后，可以对待识别文本执行预处理操作得到目标文本，预处理操作可以是文本清洗。
在一个实施例中，对待识别文本执行预处理操作得到目标文本包括：
筛除待识别文本的标点符号，并基于预设的停用词库筛除待识别文本的停用词。通过删除待识别文本的标点符号，以及待识别文本的停用词，可以使得文本中不具备语义信息的内容去除。
步骤S20：将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的。
目前文本情绪识别方法采用的模型大多数为TextCNN模型，TextCNN模型训练速度快，但是样本数据积累较少的情况下预测效果一般。虽然BERT等预训练语言模型将其它领域的文本知识进行迁移，以微调的方式就可以在新的数据领域上达到较好的效果，能有效地缓解了标注数据缺乏的问题，但缺点是其模型体积大，训练速度慢。ALBERT模型是BERT模型的变种，预测推理速度比BERT模型更快，但是也牺牲了部分识别的准确性。在房产领域小样本数据集上，TextCNN模型预测效果一般，BERT模型线上预测推理速度较慢，不足以满足房产智能助手高危情绪识别的需求。
参图2所示，为本发明文本语义识别模型的结构示意图。本实施例的文本语义识别模型是结合TextCNN模型和ALBERT模型构造一个新模型ALBERT-CNN，由于其他模型通常只会取平局池化或者最大池化，语义较为单薄，而本方案模型融合了多语义信息，使得模型在决策推理时更加精准。在模型训练时设置模型的超参数，其中，子长度设置为64，batch_size设置为64，学习率设置为0.00002，训练的epoch为10,然后开始模型训练，模型训练好以后将其中的模型参数文件导出。例如，输入的文本：“你们的VR看房真的是不靠谱”，模型输出的标签为1，对应标签为高危情绪。
其中，所述文本语义识别模型包括：语义嵌入层、卷积层、池化层及全连接层，所述卷积层的卷积核的过滤器长度分别为2和4。
在一个实施例中，所述将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，包括：
基于所述语义嵌入层将所述目标文本转换为语义矩阵，对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，将所述目标语义向量输入所述全连接层得到所述识别结果。
语义嵌入层输出CLS标志向量和完整句子长度的语义矩阵，卷积层采用了2种大小的卷积核，卷积核的过滤器长度分别为2和4，旨在捕捉长度为2和4的n-gram词组信息，然后通过最大池化输出卷积层获取的局部语义信息，池化层将完整句子长度的矩阵向量进行平均池化，输出句子的全局语义信息，为了将句子的局部语义信息和全局语义信息结合在一起，输出层将前面3层的输出向量进行拼接并经过relu激活函数获得最终的语义向量作为识别结果。ALBERT-CNN分类模型推理速度比BERT模型更快，并且预测的准确率与BERT模型相当，更加符合线上时间的要求。
在一个实施例中，所述对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，包括：
对所述语义矩阵执行平均池化操作，得到第一语义向量；
对所述语义矩阵执行卷积操作，对执行卷积操作后的语义矩阵执行最大池化操作得到第二语义向量；
将所述第一语义向量、所述第二语义向量及所述语义矩阵的CLS向量执行拼接操作得到所述目标语义向量。
由于房产领域的高危情绪识别数据目前较少，并且整体数据形态比较单一，导致当模型在识别与训练集偏差较大的文本时常常无法做出正确的识别，为了提高模型的泛化性能，采用卷积和池化操作提炼语义矩阵的信息，同时卷积操作和池化操作可以分别提取句子的局部语义信息和全局语义信息，可以辅助模型进行更全面的决策。
首先将语义矩阵进行池化，即将具有句子长度的语义矩阵压缩成一个语义向量，得到第一语义向量
d为向量的维度。公式如下：
u1＝Mean-Pooling(T)
其中，T表示语义矩阵，Mean-Pooling表示池化操作。
卷积神经网络起稀疏连接的作用，同样也可以有效压缩信息，并且在句子长度方向上做卷积可以提取句子中的词组信息，例如“你们的VR看房真的是无语”，通过卷积就可以提取到“VR看房”、“无语”这样的词组信息。因此，将用卷积神经网络在语义矩阵上进行卷积操作，其中卷积神经网络的过滤器的过滤窗口为2和4，然后对卷积后的向量执行最大池化操作，提取出句子中最重要的词组信息，得到第二语义向量为
d为向量的维度，R表示维度的标识符。公式如下：
u2＝Max-Pooling(CNN(T))
在得到第一语义向量和第二语义向量后，将ALBERT输出的CLS向量、第一语义向量及第二语义向量进行拼接得到语义向量
作为全连接层的输入，公式如下：
u3＝concat(CLS,u1,u2)
其中，concat表示向量的拼接操作。
步骤S30：判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
在本实施例中，识别结果包括高危情绪和非高危情绪，在得到待识别文本的识别结果后，判断识别结果是否为预设结果(高危情绪)，当识别结果为高危情绪时，将该识别结果及对应的文本反馈至人工客服的终端，并为用户(线上购房者)主动推送留言窗口以及人工专线，起到客户流失预警的作用。
本方案基于预训练语言模型ALBERT和卷积神经网络的房产领域高危情绪识别方法在房产助手的线上高危情绪识别中取得了较高的准确率。
与TextCNN对比，本方案采用了预训练语言模型ALBERT作为基础模型，该模型融合了大量无标注的文本知识，有效地解决了初期标注数据缺乏致模型训练效果不好的问题，且ALBERT模型比TextCNN模型线上预测效果更好。
与BERT模型对比，本方案将ALBERT模型与CNN模型进行结合。在初期标注数据缺乏的情况下，由于BERT模型参数量过多，容易造成模型过拟合的风险，ALBERT-CNN模型基于ALBERT模型，ALBERT模型的参数量比BERT模型要小，模型过拟合风险相对来说较弱。线上数据证明，ALBERT-CNN模型预测准确性更高，且ALBERT-CNN模型的耗时减少40％左右，更加适合实际应用。
参照图3所示，为本发明文本语义识别装置100的功能模块示意图。
本发明所述文本语义识别装置100可以安装于电子设备中。根据实现的功能，所述文本语义识别装置100可以包括预处理模块110、识别模块120及反馈模块130。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
预处理模块110，用于对待识别文本执行预处理操作得到目标文本。
在一个实施例中，对待识别文本执行预处理操作得到目标文本包括：
筛除待识别文本的标点符号，并基于预设的停用词库筛除待识别文本的停用词。
识别模块120，用于将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的。
在一个实施例中，所述文本语义识别模型包括：语义嵌入层、卷积层、池化层及全连接层，所述卷积层的卷积核的过滤器长度分别为2和4。
在一个实施例中，所述将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，包括：
基于所述语义嵌入层将所述目标文本转换为语义矩阵，对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，将所述目标语义向量输入所述全连接层得到所述识别结果。
在一个实施例中，所述对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，包括：
对所述语义矩阵执行平均池化操作，得到第一语义向量；
对所述语义矩阵执行卷积操作，对执行卷积操作后的语义矩阵执行最大池化操作得到第二语义向量；
将所述第一语义向量、所述第二语义向量及所述语义矩阵的CLS向量执行拼接操作得到所述目标语义向量。
反馈模块130，用于判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
参图4所示，电子设备1包括但不限于：存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络，获取原始数据。其中，所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication，GSM)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子设备1的外部存储设备，例如该电子设备1配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中，存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件，例如文本语义识别程序10的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行文本语义识别程序10的程序代码等。
显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode，OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面，例如显示数据统计的结果。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。
图4仅示出了具有组件11-14以及文本语义识别程序10的电子设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
该电子设备1还可以包括射频(Radio Frequency，RF)电路、传感器和音频电路等等，在此不再赘述。
在上述实施例中，处理器12执行存储器11中存储的文本语义识别程序10时可以实现如下步骤：
对待识别文本执行预处理操作得到目标文本；
将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的；
判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
所述存储设备可以为电子设备1的存储器11，也可以为与电子设备1通讯连接的其它存储设备。
关于上述步骤的详细介绍，请参照上述图3关于文本语义识别装置100实施例的功能模块图以及图1关于文本语义识别方法实施例的流程图的说明。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性的，也可以是易失性的。该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有文本语义识别程序10，所述文本语义识别程序10被处理器执行时实现如下操作：
对待识别文本执行预处理操作得到目标文本；
将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的；
判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
本发明之计算机可读存储介质的具体实施方式与上述文本语义识别方法的具体实施方式大致相同，在此不再赘述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，电子装置，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种文本语义识别方法，其特征在于，所述方法包括：
对待识别文本执行预处理操作得到目标文本；
将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的；
判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
2.如权利要求1所述的文本语义识别方法，其特征在于，所述文本语义识别模型包括：语义嵌入层、卷积层、池化层及全连接层，所述卷积层的卷积核的过滤器长度分别为2和4。
3.如权利要求2所述的文本语义识别方法，其特征在于，所述将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，包括：
基于所述语义嵌入层将所述目标文本转换为语义矩阵，对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，将所述目标语义向量输入所述全连接层得到所述识别结果。
4.如权利要求3所述的文本语义识别方法，其特征在于，所述对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，包括：
对所述语义矩阵执行平均池化操作，得到第一语义向量；
对所述语义矩阵执行卷积操作，对执行卷积操作后的语义矩阵执行最大池化操作得到第二语义向量；
将所述第一语义向量、所述第二语义向量及所述语义矩阵的CLS向量执行拼接操作得到所述目标语义向量。
5.如权利要求1至4中任意一项所述的文本语义识别方法，其特征在于，所述对待识别文本执行预处理操作得到目标文本，包括：
筛除待识别文本的标点符号，并基于预设的停用词库筛除待识别文本的停用词。
6.一种文本语义识别装置，其特征在于，所述装置包括：
预处理模块：用于对待识别文本执行预处理操作得到目标文本；
识别模块：用于将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的；
反馈模块：用于判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的程序，所述程序被所述至少一个处理器执行，以使所述至少一个处理器执行如下步骤：
对待识别文本执行预处理操作得到目标文本；
将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，其中，所述文本语义识别模型是基于ALBERT模型和CNN模型构建的；
判断所述识别结果是否为预设结果，当判断所述识别结果为预设结果时，将该识别结果反馈至预设终端。
8.如权利要求7所述的电子设备，其特征在于，所述文本语义识别模型包括：语义嵌入层、卷积层、池化层及全连接层，所述卷积层的卷积核的过滤器长度分别为2和4。
9.如权利要求7所述的电子设备，其特征在于，所述将所述目标文本输入预先训练好的文本语义识别模型，得到所述目标文本的识别结果，包括：
基于所述语义嵌入层将所述目标文本转换为语义矩阵，对所述语义矩阵执行卷积操作和池化操作，得到目标语义向量，将所述目标语义向量输入所述全连接层得到所述识别结果。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有文本语义识别程序，所述文本语义识别程序被处理器执行时，实现如权利要求1至5中任一项所述文本语义识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110729524.4A CN113326354A (zh) | 2021-06-29 | 2021-06-29 | 文本语义识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110729524.4A CN113326354A (zh) | 2021-06-29 | 2021-06-29 | 文本语义识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113326354A true CN113326354A (zh) | 2021-08-31 |
Family
ID=77425210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110729524.4A Pending CN113326354A (zh) | 2021-06-29 | 2021-06-29 | 文本语义识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113326354A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170011279A1 (en) * | 2015-07-07 | 2017-01-12 | Xerox Corporation | Latent embeddings for word images and their semantics |
| CN111881334A (zh) * | 2020-07-15 | 2020-11-03 | 浙江大胜达包装股份有限公司 | 一种基于半监督学习的关键词到企业的检索方法 |
| CN112200197A (zh) * | 2020-11-10 | 2021-01-08 | 天津大学 | 一种基于深度学习和多模态的谣言检测方法 |
| CN112464674A (zh) * | 2020-12-16 | 2021-03-09 | 四川长虹电器股份有限公司 | 一种字级别的文本意图识别方法 |
| CN112613324A (zh) * | 2020-12-29 | 2021-04-06 | 北京中科闻歌科技股份有限公司 | 语义情绪识别方法、装置、设备及存储介质 |
| CN112988975A (zh) * | 2021-04-09 | 2021-06-18 | 北京语言大学 | 一种基于albert和知识蒸馏的观点挖掘方法 |
-
2021
- 2021-06-29 CN CN202110729524.4A patent/CN113326354A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170011279A1 (en) * | 2015-07-07 | 2017-01-12 | Xerox Corporation | Latent embeddings for word images and their semantics |
| CN111881334A (zh) * | 2020-07-15 | 2020-11-03 | 浙江大胜达包装股份有限公司 | 一种基于半监督学习的关键词到企业的检索方法 |
| CN112200197A (zh) * | 2020-11-10 | 2021-01-08 | 天津大学 | 一种基于深度学习和多模态的谣言检测方法 |
| CN112464674A (zh) * | 2020-12-16 | 2021-03-09 | 四川长虹电器股份有限公司 | 一种字级别的文本意图识别方法 |
| CN112613324A (zh) * | 2020-12-29 | 2021-04-06 | 北京中科闻歌科技股份有限公司 | 语义情绪识别方法、装置、设备及存储介质 |
| CN112988975A (zh) * | 2021-04-09 | 2021-06-18 | 北京语言大学 | 一种基于albert和知识蒸馏的观点挖掘方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543030B (zh) | 客服机器人会话文本分类方法及装置、设备、存储介质 | |
| CN110502608B (zh) | 基于知识图谱的人机对话方法及人机对话装置 | |
| CN112632385B (zh) | 课程推荐方法、装置、计算机设备及介质 | |
| CN111241304B (zh) | 基于深度学习的答案生成方法、电子装置及可读存储介质 | |
| CN108536800B (zh) | 文本分类方法、系统、计算机设备和存储介质 | |
| CN111339305B (zh) | 文本分类方法、装置、电子设备及存储介质 | |
| CN110413773B (zh) | 智能文本分类方法、装置及计算机可读存储介质 | |
| CN113707300B (zh) | 基于人工智能的搜索意图识别方法、装置、设备及介质 | |
| CN107943792B (zh) | 一种语句分析方法、装置及终端设备、存储介质 | |
| CN111695439A (zh) | 图像结构化数据提取方法、电子装置及存储介质 | |
| CN112906384B (zh) | 基于bert模型的数据处理方法、装置、设备及可读存储介质 | |
| CN110852106A (zh) | 基于人工智能的命名实体处理方法、装置及电子设备 | |
| CN112347787A (zh) | 方面级别情感分类方法、装置、设备及可读存储介质 | |
| CN112380240A (zh) | 基于语义识别的数据查询方法、装置、设备及存储介质 | |
| CN112560504B (zh) | 抽取表单文档中信息的方法、电子设备和计算机可读介质 | |
| CN112926308B (zh) | 匹配正文的方法、装置、设备、存储介质以及程序产品 | |
| CN112052305A (zh) | 信息提取方法、装置、计算机设备及可读存储介质 | |
| CN111582932A (zh) | 场景间信息推送方法、装置、计算机设备及存储介质 | |
| CN111369148A (zh) | 对象指标的监测方法、电子装置及存储介质 | |
| CN114241499A (zh) | 表格图片识别方法、装置、设备和可读存储介质 | |
| CN113868419B (zh) | 基于人工智能的文本分类方法、装置、设备及介质 | |
| CN110717333B (zh) | 文章摘要自动生成方法、装置及计算机可读存储介质 | |
| CN115357699A (zh) | 文本抽取方法、装置、设备及存储介质 | |
| CN110750637B (zh) | 文本摘要提取方法、装置、计算机设备及存储介质 | |
| CN112784573A (zh) | 文本情感内容分析方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210831 |