CN117332789A - 一种面向对话场景的语义分析方法及系统 - Google Patents

一种面向对话场景的语义分析方法及系统 Download PDF

Info

Publication number
CN117332789A
CN117332789A CN202311632116.2A CN202311632116A CN117332789A CN 117332789 A CN117332789 A CN 117332789A CN 202311632116 A CN202311632116 A CN 202311632116A CN 117332789 A CN117332789 A CN 117332789A
Authority
CN
China
Prior art keywords
text
semantic
adopting
feature
semantic analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311632116.2A
Other languages
English (en)
Inventor
苏茂才
林仁辉
廖峪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nobicam Artificial Intelligence Technology Chengdu Co ltd
Original Assignee
Nobicam Artificial Intelligence Technology Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nobicam Artificial Intelligence Technology Chengdu Co ltd filed Critical Nobicam Artificial Intelligence Technology Chengdu Co ltd
Priority to CN202311632116.2A priority Critical patent/CN117332789A/zh
Publication of CN117332789A publication Critical patent/CN117332789A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种面向对话场景的语义分析方法及系统，包括以下步骤：获取某一时段内智能客服对话场景下的文本信息，提取所述文本信息对应的特征矩阵，将所述特征矩阵向量化生成对话知识库；采用多层关系树结构扩充所述对话知识库，采用Milvus开源向量对特征向量进行存储和检索，获取所述特征向量训练样本集；将所述训练样本集包含的文本信息使用Bert模型嵌入原始文本数据，获取基于所述原始文本数据的低纬度密集型词嵌入矩阵，训练由GRU双向循环神经网络模型获取的语义分析数据集，采用优化策略测试所述语义分析数据集，能够获取最符合原意的语义信息，提高了文本语义分析的精度，增强了对话情境下重点文本语义的提取效率，降低了处理模型的复杂度。

Description

一种面向对话场景的语义分析方法及系统
技术领域
本发明涉及智能语音对话技术领域，具体涉及一种面向对话场景的语义分析方法及系统。
背景技术
智能对话机器人作为近年来热门科技之一，用于很多主流电商平台和聊天软件中，智能对话机器人所提供的服务，不仅仅增加了使用者的便捷性，更可以帮助公司有效的减少成本以及提升企业运行效率，智能对话机器人可以帮助企业过滤掉大量相同的问题，并且把重复性高的以及常见的问题预先交给智能对话机器人来预先做出回答，而剩下的一些冷门少见的问题由智能对话机器人转交给此企业的服务人员来处理，这样，不仅对于使用者来说减少了大量的时间来等待服务，而且提升了用户满意程度和服务认同度。
而智能对话通过获取文本语义以研究文本信息所包含的真实意义，文本语义分析通过建立模型使计算机能够模拟人类对自然语言的深层语义进行理解，识别信息中所包含的真实含义，获取文本的真实语义有助于提高各种自然语言处理顶层任务的处理效果，如机器翻译、问答系统、对话机器人等。
现有的用于智能机器人交互的语义分析方法还存在以下缺点：
第一、现有智能语音交互系统大多采用深度学习模型处理用户提出的文本数据，无法解决系统未经处理过的新问题，且对于用户提出的上下文信息没有追踪功能，导致在深度学习模型中需要处理的文本信息量较大，训练难度大，比较容易出现语法错误；
第二、现有的智能语音对话系统需要结合语境回答用户问题，但是现有的语义分析模型，很难实时记录交谈过程中的语言环境，主要是通过词向量将对话表示出来，容易在长对话中出现词不达意的情况，无法根据个人化信息建立比较固定的模型，无法生成与语义一致的答复。
发明内容
本发明的目的在于提供面向对话场景的语义分析方法，以解决现有技术中现有模型无法回答系统未经处理过的新问题，且训练难度大，无法结合语义答复的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
本发明的第一个方面，提供了一种面向对话场景的语义分析方法，包括以下步骤：
获取某一时段内智能客服对话场景下的文本信息，提取所述文本信息对应的特征矩阵，将所述特征矩阵向量化生成对话知识库；
采用多层关系树结构扩充所述对话知识库，将所述对话知识库采用Bert模型生成特征向量，采用Milvus开源向量对所述特征向量进行存储和检索，获取所述特征向量训练样本集；
将所述训练样本集包含的文本信息使用Bert模型嵌入原始文本数据，获取基于所述原始文本数据的低纬度密集型词嵌入矩阵，对所述词嵌入矩阵采用隐藏状态可逆计算策略构架基于GRU双向循环神经网络模型；
训练由所述基于GRU双向循环神经网络模型获取的语义分析数据集，采用优化策略测试所述语义分析数据集，获取深度优化的语义分析数据。
作为本发明的一种优选方案，提取所述文本信息对应的特征矩阵，包括：
采用CRAFL模型依次训练所述文本信息，将所述文本信息按序列写成文本序列，获取序列型数据；
将所述序列型数据作为神经单元循环的输入文本，采用所述CRAFL模型的词嵌入层分布式词向量训练文本信息，将训练好的文本信息转化为向量矩阵；
对所述向量矩阵采取融合注意力机制操作，通过所述融合注意力机制的卷积层从所述向量矩阵中获取文本信息局部特征，将所述局部特征降维后表示为特征矩阵；
对所述特征矩阵通过损失函数对文本语义特征进行分类识别，将识别后的特征矩阵文本信息生成对话知识库。
作为本发明的一种优选方案，对所述对话知识库采用多层关系树结构进行扩充，包括：
将所述对话知识库按数据集模式分为两组，且两组之间通过文本关系相关联，将两组数据集分别输入Bert预训练模型中，通过Bert预训练模型对所述两组数据集的语音进行微调获取句子的语义特征矩阵；
将所述语义特征矩阵通过特征融合层将所述向量矩阵融合到BiLSTM中，获取所述语义特征矩阵中前后语义之间的关系特征矩阵；
通过所述BiLSTM对所述语义特征矩阵进行特征筛选后提取语义特征，并将提取后的语义特征送入所述Bert预训练模型中的关系树，通过所述关系树的树结构分类器对特征语音进行关系识别，并将所述关系识别结果扩充到所述对话知识库中，输出对应语义句间关系的特征向量。
作为本发明的一种优选方案，所述特征向量进行存储和检索获取所述特征向量训练样本集，包括：
获取所述特征向量并将所述特征向量扩充至所述对话知识库中，生成带有问答的语义问题集合，将所述语义问题集合作为标准问题集，采用所述Bert预训练模型把所述标准问题集内的问题转化成问题集向量，并将所述问题集向量存储在Milvus中，通过所述Milvus中的开源向量对所述问题集向量逐一分配ID；
将对应所述问题集向量的ID与相应的答案存储在数据库中，当检测到对话场景下用户问题时，通过所述Bert预训练模型将相应的用户问题转化为对应的问题集向量，将所述问题集向量在Milvus中计算相似度，获取用户问题最近似的一个标准问题ID，根据所述标准问题ID对应所述数据库中相应的答案。
作为本发明的一种优选方案，将所述标准问题ID通过Bert模型对应所述特征向量训练样本集，通过所述Bert模型的词嵌入模块将所述特征向量训练样本集的文本信息向量化，采用神经卷积网络注意力层计算嵌入向量的隐藏状态，分析所述隐藏状态间的叠加注意力机制与语义上下文和目标词之间的交互性，基于所述交互性程度构架基于GRU双向循环神经网络模型。
作为本发明的一种优选方案，所述基于GRU双向循环神经网络模型，包括：
采用注意力函数描述语义文本从查询到一系列键值对应的映射关系，获取语义文本上下文间的目标词；
对所述目标词使用叠加注意力层将影响语义文本的情感词进行分类，并通过Laplacian概率函数将位置权重添加到所述目标词对应的词向量中，获取词向量和上下文信息之间的交互；
通过GRU双选循环逻辑单元处理词向量间的交互关系，获取基于词向量的隐形语义状态，将隐形语义状态以集合形式表示为语义分析数据集，并反馈给线性层进行映射。
作为本发明的一种优选方案，对所述语义分析数据集采用优化策略进行测试，包括：
采用注意力机制的Seq结构将所述语义分析数据集生成能够表达原文重要信息的抽象摘要，通过所述Bert模型中的编码模块将所述抽象摘要编码后输入长短时记忆网络，对所述抽象摘要进一步提炼，获取包含深层语义的特征矩阵；
将所述包含深层语义的特征矩阵输入Bert模型的解码模块进行摘要生成，采用多个网络进行循环解码依次生成文本词汇，获取文本摘要信息。
作为本发明的一种优选方案，所述循环解码在解码过程中，通过不断地将前一个时刻的输出作为后一个时刻的输入，依次循环解码，直到遇到输出停止符号位置，最终生成包含词汇主要内容的原维度的词汇。
本发明的第二个方面，提供了一种面向对话场景语义分析方法的系统，
按文本数据流程传递过程，构建基于所述语义分析方法的系统，包括：文本输入模块，数据处理模块以及文本输出模块，所述文本输入模块采用多渠道接入方式预先设置不同服务类型的接收模型，获取多渠道的文本信息；
所述数据处理模块用于构建Bert模型以处理文本信息，将用户输入的问题输入到特征向量生成模块，并计算上下文中文本信息的相似度；
所述文本输出模块基于所述文本信息的相似度将所述语义分析数据集中的语义反馈到数据前端。
本发明与现有技术相比较具有如下有益效果：
本发明采用CRAFL模型将文本信息经词嵌入转为向量形式的文本表示，采用带有注意力机制的神经网络模型从文本表示矩阵中学习文本语义特征，并降低特征矩阵维度，通过损失函数，增加语义类别的权重，缓解了各类别分布的不平衡，能够在识别语义特征时，最大限度的从词汇表中获得概率最大的词汇，以获取最符合原意的语义信息，提高了文本语义分析的精度，增强了对话情境下重点文本语义的提取效率。
利用Bert模型中的多层树结构，将语义间的隐藏状态全部表示出来，能够分析句子语义，识别句间隐式关系，使所输出的文本能涵盖原文本的重要信息，并有效去除冗余信息，降低了处理模型的复杂度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的面向对话场景的语义分析方法流程图；
图2为本发明实施例提供的语义分析系统结构图；
1-文本输入模块；2-数据处理模块；3-文本输出模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种面向对话场景的语义分析方法，包括以下步骤：
获取某一时段内智能客服对话场景下的文本信息，提取所述文本信息对应的特征矩阵，将所述特征矩阵向量化生成对话知识库；
本实施例中，将文本信息提取为对应的特征矩阵，首先需要将文本形式的自然语言转化为机器能够识别与计算的机器码，通常为数字、向量、矩阵及其集合，然后机器码需要经过降维等操作将文本表示转化为低纬、易计算的语义特征表示，以生成特征矩阵。
采用多层关系树结构扩充所述对话知识库，将所述对话知识库采用Bert模型生成特征向量，采用Milvus开源向量对所述特征向量进行存储和检索，获取所述特征向量训练样本集；
本实施例中，利用Bert-Tree关系树模型不断迭代扩充所述对话知识库，采用所述Bert模型将所述对话知识库中的信息表示为特征向量，便于在模型中计算语义特征。
将所述训练样本集包含的文本信息使用Bert模型嵌入原始文本数据，获取基于所述原始文本数据的低纬度密集型词嵌入矩阵，对所述词嵌入矩阵采用隐藏状态可逆计算策略构架基于GRU双向循环神经网络模型；
本实施例中，采用所述基于GRU双向循环神经网络模型提取词嵌入矩阵中的文本信息，并且采用神经网络的文本语义特征提取对应的文本信息，能够根据上下文调整词语的表示，得到具有降维、稠密特点的文本数据，使得系统在回复相关问答时，能够注意关键信息，结合语境进行答复。
训练由所述基于GRU双向循环神经网络模型获取的语义分析数据集，采用优化策略测试所述语义分析数据集，获取深度优化的语义分析数据。
本实施例中，采用语义分析数据集将文本信息以面向对话场景的分句形式进行分类，根据句间连接词的存在与否，注意上下文间的因果联系，便于获取基于语境的语义分析关系。
提取所述文本信息对应的特征矩阵，包括：
采用CRAFL模型依次训练所述文本信息，将所述文本信息按序列写成文本序列，获取序列型数据；
将所述序列型数据作为神经单元循环的输入文本，采用所述CRAFL模型的词嵌入层分布式词向量训练文本信息，将训练好的文本信息转化为向量矩阵；
对所述向量矩阵采取融合注意力机制操作，通过所述融合注意力机制的卷积层从所述向量矩阵中获取文本信息局部特征，将所述局部特征降维后表示为特征矩阵；
对所述特征矩阵通过损失函数对文本语义特征进行分类识别，将识别后的特征矩阵文本信息生成对话知识库。
本实施例中，以串联结构形式建立CRAFL模型，所述CRAFL模型主要由嵌入层、卷积层、双向长短时记忆网络以及输出层组成，通过所述嵌入层训练所述文本信息，将所述文本信息转化为词向量，以向量形式供后续步骤计算，并且通过卷积层提取数据局部信息，缩小数据维度，降低数据训练的难度。
本实施例中，采用交叉熵作为损失函数，能够在识别语义特征时，最大限度的从词汇表中获得概率最大的词汇，以获取最符合原意的语义信息。
本实施例中，所述融合注意力机制在降低特征矩阵及获取文本局部特征上具有一定优势，能够更快的训练深层网络，并减少训练中的梯度爆炸和梯度消失的现象，提高文本数据训练的精度。
对所述对话知识库采用多层关系树结构进行扩充，包括：
将所述对话知识库按数据集模式分为两组，且两组之间通过文本关系相关联，将两组数据集分别输入Bert预训练模型中，通过Bert预训练模型对所述两组数据集的语音进行微调获取句子的语义特征矩阵；
将所述语义特征矩阵通过特征融合层将所述向量矩阵融合到BiLSTM中，获取所述语义特征矩阵中前后语义之间的关系特征矩阵；
通过所述BiLSTM对所述语义特征矩阵进行特征筛选后提取语义特征提取，并将最后特征送入所述Bert预训练模型中的关系树，通过所述关系树的树结构分类器对特征语音进行关系识别，并将所述关系识别结果扩充到所述对话知识库中，并输出相对应基于语义句间关系的特征向量。
本实施例中，采取基于双向长短期记忆的BiLSTM来实现语义特征矩阵的筛选识别，过程包括：
将所述语义特征矩阵使用Hanlp进行分词，划分单个字符，对其进行向量化，把处理好的文本序列使用BiLSTM-CRF进行训练，将charembedding序列输入至BiLSTM层，获取前向LSTM输出的隐状态序列和反向LSTM输出的隐状态序列，进行拼接以得到完整的隐形状态序列，然后再接入线性层、softmax层输出每个字的标签，然后进入CRF层，进行句子的序列标注然后输入；
将BiLSTM使用TensorFlow框架构建，对于两个超参数向量维度num_units和序列长度sequence_length进行设置，将BiLSTM的输出使用StanfordCRF工具处理以得到序列标注；
使用人工维护的词典库进行进一步匹配，对标注结果进行校正，筛选相对应的信息。
本实施例中，所述多层关系树结构采用端到端的并联及串联组织结构，对树结构关系进行分类，并且将每一树层间的子结构输入到所述Bert预训练模型中进行训练，将文本信息转换为语义特征表示，并且将两组数据集经过融合特征模型对语义特征转化为一个带有关系特征的矩阵，将关系特征矩阵进入树形结构进行句间关系识别，获取句子间的关系。
本实施例中，所述Bert预训练模型输入端，语义关系分析采用成对的句子或段落，并且输入的文本长度低于512，便于分析句间关系。
本实施例中，所述Bert预训练模型在进行文本预测时，会分别将每个词隐藏起来，通过文本中其他词语的上下文语义预测被掩蔽的词语，考虑到中、英在语篇预训练过程中的差别，此处采用全词掩蔽代替汉字掩蔽，即将包含多个汉字的整个词全部掩蔽，词汇整体作为模型预测的一个单元，在中文预训练过程中，以整个词为单位，可以更准确地获得文本语义。
所述特征向量进行存储和检索获取所述特征向量训练样本集，包括：
获取所述特征向量并将所述特征向量扩充至所述对话知识库中，生成带有问答的语义问题集合，将所述语义问题集合作为标准问题集，采用所述Bert预训练模型把所述标准问题集内的问题转化成问题集向量，并将所述问题集向量存储在Milvus中，通过所述Milvus中的开源向量对所述问题集向量逐一分配ID；
将对应所述问题集向量的ID与相应的答案存储在数据库中，当检测到对话场景下用户问题时，通过所述Bert预训练模型将相应的用户问题转化为对应的问题集向量，将所述问题集向量在Milvus中计算相似度，获取用户问题最近似的一个标准问题ID，根据所述标准问题ID对应所述数据库中相应的答案。
本实施例中，采用开源的Milvus相量搜索引擎，能够高效稳定以及快速的搜索对应的标准问题ID，提升特征向量检索效率，并且所述Milvus相量搜索引擎支持许多通用的测量近似度的计算指标，可以通过每个向量的要求去使用一个最好的相似度计算指标来进行向量计算，可以在任何时候对数据进行增删改和搜索等操作而不用受到静态数据带来的问题。
将所述标准问题ID通过Bert模型对应所述特征向量训练样本集，通过所述Bert模型的词嵌入模块将所述特征向量训练样本集的文本信息向量化，采用神经卷积网络注意力层计算嵌入向量的隐藏状态，分析所述隐藏状态间的叠加注意力机制与语义上下文和目标词之间的交互性，基于所述交互性程度构架基于GRU双向循环神经网络模型。
本实施例中，所述GRU双向循环神经网络模型由多输入端注意层和叠加注意力层组成，通过注意力函数并行计算词嵌入模块嵌入向量的隐藏状态，通过所述叠加注意力层表示上下文和目标词之间的关系，结合目标词的隐藏状态获取相对应的语境信息。
所述基于GRU双向循环神经网络模型，包括：
采用注意力函数描述语义文本从查询到一系列键值对应的映射关系，获取语义文本上下文间的目标词；
对所述目标词使用叠加注意力层将影响语义文本的情感词进行分类，并通过Laplacian概率函数将位置权重添加到所述目标词对应的词向量中，获取词向量和上下文信息之间的交互；
通过GRU双选循环逻辑单元处理词向量间的交互关系，获取基于词向量的隐形语义状态，将隐形语义状态以集合形式表示为语义分析数据集，并反馈给线性层进行映射。
对所述语义分析数据集采用优化策略进行测试，包括：
采用注意力机制的Seq结构将所述语义分析数据集生成能够表达原文重要信息的抽象摘要，通过所述Bert模型中的编码模块将所述抽象摘要编码后输入长短时记忆网络，对所述抽象摘要进一步提炼，获取包含深层语义的特征矩阵；
将所述包含深层语义的特征矩阵输入Bert模型的解码模块进行摘要生成，采用多个网络进行循环解码依次生成文本词汇，获取文本摘要信息。
本实施例中，将Bert模型中的预训练方法融入到序列生成模型并应用于自动抽象摘要生成任务，且引入注意力机制突出文本重要信息，提升了语义分析的协同性及有效性。
本实施例中，采用注意力机制关注原输入文本中的重要信息，结合注意力机制的Seq结构用于生成能够表达原文重要信息的抽象摘要，增加了文本重要特征的权重，使原文本的重要信息体现在解码模块的输出中；
本实施例中，所述解码模块的解码过程根据语义特征矩阵生成指定的序列，得到输出序列，自动文本摘要生成任务中该输出序列为文本形式的摘要，文本序列长度不定。
所述循环解码在解码过程中，通过不断地将前一个时刻的输出作为后一个时刻的输入，依次循环解码，直到遇到输出停止符号为止，最终生成包含词汇主要内容的原维度的词汇。
本实施例中，首先保存通过Bert模型训练得到的词向量，将词向量表示为矩阵形式，且模型编码和解码过程共用同一个词汇向量表，含有序列起始符和终止符，便于开始和终止循环程序。
如图2所示，本发明提供了一种面向对话场景语义分析方法的系统，
按文本数据流程传递过程，构建基于所述语义分析方法的系统，包括：文本输入模块，数据处理模块以及文本输出模块，所述文本输入模块采用多渠道接入方式预先设置不同服务类型的接收模型，获取多渠道的文本信息；
所述数据处理模块用于构建Bert模型以处理文本信息，将用户输入的问题输入到特征向量生成模块，并计算上下文中文本信息的相似度；
所述文本输出模块基于所述文本信息的相似度将所述语义分析数据集中的语义反馈到数据前端。
本发明采用CRAFL模型将文本信息经词嵌入转为向量形式的文本表示，采用带有注意力机制的神经网络模型从文本表示矩阵中学习文本语义特征，并降低特征矩阵维度，通过损失函数，增加语义类别的权重，缓解了各类别分布的不平衡，能够在识别语义特征时，最大限度的从词汇表中获得概率最大的词汇，以获取最符合原意的语义信息，提高了文本语义分析的精度，增强了对话情境下重点文本语义的提取效率。
利用Bert模型中的多层树结构，将语义间的隐藏状态全部表示出来，能够分析句子语义，识别句间隐式关系，使所输出的文本能涵盖原文本的重要信息，并有效去除冗余信息，降低了处理模型的复杂度。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (9)

1.一种面向对话场景的语义分析方法，其特征在于，包括以下步骤：
获取某一时段内智能客服对话场景下的文本信息，提取所述文本信息对应的特征矩阵，将所述特征矩阵向量化生成对话知识库；
采用多层关系树结构扩充所述对话知识库，将所述对话知识库采用Bert模型生成特征向量，采用Milvus开源向量对所述特征向量进行存储和检索，获取所述特征向量训练样本集；
将所述训练样本集包含的文本信息使用Bert模型嵌入原始文本数据，获取基于所述原始文本数据的低纬度密集型词嵌入矩阵，对所述词嵌入矩阵采用隐藏状态可逆计算策略构架基于GRU双向循环神经网络模型；
训练由所述基于GRU双向循环神经网络模型获取的语义分析数据集，采用优化策略测试所述语义分析数据集，获取深度优化的语义分析数据。
2.根据权利要求1所述的一种面向对话场景的语义分析方法，其特征在于，
提取所述文本信息对应的特征矩阵，包括：
采用CRAFL模型依次训练所述文本信息，将所述文本信息按序列写成文本序列，获取序列型数据；
将所述序列型数据作为神经单元循环的输入文本，采用所述CRAFL模型的词嵌入层分布式词向量训练文本信息，将训练好的文本信息转化为向量矩阵；
对所述向量矩阵采取融合注意力机制操作，通过所述融合注意力机制的卷积层从所述向量矩阵中获取文本信息局部特征，将所述局部特征降维后表示为特征矩阵；
对所述特征矩阵通过损失函数对文本语义特征进行分类识别，将识别后的特征矩阵文本信息生成对话知识库。
3.根据权利要求2所述的一种面向对话场景的语义分析方法，其特征在于,
对所述对话知识库采用多层关系树结构进行扩充，包括：
将所述对话知识库按数据集模式分为两组，且两组之间通过文本关系相关联，将两组数据集分别输入Bert预训练模型中，通过Bert预训练模型对所述两组数据集的语音进行微调获取句子的语义特征矩阵；
将所述语义特征矩阵通过特征融合层将所述向量矩阵融合到BiLSTM中，获取所述语义特征矩阵中前后语义之间的关系特征矩阵；
通过所述BiLSTM对所述语义特征矩阵进行特征筛选后提取语义特征，并将提取后语义特征送入所述Bert预训练模型中的关系树，通过所述关系树的树结构分类器对特征语音进行关系识别，并将所述关系识别结果扩充到所述对话知识库中，输出对应语义句间关系的特征向量。
4.根据权利要求3所述的一种面向对话场景的语义分析方法，其特征在于,
对所述特征向量进行存储和检索，获取所述特征向量的训练样本集，包括：
获取所述特征向量并将所述特征向量扩充至所述对话知识库中，生成带有问答的语义问题集合，将所述语义问题集合作为标准问题集，采用所述Bert预训练模型把所述标准问题集内的问题转化成问题集向量，并将所述问题集向量存储在Milvus中，通过所述Milvus中的开源向量对所述问题集向量逐一分配ID；
将对应所述问题集向量的ID与相应的答案存储在数据库中，当检测到对话场景下用户问题时，通过所述Bert预训练模型将相应的用户问题转化为对应的问题集向量，将所述问题集向量在Milvus中计算相似度，获取用户问题最近似的一个标准问题ID，根据所述标准问题ID对应所述数据库中相应的答案。
5.根据权利要求4所述的一种面向对话场景的语义分析方法，其特征在于,
将所述标准问题ID通过Bert模型对应所述特征向量训练样本集，通过所述Bert模型的词嵌入模块将所述特征向量训练样本集的文本信息向量化，采用神经卷积网络注意力层计算嵌入向量的隐藏状态，分析所述隐藏状态间的叠加注意力机制与语义上下文和目标词之间的交互性，基于所述交互性程度构架基于GRU双向循环神经网络模型。
6.根据权利要求5所述的一种面向对话场景的语义分析方法，其特征在于,
所述基于GRU双向循环神经网络模型，包括：
采用注意力函数描述语义文本从查询到一系列键值对应的映射关系，获取语义文本上下文间的目标词；
对所述目标词使用叠加注意力层将影响语义文本的情感词进行分类，并通过Laplacian概率函数将位置权重添加到所述目标词对应的词向量中，获取词向量和上下文信息之间的交互；
通过GRU双选循环逻辑单元处理词向量间的交互关系，获取基于词向量的隐形语义状态，将隐形语义状态以集合形式表示为语义分析数据集，并反馈给线性层进行映射。
7.根据权利要求6所述的一种面向对话场景的语义分析方法，其特征在于,
对所述语义分析数据集采用优化策略进行测试，包括：
采用注意力机制的Seq结构将所述语义分析数据集生成能够表达原文重要信息的抽象摘要，通过所述Bert模型中的编码模块将所述抽象摘要编码后输入长短时记忆网络，对所述抽象摘要进一步提炼，获取包含深层语义的特征矩阵；
将所述包含深层语义的特征矩阵输入Bert模型的解码模块进行摘要生成，采用多个网络进行循环解码依次生成文本词汇，获取文本摘要信息。
8.根据权利要求7所述的一种面向对话场景的语义分析方法，其特征在于,
所述循环解码在解码过程中，通过不断地将前一个时刻的输出作为后一个时刻的输入，依次循环解码，直到遇到输出停止符号为止，最终生成包含词汇主要内容的原维度的词汇。
9.一种面向对话场景的语义分析方法的系统，其特征在于，
按文本数据流程传递过程，构建基于所述语义分析方法的系统，包括：文本输入模块，数据处理模块以及文本输出模块，所述文本输入模块采用多渠道接入方式预先设置不同服务类型的接收模型，获取多渠道的文本信息；
所述数据处理模块用于构建Bert模型以处理文本信息，将用户输入的问题输入到特征向量生成模块，并计算上下文中文本信息的相似度；
所述文本输出模块基于所述文本信息的相似度将所述语义分析数据集中的语义反馈到数据前端。
CN202311632116.2A 2023-12-01 2023-12-01 一种面向对话场景的语义分析方法及系统 Pending CN117332789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311632116.2A CN117332789A (zh) 2023-12-01 2023-12-01 一种面向对话场景的语义分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311632116.2A CN117332789A (zh) 2023-12-01 2023-12-01 一种面向对话场景的语义分析方法及系统

Publications (1)

Publication Number Publication Date
CN117332789A true CN117332789A (zh) 2024-01-02

Family

ID=89277804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311632116.2A Pending CN117332789A (zh) 2023-12-01 2023-12-01 一种面向对话场景的语义分析方法及系统

Country Status (1)

Country Link
CN (1) CN117332789A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579710A (zh) * 2024-01-17 2024-02-20 广东邦盛北斗科技股份公司 面向北斗短报文的信息处理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918491A (zh) * 2019-03-12 2019-06-21 焦点科技股份有限公司 一种基于知识库自学习的智能客服问句匹配方法
CN109947918A (zh) * 2019-03-12 2019-06-28 南京邮电大学 面向智能客服对话场景的语义分析方法
WO2019153613A1 (zh) * 2018-02-09 2019-08-15 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
CN113918697A (zh) * 2021-10-12 2022-01-11 上海掌数科技有限公司 一种智能问答系统的优化方法以及优化系统
CN114722833A (zh) * 2022-04-19 2022-07-08 清华大学 一种语义分类方法及装置
CN116150338A (zh) * 2023-02-22 2023-05-23 山东浪潮科学研究院有限公司 一种基于多轮对话的智能客服方法及系统
CN116644760A (zh) * 2023-05-13 2023-08-25 重庆大学 一种基于Bert模型和双通道模型的对话文本情感分析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153613A1 (zh) * 2018-02-09 2019-08-15 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
CN109918491A (zh) * 2019-03-12 2019-06-21 焦点科技股份有限公司 一种基于知识库自学习的智能客服问句匹配方法
CN109947918A (zh) * 2019-03-12 2019-06-28 南京邮电大学 面向智能客服对话场景的语义分析方法
CN113918697A (zh) * 2021-10-12 2022-01-11 上海掌数科技有限公司 一种智能问答系统的优化方法以及优化系统
CN114722833A (zh) * 2022-04-19 2022-07-08 清华大学 一种语义分类方法及装置
CN116150338A (zh) * 2023-02-22 2023-05-23 山东浪潮科学研究院有限公司 一种基于多轮对话的智能客服方法及系统
CN116644760A (zh) * 2023-05-13 2023-08-25 重庆大学 一种基于Bert模型和双通道模型的对话文本情感分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DJANGO\'S BLOG: "TensorFlow教程——Bi-LSTM+CRF进行序列标注（代码浅析）", Retrieved from the Internet <URL:https://www.cnblogs.com/DjangoBlog/p/9523891.html> *
姜丹: "面向视角的文本语义分析方法研究", 《中国博士学位论文全文数据库-信息科技辑》, pages 138 - 44 *
田潇: "基于CNN和GRU的混合模型的情感分类系统研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》, no. 02, pages 138 - 3714 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579710A (zh) * 2024-01-17 2024-02-20 广东邦盛北斗科技股份公司 面向北斗短报文的信息处理方法及系统
CN117579710B (zh) * 2024-01-17 2024-03-26 广东邦盛北斗科技股份公司 面向北斗短报文的信息处理方法及系统

Similar Documents

Publication Publication Date Title
CN109885672B (zh) 一种面向在线教育的问答式智能检索系统及方法
CN108287822B (zh) 一种中文相似问题生成系统与方法
CN107210035A (zh) 语言理解系统和方法的生成
CN113191148B (zh) 一种基于半监督学习和聚类的轨道交通实体识别方法
CN110795552A (zh) 一种训练样本生成方法、装置、电子设备及存储介质
CN109949637B (zh) 一种客观题目的自动解答方法和装置
CN112183094A (zh) 一种基于多元文本特征的中文语法查错方法及系统
CN113282711B (zh) 一种车联网文本匹配方法、装置、电子设备及存储介质
CN113962219A (zh) 面向电力变压器知识检索和问答的语义匹配方法及系统
CN113408287B (zh) 实体识别方法、装置、电子设备及存储介质
CN115470338B (zh) 一种基于多路召回的多场景智能问答方法和系统
CN114676255A (zh) 文本处理方法、装置、设备、存储介质及计算机程序产品
CN113919366A (zh) 一种面向电力变压器知识问答的语义匹配方法和装置
CN111858842A (zh) 一种基于lda主题模型的司法案例筛选方法
CN117332789A (zh) 一种面向对话场景的语义分析方法及系统
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN111782793A (zh) 智能客服处理方法和系统及设备
CN113392265A (zh) 多媒体处理方法、装置及设备
Joukhadar et al. Arabic dialogue act recognition for textual chatbot systems
CN110852071B (zh) 知识点检测方法、装置、设备及可读存储介质
CN114881043A (zh) 基于深度学习模型的法律文书语义相似度评估方法及系统
CN114611520A (zh) 一种文本摘要生成方法
CN113378024B (zh) 一种基于深度学习面向公检法领域的相关事件识别方法
CN117454898A (zh) 一种根据输入文本实现法人实体标准化输出的方法及装置
CN114996442A (zh) 一种联合抽象程度判别和摘要优化的文本摘要生成系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination