CN117972123A - 一种基于5g消息的客服信息系统、方法、设备及介质 - Google Patents
一种基于5g消息的客服信息系统、方法、设备及介质 Download PDFInfo
- Publication number
- CN117972123A CN117972123A CN202410368537.7A CN202410368537A CN117972123A CN 117972123 A CN117972123 A CN 117972123A CN 202410368537 A CN202410368537 A CN 202410368537A CN 117972123 A CN117972123 A CN 117972123A
- Authority
- CN
- China
- Prior art keywords
- feature
- message
- features
- customer service
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000010586 diagram Methods 0.000 claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 230000002776 aggregation Effects 0.000 claims abstract description 30
- 238000004220 aggregation Methods 0.000 claims abstract description 30
- 238000010276 construction Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 48
- 230000001419 dependent effect Effects 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及人工智能技术邻域，揭露了一种基于5G消息的客服信息系统及方法，该系统包括目标特征生成模块、局部相似度计算模块、关键词节点图构建模块、全局相似度计算模块及目标客服消息确定模块，提取用户5G消息对应的多模态数据对应的目标特征；岁目标特征进行语义聚合，得到聚合特征，根据所述聚合特征计算用户5G消息每个客服消息之间的局部相似度；构建用户5G消息中文本数据的关键词节点图；根据关键词节点图计算文本语义特征，根据文本语义特征与目标特征计算用户5G消息与每个客服消息之间的全局相似度；根据局部相似度与全局相似度确定多模态的目标客服消息。本发明可以提高客服消息生成的准确度。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于5G消息的客服信息系统、方法、设备及介质。
背景技术
近些年，随着信息技术的飞速发展，客服信息已成为企业与客户沟通的重要桥梁，在数字化转型的浪潮中，客服信息系统的技术背景正经历着深刻的变革。现代客服信息系统融合了人工智能（AI）、大数据分析、云计算等前沿技术，实现了从被动响应到主动服务的转变，AI技术的应用使得客服信息能够理解并准确回应用户的查询，以解决客户需求。
随着5G技术的商用化，通信速度和服务质量得到了显著提升，这为客服信息系统的创新提供了新的可能性，5G消息基于RCS标准（Rich Communication Suite），支持文本、图片、视频、位置等多模态媒体消息的发送和接收，通过RCS使得传统的短信服务升级为支持多种媒体格式的现代化通信服务。但现有的客服消息主要针对用户的文本内容进行回复查询，无法根据5G消息中多模态消息进行回复查询，导致客服信息的准确度较差，因此，如何基于5G消息生成更精确的客服信息成为亟待解决的问题。
发明内容
本发明提供一种基于5G消息的客服信息系统及方法，其主要目的在于解决客服消息的准确度较差的问题。
为实现上述目的，本发明提供的一种基于5G消息的客服信息系统，所述系统包括目标特征生成模块、局部相似度计算模块、关键词节点图构建模块、全局相似度计算模块及目标客服消息确定模块，其中：
所述目标特征生成模块，用于获取用户5G消息，分别对所述用户5G消息对应的多模态数据进行多维度特征提取，得到多维度特征，对所述多维度特征进行特征增强，得到所述多模态数据的目标特征；
所述局部相似度计算模块，用于对所述多模态数据的目标特征进行语义聚合，得到聚合特征，并根据所述聚合特征计算所述用户5G消息与预设的客服消息集中每个客服消息之间的局部相似度；
所述关键词节点图构建模块，用于提取所述用户5G消息中文本数据的文本关键词，根据所述文本关键词构建所述文本数据的关键词节点图；
所述全局相似度计算模块，用于对所述关键词节点图进行节点编码，得到所述文本数据的文本语义特征，根据所述文本语义特征与所述目标特征计算所述用户5G消息与每个所述客服消息之间的全局相似度；
目标客服消息确定模块，用于根据所述局部相似度与所述全局相似度在所述客服消息集中确定多模态的目标客服消息。
可选地，所述目标特征生成模块在分别对所述用户5G消息对应的多模态数据进行多维度特征提取，得到多维度特征时，具体用于：
提取所述用户5G消息中的图片数据及文本数据；
提取所述图片数据的网格特征及物体特征，并对所述网格特征及物体特征进行嵌入拼接，得到所述图片数据的图片特征；
计算所述文本数据的词嵌入特征序列，并对所述词嵌入特征序列进行特征编码，得到所述文本数据的文本特征；
汇集所述图片特征及所述文本特征，得到所述多模态数据的多维度特征。
可选地，所述局部相似度计算模块在对所述多模态数据的目标特征进行语义聚合，得到聚合特征时，具体用于：
确定所述目标特征的特征子向量集合，计算所述特征子向量集合中每个特征子向量与预设的特征中心的分配权重；
利用如下公式计算每个特征子向量与预设的特征中心的分配权重：其中，/>表示第/>个特征子向量/>与第/>个特征中心的分配权重，/>表示第/>个特征中心预设的特征中心权重，/>表示转置，/>表示第/>个特征中心预设的特征中心偏置，/>表示特征中心的总数；
根据所述分配权重计算每个所述特征子向量与所述特征中心的特征残差；
利用如下公式计算每个所述特征子向量与所述特征中心的特征残差：其中，/>表示第/>个特征子向量/>与第/>个特征中心/>的特征残差，/>表示第/>个特征子向量/>与第/>个特征中心的分配权重，/>表示平方L2范数；
根据所述分配权重对所述特征残差进行加权求和，得到所述目标特征的聚合特征。
可选地，所述局部相似度计算模块在根据所述聚合特征计算所述用户5G消息与预设的客服消息集中每个客服消息之间的局部相似度时，具体用于：
计算所述客服消息集中每个客服消息的卷积特征图，根据所述卷积特征图确定每个所述客服消息的客服特征子向量集；
计算所述聚合特征与所述客服特征子向量集中每个客服特征子向量之间的特征相似度；
计算所述特征相似度的相似度均值，将所述相似度均值作为所述用户5G消息与每个所述客服消息之间的局部相似度。
可选地，所述关键词节点图构建模块在提取所述用户5G消息中文本数据的文本关键词时，具体用于：
将所述文本数据划分为文本语句集，构建所述文本语句集中每个文本语句的语法解析树；
将所述语法解析树切割为多个语法解析子树；
利用预设的过滤规则对每个所述语法解析子树进行过滤，得到过滤语法树；
根据所述过滤语法树确定所述文本数据的文本关键词。
可选地，所述全局相似度计算模块在对所述关键词节点图进行节点编码，得到所述文本数据的文本语义特征时，具体用于：
计算所述关键词节点图中每个节点的节点初始特征，根据所述关键词节点图确定每个所述节点的依存节点；
根据所述依存节点的节点初始特征计算每个所述节点与所述依存节点之间的注意力得分；
利用如下公式计算每个所述节点与所述依存节点之间的注意力得分：其中，/>表示第/>个节点与第/>个依存节点之间的注意力得分，/>表示激活函数，/>表示预设的第一参数，/>表示转置，/>表示预设的第二参数，/>表示第/>个依存节点的节点初始特征，/>表示第/>个节点的节点初始特征，/>表示第/>个节点依存节点的总数；
根据所述注意力得分及所述依存节点的节点初始特征计算每个所述节点的编码特征；
对所述编码特征进行特征融合，得到所述文本数据的文本语义特征。
可选地，所述全局相似度计算模块在根据所述文本语义特征与所述目标特征计算所述用户5G消息与每个所述客服消息之间的全局相似度时，具体用于：
对所述文本语义特征与所述目标特征进行特征扩展，得到扩展特征；
利用如下公式对所述文本语义特征与所述目标特征进行特征扩展，得到扩展特征：其中，/>表示拓展特征，/>表示丢弃层，/>表示/>激活函数，/>表示预设的第一拓展参数，/>表示转置，/>表示特征投影操作，/>表示预设的第二拓展参数，/>表示文本语义特征，/>表示逐元素点积操作，/>表示目标特征；
对所述拓展特征进行特征压缩，得到所述用户5G消息的全局特征；
根据所述全局特征计算用户5G消息与每个所述客服消息之间的全局相似度。
为了解决上述问题，本发明还提供一种基于5G消息的客服信息方法，所述方法包括：
获取用户5G消息，分别对所述用户5G消息对应的多模态数据进行多维度特征提取，得到多维度特征，对所述多维度特征进行特征增强，得到所述多模态数据的目标特征；
对所述多模态数据的目标特征进行语义聚合，得到聚合特征，并根据所述聚合特征计算所述用户5G消息与预设的客服消息集中每个客服消息之间的局部相似度；
提取所述用户5G消息中文本数据的文本关键词，根据所述文本关键词构建所述文本数据的关键词节点图；
对所述关键词节点图进行节点编码，得到所述文本数据的文本语义特征，根据所述文本语义特征与所述目标特征计算所述用户5G消息与每个所述客服消息之间的全局相似度；
根据所述局部相似度与所述全局相似度在所述客服消息集中确定多模态的目标客服消息。
为了解决上述问题，本发明还提供一种电子设备，其中，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述处理器用于执行存储在所述存储器上的计算机程序；
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述所述的基于5G消息的客服信息方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，存储有计算机程序，其中，所述计算机程序被处理器501执行时实现如上述所述的基于5G消息的客服信息方法。
本发明实施例通过对用户5G消息对应的多模态数据进行多维度特征提取以及特征增强，可以得到特征更全面以及更精确的目标特征；对目标特征进行语义聚合可以减小不同模态数据间的语义差距，得到更精确的聚合特征，从而通过聚合特征可以从局部计算用户5G消息与客服消息之间的语义相关性；构建文本数据的关键词节点图，可以通过节点编码学习邻居节点之间的特征信息，得到文本语义特征；再根据文本语义特征与目标特征计算用户5G消息与每个客服消息之间的全局相似度，可以通过全面的特征信息计算用户5G消息与客服消息之间的语义相关性；通过局部相似度以及全局相似度可以从局部以及全局角度全面地进行语义相关性的分析，生成更精确的客服信息。因此本发明提出的基于5G消息的客服信息系统、方法、设备及介质，可以提高新客服消息生成的准确度。
附图说明
图1为本发明一实施例提供的基于5G消息的客服信息系统的系统架构图；
图2为本发明一实施例提供的局部相似度计算模块在对多模态数据的目标特征进行语义聚合，得到聚合特征时的系统架构图；
图3为本发明一实施例提供的语法解析树构建模块构建文本语句集中每个文本语句的语法解析树的系统架构图；
图4为本发明一实施例提供的基于5G消息的客服信息方法的流程示意图；
图5为发明一实施例提供的实现一种基于5G消息的客服信息方法的电子设备的结构示意图
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，是本发明一实施例提供的基于5G消息的客服信息系统的系统架构图。
本发明所述基于5G消息的客服信息系统100可以设置于云端服务器中，在实现形式上，可以作为一个或多个服务设备，也可以作为一应用安装于云端(例如移动服务运营方的服务器、服务器集群等)上，或者也可以开发为网站。根据实现的功能，所述基于5G消息的客服信息系统100可以包括目标特征生成模块101、局部相似度计算模块102、关键词节点图构建模块103、全局相似度计算模块104及目标客服消息确定模块105。本发明所述模块也可以称之为单元，能够完成固定功能的一系列计算机程序段，其存储在电子设备500的存储器502中。
下面结合具体实施例，分别针对基于5G消息的客服信息系统的各个组成部分以及具体工作流程进行说明：
所述目标特征生成模块101，用于获取用户5G消息，分别对所述用户5G消息对应的多模态数据进行多维度特征提取，得到多维度特征，对所述多维度特征进行特征增强，得到所述多模态数据的目标特征。
本发明实施例中，所述用户5G消息是用户进行客服问询的消息，其中，用户5G消息中可能包括图片类型以及文字类型的多模态数据，对不同模态的数据进行不同维度的特征提取，可以得到特征更全面的多维度特征。
本发明实施例中，所述目标特征生成模块101在分别对所述用户5G消息对应的多模态数据进行多维度特征提取，得到多维度特征时，具体用于：
提取所述用户5G消息中的图片数据及文本数据；
提取所述图片数据的网格特征及物体特征，并对所述网格特征及物体特征进行嵌入拼接，得到所述图片数据的图片特征；
计算所述文本数据的词嵌入特征序列，并对所述词嵌入特征序列进行特征编码，得到所述文本数据的文本特征；
汇集所述图片特征及所述文本特征，得到所述多模态数据的多维度特征。
本发明实施例中，可以通过用户5G消息中数据类型确定图片数据以及文本数据，例如，通过数据的拓展名提取图片数据以及文本数据。
具体地，本发明实施例可以通过预训练完成的R-CNN（Regions withConvolutional Neural Networks）对图片数据进行目标检测，得到图片数据中每个物体的特征，得到物体特征，但由于物体特征并没有捕捉到图片数据中动作以及场景等多粒度的特征信息，可以将图片数据均匀划分为多个网格，通过预训练完成的残差网络对网格进行残差卷积，得到图片数据的网格特征。
本发明另一可选实施例中，将图片数据的网格特征以及物体特征线性映射到同一向量空间后进行特征拼接，得到图片数据的图片特征。
本发明实施例中，对文本数据进行文本分词，计算每个分词的词嵌入特征向量，得到词嵌入特征序列，例如，可以利用GloVe计算每个分词的词嵌入特征向量，再将词嵌入特征序列输入至预构建的循环神经网络（RNN）编码器中提取更深层次的语义信息，得到文本数据的文本特征。
本发明实施例中，所述目标特征生成模块101在对所述多维度特征进行特征增强，得到所述多模态数据的目标特征时，具体用于：
计算所述多维度特征的注意力矩阵，根据所述注意力矩阵利用预构建的多头注意力机制计算不同注意力头部的注意力特征；
对所述注意力特征进行特征拼接，得到所述多模态数据的目标特征。
其中，注意力矩阵包括查询 Q矩阵、键 K矩阵、值 V矩阵，可以通过预设的参数矩阵与多维度特征相乘，得到注意力矩阵，利用多头注意力机制中每个注意力头部对注意力矩阵进行注意力计算，得到每个注意力头部的注意力特征，通过每个注意力头部的注意力特征可以共同关注来自其他区域的特征信息，有利于增强特征表示，例如，在文本数据中通常包含一些没有语义的词，通过多头注意力机制可以强化有具体语义的词语，弱化没有具体意义的词语，得到更精确的目标特征。
具体地，利用如下公式计算不同注意力头部的注意力特征：其中，/>表示第/>个注意力头部的注意力特征，/>表示激活函数，/>表示注意力矩阵中第/>个注意力头部的查询矩阵，/>表示注意力矩阵中第/>个注意力头部的键矩阵，/>表示转置，/>表示注意力矩阵中第/>个注意力头部的值矩阵。
所述局部相似度计算模块102，用于对所述多模态数据的目标特征进行语义聚合，得到聚合特征，并根据所述聚合特征计算所述用户5G消息与预设的客服消息集中每个客服消息之间的局部相似度。
本发明实施例中，语义聚合是将多模态数据的目标特征嵌入到一个共同的语义空间，将目标特征进行合并，得到一个更加丰富、更加全面的聚合特征。
本发明实施例中，参阅图2所示，所述局部相似度计算模块102中包括分配权重计算模块201、特征残差计算模块202及聚合特征生成模块203。
本发明实施例中，所述局部相似度计算模块102在对所述多模态数据的目标特征进行语义聚合，得到聚合特征时，具体用于：
所述分配权重计算模块201，用于确定所述目标特征的特征子向量集合，计算所述特征子向量集合中每个特征子向量与预设的特征中心的分配权重；
所述特征残差计算模块202，用于根据所述分配权重计算每个所述特征子向量与所述特征中心的特征残差；
所述聚合特征生成模块203，用于根据所述分配权重对所述特征残差进行加权求和，得到所述目标特征的聚合特征。
本发明实施例中，可以将目标特征中每个维度的特征作为一个特征子向量，例如，目标特征为大小为H×W×D的特征图（其中，H和W是特征图的高度和宽度，D为特征图的特征维度），则每个D维的向量都可以被看作是一个特征子向量，特征中心是可学习的聚类中心，可以通过学习得到更精确的特征中心。
具体地，利用如下公式计算每个特征子向量与预设的特征中心的分配权重：其中，/>表示第/>个特征子向量/>与第/>个特征中心的分配权重，/>表示第/>个特征中心预设的特征中心权重，/>表示转置，/>表示第/>个特征中心预设的特征中心偏置，/>表示特征中心的总数。
具体地，利用如下公式计算每个所述特征子向量与所述特征中心的特征残差：其中，/>表示第/>个特征子向量/>与第/>个特征中心/>的特征残差，/>表示第/>个特征子向量/>与第/>个特征中心的分配权重，/>表示平方L2范数。
本发明实施例中，通过每个特征子向量与每个特征中心之间的分配权重以及特征残差进行加权求和，可以将图片数据以及文本数据对应的目标特征聚合到对应的一个共同语义空间，隐式地进行信息聚合，并减小不同模态数据间的语义差距，得到更精确的聚合特征。
本发明实施例中，客服消息集中是预设的用于回复用户的消息，其中，客服消息集中可以包括文本消息以及图片消息，通过计算聚合特征与每个客服消息之间的相似度作为局部相似度。
本发明实施例中，所述局部相似度计算模块102在根据所述聚合特征计算所述用户5G消息与预设的客服消息集中每个客服消息之间的局部相似度时，具体用于：
计算所述客服消息集中每个客服消息的卷积特征图，根据所述卷积特征图确定每个所述客服消息的客服特征子向量集；
计算所述聚合特征与所述客服特征子向量集中每个客服特征子向量之间的特征相似度；
计算所述特征相似度的相似度均值，将所述相似度均值作为所述用户5G消息与每个所述客服消息之间的局部相似度。
本发明实施例中，可以利用预构建的卷积神经网络计算每个客服消息的卷积特征图，例如，包括多个不同卷积尺度的卷积层，最后一个卷积层或池化层的输出作为卷积特征图，则可以将卷积特征图中每个维度的特征向量作为客服特征子向量，通过计算聚合特征与每个客服特征子向量之间的特征相似度得到用户5G消息与客服消息局部特征之间的局部相似度，从而可以从局部计算用户5G消息与客服消息之间的语义相关性，提高目标客服消息生成的准确度。
所述关键词节点图构建模块103，用于提取所述用户5G消息中文本数据的文本关键词，根据所述文本关键词构建所述文本数据的关键词节点图。
本发明实施例中，文本关键词是可以表征文本数据中文本信息的词语或者短语，通过文本关键可以对文本数据进行更精确的表征，避免无意义的词语或者短语的干扰。
本发明实施例中，所述关键词节点图构建模块103中包括语法解析树构建模块301、语法解析树切割模块302、语法解析子树过滤模块303及文本关键词确定模块304。
本发明实施例中，所述关键词节点图构建模块103在提取所述用户5G消息中文本数据的文本关键词时，具体用于：
所述语法解析树构建模块301，用于将所述文本数据划分为文本语句集，构建所述文本语句集中每个文本语句的语法解析树；
所述语法解析树切割模块302，用于将所述语法解析树切割为多个语法解析子树；
所述语法解析子树过滤模块303，用于利用预设的过滤规则对每个所述语法解析子树进行过滤，得到过滤语法树；
所述文本关键词确定模块304，用于根据所述过滤语法树确定所述文本数据的文本关键词。
本发明实施例中，可以通过标点符号或语气词将文本数据划分为文本语句集，语法解析树（Syntactic Parse Tree）是一种图形表示，用于展示文本句子中词语之间的语法结构关系，语法解析树中的每个节点代表一个词汇或者一个语法结构，语法解析树的分支则表示结构之间的层级关系，例如，语法解析树中的叶子节点代表单词或标点符号，内部节点表示更高层次的名词短语、动词短语、形容词短语等语法结构，具体可以通过基于规则的解析方法或机器学习模型等构建语法解析树。
本发明另一可选实施例中，切割语法解析树是对语法解析树进行简化，可以去除语法解析树中多余的结构，或由于过度生成而产生的非最优结构，以得到更精确的过滤语法树，其中，可以通过识别句子中的主要成分（如主语、谓语、宾语）并忽略次要成分对每个语法解析子树进行过滤。
具体地，可以通过每个过滤语法树中的节点在过滤语法树中提取文本语句中的词语，得到文本数据中的文本关键词。
本发明实施例中，关键词节点图是以文本关键词为节点，文本关键词之间的依存关系为边构成的图结构，其中，文本关键词之间的依存关系为，若两个文本关键词短语出现在同一句文本语句中，则认为文本关键词之间存在依存关系。
本发明实施例中，所述关键词节点图构建模块103在根据所述文本关键词构建所述文本数据的关键词节点图时，具体用于：
根据所述文本数据确定所述文本关键词之间的依存关系；
将所述文本关键词作为顶点，所述依存关系作为所述顶点之间的边；
根据所述顶点及所述边构建关键词节点图。
本发明实施例中，可以将文本数据划分为多个文本语句后判断文本关键词是否在同一个文本语句中出现，若两个文本关键词在同一个文本语句中同时出现，则。两个文本关键词之间存在依存关系，若两个文本关键词在同一个文本语句中不同时出现，则两个文本关键词之间不存在依存关系。
本发明实施例中，通过关键词节点图有利用通过节点编码学习邻居节点之间的特征信息，从而学习到整个关键词节点图的特征表示，提高后续全局相似度计算的准确度。
所述全局相似度计算模块104，用于对所述关键词节点图进行节点编码，得到所述文本数据的文本语义特征，根据所述文本语义特征与所述目标特征计算所述用户5G消息与每个所述客服消息之间的全局相似度。
本发明实施例中，节点编码是获取每个节点的特征表示，通过节点编码将关键词节点图中的特征信息进行交互融合，可以得到表示文本数据关键语义信息的文本语义特征。
本发明实施例中，所述全局相似度计算模块104在对所述关键词节点图进行节点编码，得到所述文本数据的文本语义特征时，具体用于：
计算所述关键词节点图中每个节点的节点初始特征，根据所述关键词节点图确定每个所述节点的依存节点；
根据所述依存节点的节点初始特征计算每个所述节点与所述依存节点之间的注意力得分；
根据所述注意力得分及所述依存节点的节点初始特征计算每个所述节点的编码特征；
对所述编码特征进行特征融合，得到所述文本数据的文本语义特征。
本发明实施例中，可以利用预构建的图卷积神经网络计算每个节点的节点初始特征，并在图卷积神经网络后加入注意力机制，通过注意力机制融合依存节点的特征表示得到节点的编码特征，其中，在关键词节点图中与节点通过边相连的节点作为依存节点。
具体地，利用如下公式计算每个所述节点与所述依存节点之间的注意力得分：其中，/>表示第/>个节点与第/>个依存节点之间的注意力得分，/>表示激活函数，/>表示预设的第一参数，/>表示转置，/>表示预设的第二参数，/>表示第/>个依存节点的节点初始特征，/>表示第/>个节点的节点初始特征，/>表示第/>个节点依存节点的总数。
本发明实施例中，通过每个依存节点的注意力得分对依存节点的节点初始特征进行进行加权融合，得到节点的编码特征，将编码特征进行特征拼接，得到文本数据的文本语义特征，进一步地，可以通过多头注意力机制计算多个注意力得分的均值，以更精确地计算编码特征，得到更精确的文本语义特征。
本发明实施例中，所述全局相似度计算模块104在根据所述文本语义特征与所述目标特征计算所述用户5G消息与每个所述客服消息之间的全局相似度时，具体用于：
对所述文本语义特征与所述目标特征进行特征扩展，得到扩展特征；
对所述拓展特征进行特征压缩，得到所述用户5G消息的全局特征；
根据所述全局特征计算用户5G消息与每个所述客服消息之间的全局相似度。
本发明实施例中，特征拓展是将目标特征投影到相同的空间和维度中，再利用逐元素点积操作来集成目标特征并挖掘目标特征的相关性，并用丢弃层防止过拟合，特征压缩是使用加和池化对拓展特征进行进一步的信息聚合，得到特征信息更全面的全局特征。
本发明实施例中，利用如下公式对所述文本语义特征与所述目标特征进行特征扩展，得到扩展特征：其中，/>表示拓展特征，/>表示丢弃层，/>表示/>激活函数，/>表示预设的第一拓展参数，/>表示转置，/>表示特征投影操作，/>表示预设的第二拓展参数，/>表示文本语义特征，/>表示逐元素点积操作，/>表示目标特征。
本发明实施例中，可以将每个客服消息转化为特征向量，通过计算全局特征与特征向量之间的余弦相似度得到全局相似度，以通过全面的特征信息计算用户5G消息与客服消息之间的语义相关性。
所述目标客服消息确定模块105，用于根据所述局部相似度与所述全局相似度在所述客服消息集中确定多模态的目标客服消息。
本发明实施例中，目标客服消息中包括图片格式以及文字格式的客服消息，通过不同类型的客服消息得到多模态的目标客服消息。
本发明实施例中，所述目标客服消息确定模块105在根据所述局部相似度与所述全局相似度在所述客服消息集中确定多模态的目标客服消息时，具体用于：
根据所述局部相似度以及所述全局相似度计算所述客服消息集中每个客服消息的平均相似度；
根据所述平均相似度在所述客服消息集中选取不同模态的客服消息作为目标客服消息。
本发明实施例中，在客服消息集中选取平均相似度最大的图片格式的客服消息以及文字格式的客服消息作为目标客服消息，可以从局部以及全局角度全面地进行语义相关性的分析，并向用户回复多模态的客服消息，可以生成更精确的客服信息，提高用户的满意度。
参照图4所示，为本发明一实施例提供的基于5G消息的客服信息方法的流程示意图。在本实施例中，所述基于5G消息的客服信息方法包括：
S1、获取用户5G消息，分别对所述用户5G消息对应的多模态数据进行多维度特征提取，得到多维度特征，对所述多维度特征进行特征增强，得到所述多模态数据的目标特征；
S2、对所述多模态数据的目标特征进行语义聚合，得到聚合特征，并根据所述聚合特征计算所述用户5G消息与预设的客服消息集中每个客服消息之间的局部相似度；
S3、提取所述用户5G消息中文本数据的文本关键词，根据所述文本关键词构建所述文本数据的关键词节点图；
S4、对所述关键词节点图进行节点编码，得到所述文本数据的文本语义特征，根据所述文本语义特征与所述目标特征计算所述用户5G消息与每个所述客服消息之间的全局相似度；
S5、根据所述局部相似度与所述全局相似度在所述客服消息集中确定多模态的目标客服消息。
如图5所示，本发明一实施例还提供一种基于5G消息的客服信息系统的电子设备500的结构示意图。
所述电子设备500可以包括处理器501、存储器502、通信总线503以及通信接口504，还可以包括存储在所述存储器502中并可在所述处理器501上运行的计算机程序，如基于5G消息的客服信息程序。
其中，所述处理器501在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器501（Central Processing Unit，CPU）、微处理器501、数字处理芯片、图形处理器501及各种控制芯片的组合等。
所述存储器502至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器502（例如：SD或DX存储器502等）、磁性存储器502、磁盘、光盘等。所述存储器502在一些实施例中可以是电子设备500的内部存储单元，例如该电子设备500的移动硬盘。
所述通信总线503可以是外设部件互连标准（Peripheral ComponentInterconnect，简称PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器502以及至少一个处理器501等之间的连接通信。
所述通信接口504用于上述电子设备500与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备500与其他电子设备500之间建立通信连接。
在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备500，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于5G消息的客服信息系统，其特征在于，所述系统包括目标特征生成模块、局部相似度计算模块、关键词节点图构建模块、全局相似度计算模块及目标客服消息确定模块，其中：
所述目标特征生成模块，用于获取用户5G消息，分别对所述用户5G消息对应的多模态数据进行多维度特征提取，得到多维度特征，对所述多维度特征进行特征增强，得到所述多模态数据的目标特征；
所述局部相似度计算模块，用于对所述多模态数据的目标特征进行语义聚合，得到聚合特征，并根据所述聚合特征计算所述用户5G消息与预设的客服消息集中每个客服消息之间的局部相似度；
所述关键词节点图构建模块，用于提取所述用户5G消息中文本数据的文本关键词，根据所述文本关键词构建所述文本数据的关键词节点图；
所述全局相似度计算模块，用于对所述关键词节点图进行节点编码，得到所述文本数据的文本语义特征，根据所述文本语义特征与所述目标特征计算所述用户5G消息与每个所述客服消息之间的全局相似度；
目标客服消息确定模块，用于根据所述局部相似度与所述全局相似度在所述客服消息集中确定多模态的目标客服消息。
2.如权利要求1所述的基于5G消息的客服信息系统，其特征在于，所述目标特征生成模块在分别对所述用户5G消息对应的多模态数据进行多维度特征提取，得到多维度特征时，具体用于：
提取所述用户5G消息中的图片数据及文本数据；
提取所述图片数据的网格特征及物体特征，并对所述网格特征及物体特征进行嵌入拼接，得到所述图片数据的图片特征；
计算所述文本数据的词嵌入特征序列，并对所述词嵌入特征序列进行特征编码，得到所述文本数据的文本特征；
汇集所述图片特征及所述文本特征，得到所述多模态数据的多维度特征。
3.如权利要求1所述的基于5G消息的客服信息系统，其特征在于，所述局部相似度计算模块在对所述多模态数据的目标特征进行语义聚合，得到聚合特征时，具体用于：
确定所述目标特征的特征子向量集合，计算所述特征子向量集合中每个特征子向量与预设的特征中心的分配权重；
利用如下公式计算每个特征子向量与预设的特征中心的分配权重：其中，/>表示第/>个特征子向量/>与第/>个特征中心的分配权重，/>表示第/>个特征中心预设的特征中心权重，/>表示转置，/>表示第/>个特征中心预设的特征中心偏置，/>表示特征中心的总数；
根据所述分配权重计算每个所述特征子向量与所述特征中心的特征残差；
利用如下公式计算每个所述特征子向量与所述特征中心的特征残差：其中，/>表示第/>个特征子向量/>与第/>个特征中心/>的特征残差，/>表示第/>个特征子向量/>与第/>个特征中心的分配权重，/>表示平方L2范数；
根据所述分配权重对所述特征残差进行加权求和，得到所述目标特征的聚合特征。
4.如权利要求1所述的基于5G消息的客服信息系统，其特征在于，所述局部相似度计算模块在根据所述聚合特征计算所述用户5G消息与预设的客服消息集中每个客服消息之间的局部相似度时，具体用于：
计算所述客服消息集中每个客服消息的卷积特征图，根据所述卷积特征图确定每个所述客服消息的客服特征子向量集；
计算所述聚合特征与所述客服特征子向量集中每个客服特征子向量之间的特征相似度；
计算所述特征相似度的相似度均值，将所述相似度均值作为所述用户5G消息与每个所述客服消息之间的局部相似度。
5.如权利要求1所述的基于5G消息的客服信息系统，其特征在于，所述关键词节点图构建模块在提取所述用户5G消息中文本数据的文本关键词时，具体用于：
将所述文本数据划分为文本语句集，构建所述文本语句集中每个文本语句的语法解析树；
将所述语法解析树切割为多个语法解析子树；
利用预设的过滤规则对每个所述语法解析子树进行过滤，得到过滤语法树；
根据所述过滤语法树确定所述文本数据的文本关键词。
6.如权利要求1所述的基于5G消息的客服信息系统，其特征在于， 所述全局相似度计算模块在对所述关键词节点图进行节点编码，得到所述文本数据的文本语义特征时，具体用于：
计算所述关键词节点图中每个节点的节点初始特征，根据所述关键词节点图确定每个所述节点的依存节点；
根据所述依存节点的节点初始特征计算每个所述节点与所述依存节点之间的注意力得分；
利用如下公式计算每个所述节点与所述依存节点之间的注意力得分：其中，/>表示第/>个节点与第/>个依存节点之间的注意力得分，/>表示激活函数，/>表示预设的第一参数，/>表示转置，/>表示预设的第二参数，/>表示第/>个依存节点的节点初始特征，/>表示第/>个节点的节点初始特征，/>表示第/>个节点依存节点的总数；
根据所述注意力得分及所述依存节点的节点初始特征计算每个所述节点的编码特征；
对所述编码特征进行特征融合，得到所述文本数据的文本语义特征。
7.如权利要求1所述的基于5G消息的客服信息系统，其特征在于，所述全局相似度计算模块在根据所述文本语义特征与所述目标特征计算所述用户5G消息与每个所述客服消息之间的全局相似度时，具体用于：
对所述文本语义特征与所述目标特征进行特征扩展，得到扩展特征；
利用如下公式对所述文本语义特征与所述目标特征进行特征扩展，得到扩展特征：其中，/>表示拓展特征，/>表示丢弃层，/>表示/>激活函数，/>表示预设的第一拓展参数，/>表示转置，/>表示特征投影操作，/>表示预设的第二拓展参数，/>表示文本语义特征，/>表示逐元素点积操作，/>表示目标特征；
对所述拓展特征进行特征压缩，得到所述用户5G消息的全局特征；
根据所述全局特征计算用户5G消息与每个所述客服消息之间的全局相似度。
8.一种基于5G消息的客服信息方法，其特征在于，所述方法包括：
获取用户5G消息，分别对所述用户5G消息对应的多模态数据进行多维度特征提取，得到多维度特征，对所述多维度特征进行特征增强，得到所述多模态数据的目标特征；
对所述多模态数据的目标特征进行语义聚合，得到聚合特征，并根据所述聚合特征计算所述用户5G消息与预设的客服消息集中每个客服消息之间的局部相似度；
提取所述用户5G消息中文本数据的文本关键词，根据所述文本关键词构建所述文本数据的关键词节点图；
对所述关键词节点图进行节点编码，得到所述文本数据的文本语义特征，根据所述文本语义特征与所述目标特征计算所述用户5G消息与每个所述客服消息之间的全局相似度；
根据所述局部相似度与所述全局相似度在所述客服消息集中确定多模态的目标客服消息。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述处理器用于执行存储在所述存储器上的计算机程序；
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求8中所述的基于5G消息的客服信息方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求8中所述的基于5G消息的客服信息方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410368537.7A CN117972123B (zh) | 2024-03-28 | 2024-03-28 | 一种基于5g消息的客服信息系统、方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410368537.7A CN117972123B (zh) | 2024-03-28 | 2024-03-28 | 一种基于5g消息的客服信息系统、方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117972123A true CN117972123A (zh) | 2024-05-03 |
| CN117972123B CN117972123B (zh) | 2024-06-11 |
Family
ID=90861558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410368537.7A Active CN117972123B (zh) | 2024-03-28 | 2024-03-28 | 一种基于5g消息的客服信息系统、方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117972123B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170118983A (ko) * | 2016-02-25 | 2017-10-26 | 주식회사 피노텍 | 로보 어드바이저를 통한 상담 시스템 및 방법 |
| CN115563259A (zh) * | 2022-10-10 | 2023-01-03 | 航天信息股份有限公司 | 一种多模态问答数据采集方法及装置 |
| CN116150704A (zh) * | 2023-04-21 | 2023-05-23 | 广东工业大学 | 基于语义相似度匹配的多模态融合表征方法及系统 |
| CN116306679A (zh) * | 2022-09-09 | 2023-06-23 | 上海市大数据中心 | 一种基于语义可配置的多模态智能客服对话的方法和系统 |
| CN116932731A (zh) * | 2023-09-18 | 2023-10-24 | 上海帜讯信息技术股份有限公司 | 面向5g消息的多模态知识问答方法及系统 |
| CN117033602A (zh) * | 2023-08-24 | 2023-11-10 | 北京邮电大学 | 一种多模态的用户心智感知问答模型的构建方法 |
| CN117093687A (zh) * | 2023-08-03 | 2023-11-21 | 京东科技信息技术有限公司 | 问题应答方法和装置、电子设备、存储介质 |
-
2024
- 2024-03-28 CN CN202410368537.7A patent/CN117972123B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170118983A (ko) * | 2016-02-25 | 2017-10-26 | 주식회사 피노텍 | 로보 어드바이저를 통한 상담 시스템 및 방법 |
| CN116306679A (zh) * | 2022-09-09 | 2023-06-23 | 上海市大数据中心 | 一种基于语义可配置的多模态智能客服对话的方法和系统 |
| CN115563259A (zh) * | 2022-10-10 | 2023-01-03 | 航天信息股份有限公司 | 一种多模态问答数据采集方法及装置 |
| CN116150704A (zh) * | 2023-04-21 | 2023-05-23 | 广东工业大学 | 基于语义相似度匹配的多模态融合表征方法及系统 |
| CN117093687A (zh) * | 2023-08-03 | 2023-11-21 | 京东科技信息技术有限公司 | 问题应答方法和装置、电子设备、存储介质 |
| CN117033602A (zh) * | 2023-08-24 | 2023-11-10 | 北京邮电大学 | 一种多模态的用户心智感知问答模型的构建方法 |
| CN116932731A (zh) * | 2023-09-18 | 2023-10-24 | 上海帜讯信息技术股份有限公司 | 面向5g消息的多模态知识问答方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 郭晓哲;彭敦陆;张亚彤;彭学桂;: "GRS:一种面向电商领域智能客服的生成-检索式对话模型", 华东师范大学学报(自然科学版), no. 05, 25 September 2020 (2020-09-25), pages 165 - 175 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117972123B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287126B (zh) | 一种适于多模态知识图谱的实体对齐方法及设备 | |
| CN110413787B (zh) | 文本聚类方法、装置、终端和存储介质 | |
| WO2021151270A1 (zh) | 图像结构化数据提取方法、装置、设备及存储介质 | |
| CN113656547B (zh) | 文本匹配方法、装置、设备及存储介质 | |
| CN111259144A (zh) | 多模型融合文本匹配方法、装置、设备和存储介质 | |
| CN106933824B (zh) | 在多个文档中确定与目标文档相似的文档集合的方法和装置 | |
| CN114398557A (zh) | 基于双画像的信息推荐方法、装置、电子设备及存储介质 | |
| CN115098061A (zh) | 软件开发文档优化方法、装置、计算机设备及存储介质 | |
| CN111258905A (zh) | 缺陷定位方法、装置和电子设备及计算机可读存储介质 | |
| CN117972048A (zh) | 一种问答处理方法及装置 | |
| CN112579781A (zh) | 文本归类方法、装置、电子设备及介质 | |
| CN117972123B (zh) | 一种基于5g消息的客服信息系统、方法、设备及介质 | |
| CN116797195A (zh) | 工单处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN109902162B (zh) | 基于数字指纹的文本相似性的识别方法、存储介质及装置 | |
| CN115409041B (zh) | 一种非结构化数据提取方法、装置、设备及存储介质 | |
| CN116932753A (zh) | 日志分类方法、装置、计算机设备、存储介质和程序产品 | |
| CN116150371A (zh) | 基于shardingJDBC的资产还款计划海量数据处理方法 | |
| CN116468043A (zh) | 嵌套实体识别方法、装置、设备及存储介质 | |
| CN113627186B (zh) | 基于人工智能的实体关系检测方法及相关设备 | |
| CN112529743B (zh) | 合同要素抽取方法、装置、电子设备及介质 | |
| WO2021227951A1 (zh) | 前端页面元素的命名 | |
| WO2021135103A1 (zh) | 一种语义分析方法、装置、计算机设备及存储介质 | |
| CN114625889A (zh) | 一种语义消歧方法、装置、电子设备及存储介质 | |
| CN111695031A (zh) | 基于标签的搜索方法、装置、服务器及存储介质 | |
| CN117573956B (zh) | 元数据管理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |