CN115955452B

CN115955452B - 基于多轮会话意图识别的5g消息推送方法和装置

Info

Publication number: CN115955452B
Application number: CN202310246310.0A
Authority: CN
Inventors: 沈浩; 黄海量; 韩松乔; 吴优
Original assignee: Shanghai Zhixun Information Technology Co ltd
Current assignee: Shanghai Zhixun Information Technology Co ltd
Priority date: 2023-03-15
Filing date: 2023-03-15
Publication date: 2023-06-06
Anticipated expiration: 2043-03-15
Also published as: CN115955452A

Abstract

本发明提供一种基于多轮会话意图识别的5G消息推送方法和装置，方法包括获取5G消息终端采集的历史5G消息，以基于历史5G消息指示的目标用户的历史交互行为确定目标用户的静态初始用户画像；根据静态初始用户画像，在内容数据库中确定第一推送消息，并推送至目标用户；基于从5G消息终端采集到的目标用户针对第一推送消息的修正文本，对静态初始用户画像进行修正，获得修正用户画像；根据修正用户画像，在内容数据库中确定第二推送消息，并以5G消息形式推送至目标用户。本发明基于目标用户的修正文本识别目标用户的意图，并不断基于动态调整后的用户画像更准确地推送用户感兴趣的内容，提升对于用户反馈的利用率，提升推送准确性。

Description

基于多轮会话意图识别的5G消息推送方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多轮会话意图识别的5G消息推送方法和装置。

背景技术

当前一部分传统短信业务升级到了富媒体消息业务，即5G消息业务。5G消息支持丰富的媒体格式，包括文本、图片和音视频等。相关业务分为两大类：一是个人用户和个人用户之间的交互消息，另一个是行业客户与个人用户之间的交互消息。

面向个人用户，5G消息提供点到点消息和群聊服务，消息内容除文本外，还可以支持图片、音频、视频、位置、联系人等多种形式。用户无需下载客户端，无需添加好友，就能收发其他手机号用户的5G消息。

面向行业客户，5G消息提供增强的个人与应用间消息服务，实现“消息即服务”，并且引入了新的消息交互模式——Chatbot聊天机器人，大家可以在消息窗口直观便捷地享受缴费充值、票务订购、酒店预订、物流查询、餐饮订座、外卖下单等各类5G应用服务。

综上，5G消息相较于传统短信业务是体验与服务的升级和革新，可以满足更高品质、更丰富多彩的信息通信需求，承载和衍生出更多样的5G应用服务。

相关技术中，在5G消息体内，无法实时动态调整推送信息，进而无法向5G消息用户推送精准信息。

公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明所要解决的问题是利用用户的修正文本精准推送消息。

本发明提供一种基于多轮会话意图识别的5G消息推送方法和装置，所述基于多轮会话意图识别的5G消息推送方法基于对5G消息的处理实现。

本发明提供一种基于多轮会话意图识别的5G消息推送方法，包括：

获取5G消息终端采集的历史5G消息，以基于所述历史5G消息指示的目标用户的历史交互行为确定所述目标用户的静态初始用户画像；

根据所述静态初始用户画像，在内容数据库中确定第一推送消息，并推送至所述目标用户；

基于从所述5G消息终端采集到的所述目标用户针对所述第一推送消息的修正文本，对所述静态初始用户画像进行修正，获得修正用户画像；

根据所述修正用户画像，在所述内容数据库中确定第二推送消息，并以5G消息形式推送至所述目标用户。

根据本发明的一些实施例，方法还包括：实时监听所述5G消息终端采集是否采集到实时修正文本；如果收到实时修正文本，则基于所述实时修正文本实时修正当前用户画像，以实时更新推送消息。

根据本发明的一些实施例，获取5G消息终端采集的历史5G消息，以基于所述历史5G消息指示的目标用户的历史交互行为确定所述目标用户的静态初始用户画像，包括：从所述目标用户的历史交互行为中抽取实体信息，以确定浏览实体特征

；基于所述目标用户对所述实体信息的交互动作信息，确定浏览偏好特征/>

，其中，所述交互动作包括文本输入类型交互动作、以及非文本输入类型交互动作；以及，基于所述实体信息的推送频率，确定所述实体信息的推送频率特征/>

。

根据本发明的一些实施例，根据所述静态初始用户画像，在内容数据库中确定第一推送消息，包括：

根据公式

，确定所述内容数据库中各个消息的评分，其中，/>

为/>

时刻第i个消息的评分，

为第i个消息的内容集合，g为实体的数量，/>

为所述静态初始用户画像的浏览实体特征，/>

为所述静态初始用户画像的浏览偏好特征，/>

为所述静态初始用户画像的推送频率特征；

按照评分，对所述消息进行排序；

根据所述排序，确定所述第一推送消息。

根据本发明的一些实施例，根据接收到的所述目标用户针对所述第一推送消息的修正文本，对所述静态初始用户画像进行修正，获得修正用户画像包括：

根据接收到的所述目标用户针对所述第一推送消息的修正文本，确定所述修正文本的文本向量；

根据所述修正文本的所述文本向量，确定用户意图信息；

根据所述用户意图信息、所述第一推送消息和所述修正文本，对静态初始用户画像进行修正，获取修正用户画像。

根据本发明的一些实施例，根据所述用户意图信息、所述第一推送消息和所述修正文本，对所述静态初始用户画像进行修正，获取修正用户画像，包括：

根据所述用户意图信息，对所述静态初始用户画像的浏览实体特征信息进行修正，获得修正后的浏览实体特征信息；

根据所述修正文本，对所述浏览偏好特征信息进行修正，获得修正后的浏览偏好特征信息；

根据所述第一推送消息，对所述推送频率特征信息进行修正，获得修正后的推送频率特征信息。

根据本发明的一些实施例，根据所述修正文本的所述文本向量，确定用户意图信息包括：

根据所述文本向量，获取所述标准化的修正文本中的重要单词信息；对所述重要单词信息进行分类，获得用户意图信息。

本发明还提供一种基于多轮会话意图识别的5G消息推送方法装置，包括：

静态初始用户画像模块，用于获取5G消息终端采集的历史5G消息，以基于所述历史5G消息指示的目标用户的历史交互行为确定所述目标用户的静态初始用户画像；

第一推送模块，根据所述静态初始用户画像，在内容数据库中确定第一推送消息，并推送至所述目标用户；

修正模块，用于基于从所述5G消息终端采集到的所述目标用户针对所述第一推送消息的修正文本，对所述静态初始用户画像进行修正，获得修正用户画像；

第二推送模块，用于根据所述修正用户画像，在所述内容数据库中确定第二推送消息，并以5G消息形式推送至所述目标用户。

本发明还提供一种基于多轮会话意图识别的5G消息推送设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

根据本发明的实施例的基于多轮会话意图识别的5G消息推送方法及装置，可基于目标用户的修正文本来识别目标用户的意图，并调整用户画像，进而可基于动态调整后的用户画像来更准确地推送用户感兴趣的内容，提升对于用户反馈的利用率，提升推送准确性以及内容的针对性，并提升用户获得与其意图匹配的信息的效率，提升用户体验。

附图说明

图1示例性地示出本发明实施例的基于多轮会话意图识别的5G消息推送方法的流程图；

图2示例性地示出本发明实施例的确定重要单词的示意图；

图3示例性地示出本发明实施例的分类模型的示意图；

图4示例性地示出本发明实施例的基于多轮会话意图识别的5G消息推送装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

企业在日常生产及运营过程中，往往需要依靠短消息（包括短信、超信、图文消息等）作为终端客户的触达手段。而传统短消息因信息网络传输技术限制，其传输形式主要以文字信息单向发送为主，体验性、互动性都有较大的不足。并且，传统短消息的推送准确性主要决定于发送前静态的用户画像标签，消息一旦发出后无法知晓用户对于消息准确性地评价，导致企业无法通过短消息发送反馈提升消息发送的准确性。

5G消息作为5G信息时代高效的信息载体，能够承载多样的信息形式，实现丰富的交互场景，也能够完成复杂的业务逻辑。

5G消息与传统短消息最大的区别在于用户可以在5G消息体内完成与系统的多轮会话，从而可以通过用户交互不断修正及调整5G情报推荐算法。

由于5G消息交互形式与传统网页、APP、小程序等存在明显的差异，传统基于用户操作行为的内容推荐方法在5G消息内容精准推送场景中存在以下明显不足：

1.无法兼顾用户在5G消息信息体内的行为反馈和文字反馈

传统基于网页、基于APP、或者基于小程序等产品在实现内容精准推送时，主要基于用户历史的操作行为进行用户画像。但是，该方式放入5G消息场景下并不适用。

2.缺乏针对5G消息当前会话窗口内用户画像的动态调整方法

传统内容推荐算法主要通过连续的用户操作行为进行用户标签调整，但是在5G消息会话场景中，用户每轮会话主题都不相同，因此不能单纯使用用户历史反馈信息进行用户标签调整。

3.缺乏针对5G消息多轮会话场景下内容推荐算法多阶学习方法

传统消息内容会话场景中，用户在完成当前轮次会话后会话信息就会被释放，即每轮会话都是新的会话，因此在短信场景下无法对多轮会话进行利用。

在本实施例中，执行本方法的主体可以是CSP平台，Certified Service Partner）即认证服务合作伙伴，称作5G消息运营平台。5G消息终端与5G消息运营平台之间针对同一主题可以产生多轮会话，多轮会话过程中可以产生交互行为，基于该交互行为可以进行消息推送。

5G消息终端采集并将用户交互行为通过消息通道返回至CSP平台，CSP平台可通过5G消息终端返回的UUID及交互信息为每一位5G消息用户实现消息推送。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1示例性地示出本发明实施例的基于多轮会话意图识别的5G消息推送方法的流程图，如图1所示，所述方法包括：

步骤S1，获取5G消息终端采集的历史5G消息，以基于所述历史5G消息指示的目标用户的历史交互行为确定所述目标用户的静态初始用户画像；

步骤S2，根据所述静态初始用户画像，在内容数据库中确定第一推送消息，并推送至所述目标用户；

步骤S3，基于从所述5G消息终端采集到的所述目标用户针对所述第一推送消息的修正文本，对所述静态初始用户画像进行修正，获得修正用户画像；

步骤S4，根据所述修正用户画像，在所述内容数据库中确定第二推送消息，并以5G消息形式推送至所述目标用户。

根据本发明的实施例的基于多轮会话意图识别的5G消息推送方法，可基于目标用户的修正文本来识别目标用户的意图，并调整用户画像，进而可基于动态调整后的用户画像来更准确地推送用户感兴趣的内容，提升对于用户反馈的利用率，提升推送准确性，并提升用户体验。

根据本发明的一些实施例，在步骤S1中，交互行为指的是在5G消息体下，目标用户通过5G消息终端与CSP平台进行基于5G消息的多轮交互，即多轮会话；多轮会话可以是针对同一主题进行至少一次的信息交互。而本实施例下述的通过修正文本调整推送信息，可以是结合当前会话轮次内目标用户的反馈信息进行精准的调整。

步骤S1可首先构建目标用户的静态初始用户画像，可基于目标用户的历史交互行为记录来构建静态初始用户画像，交互行为可以包括文本输入类型交互行为、以及非文本输入类型交互行为。非文本输入类型的交互行为可以包括：在5G消息体内通过点击、输入、浏览、滑动等行为浏览和阅读5G消息。文本输入类型交互行为可以包括在文本框中输入短信文本。基于上述交互行为所指示的具体内容，可以与CSP平台算法进行互动确定静态初始用户画像。

根据本发明的一些实施例，步骤S1可包括：获取5G消息终端采集的历史5G消息，以基于所述历史5G消息指示的目标用户的历史交互行为确定所述目标用户的静态初始用户画像，包括：从所述目标用户的历史交互行为中抽取实体信息，以确定浏览实体特征

，其中，所述交互动作包括文本输入类型交互动作、以及非文本输入类型交互动作以及，基于所述实体信息的推送频率，确定所述实体信息的推送频率特征/>

。

在本实施例中，交互动作与交互行为所包含的类型相同，这里仅是用于区分二者命名，交互动作可以包括：非文本输入类型的交互动作，包括但是不限于在5G消息体内通过点击、输入、浏览、滑动等行为浏览和阅读5G消息。文本输入类型交互动作可以包括但是不限于，在文本框中输入短信文本。

可以从5G消息中抽取核心的实体信息，进而将实体信息由128维的向量进行刻画，用于表示该用户在每个实体信息上的偏好程度，向量取值可以由“BERT和Word2vec联合模型”生成，也可以采用其他文本向量生成算法生成，在此不做限定。例如，用户在历史浏览过程中较为喜欢“蓝牙模组”相关的内容信息，则

时刻可表示为：

同时，用户历史浏览中表示不喜欢“医疗器械”相关的内容信息，则可表示为：

。

示例性地，根据本发明的一些实施例，可根据BERT和word2vec的联合模型BERT_word2vec来确定浏览实体特征信息。BERT（Bidirectional Encoder Representationsfrom Transformers）模型是在双向编码器的基础上实现的，可将输入的文本转化为向量表示。Word2vec为将词语转化为向量的工具包。

进一步的，浏览偏好特征用于刻画用户对每一个实体信息近Y次（比如10次）的浏览偏好权重。在本实施例中，可以通过赋值的方式得到浏览偏好特征。示例性地，如果5G消息终端采集到用于指示目标用户对实体信息的浏览兴趣，则基于浏览兴趣信息确定赋值，得到特征值。

比如，用户对“蓝牙模组”实体表现出明确的浏览兴趣，如点击、浏览、详情页上下滑动、文字输入包含“喜欢、只看、推送”等关键词，则当次浏览偏好特征记录为1。反之，如果用户对“医疗器械”实体表现出明确的不感兴趣，如删除、文字输入包含“不喜欢、不推送”等关键词，则当次浏览偏好特征记录为0。其他未明确表示情况下，当前浏览偏好特征记录为0.5。则

时刻蓝牙模组和医疗器械的浏览偏好特征可表示为：

；/>

，这仅仅是示例性地。

进一步地，推送评率特征

，用于刻画当前实体在近X此（如100次）推送行为中的推送频率，可用于调节实体推送过程中“过热”及“过冷”的情况。如/>

时刻前M次推送中，实体信息a被推送了P次，则推送频率特征可表示为：

例如，

时刻前100次推送中，“蓝牙模组”相关的实体被推送了67次，则/>

可表示为：

在得到浏览实体特征

、浏览偏好特征/>

以及推送评率特征/>

后，可以得到/>

时刻某位用户的用户画像可表示为：

；表示128维的浏览实体特征信息，表示10维的浏览偏好特征信息，表示推送频率特征信息，n表示实体的数量。

本实施例基于5G消息除了支持用户滑动、点击、浏览等行为反馈外，还支持用户通过自由文字输入方式与后台系统互动，因此在进行5G消息内容精准推送时，综合考虑了用户在5G消息体内的行为反馈和文字反馈信息。

根据本发明的一些实施例，在步骤S2中，在获得静态初始用户画像后，可基于静态初始用户画像在内容数据库中确定第一推送消息，并推送至目标用户，例如，推送至目标用户的终端设备。

根据本发明的一些实施例，在内容数据库中选择第一推送消息时，可选择与静态初始用户画像匹配的消息，作为第一推送消息。根据如下公式确定所述内容数据库中各个消息的评分：

；

其中，

为/>

时刻第i个消息的评分，/>

为第i个消息的内容集合，g为实体的数量，/>

为所述静态初始用户画像的浏览实体特征信息，/>

为所述静态初始用户画像的浏览偏好特征信息，/>

为所述静态初始用户画像的推送频率特征信息；按照评分，对所述消息进行排序；根据所述排序，确定所述第一推送消息。

上述各个消息的评分公式中，

代表消息i中每一个实体内容分别与浏览实体特征信息和浏览偏好特征信息求解内积，并求和的结果，可表示消息i所有实体内容的正向偏好评分和。/>

代表消息i中每一个实体内容分别与推送频率特征信息求解内积并求和，代表实体内容在最近100次中被推送的频率描述。

代表消息i所有实体内容的正向偏好减去推送频率，可降低某些实体内容被反复推送导致的“过热”问题，softmax函数可将评分归一化。

根据本发明的一些实施例，通过以上公式，可确定每个消息的评分，并可按照评分对消息进行排序，并可将排序的序列中的前m个消息作为第一推送消息，推送至目标用户的5G消息终端。或者，可按照排序的序列依次推送。

在步骤S3中，推送的第一推送消息可能存在一定的偏差，例如，推送的内容不够精准，或者内容的细节不够丰富等。因此本实施例中，5G消息终端可以采集用户输入的5G消息作为修正文本，进而基于修正文本修正用户的静态初始用户画像，从而获得更准确的修正用户画像。例如，修正文本可包括对于用户想看的内容的描述，例如，“仅看XX网站的蓝牙模组的新闻”等。本发明对修正文本的具体内容不做限制。

应当理解的是，在5G消息会话场景中，用户每轮会话主题都不相同，因此不能单纯使用用户历史反馈信息进行用户标签调整，而是结合当前会话轮次内的反馈信息进行精准的意图调整。进而与传统内容推荐算法中通过连续的用户操作行为进行用户标签调整不同。

示例性地，修正文本的类型可以包括递进式修正文本，即在5G消息体内目标用户在推送信息的基础上输入的推送信息更细粒度的修正文本，该修正文本可以用于表示目标用户希望浏览更细粒度的信息，例如，第一推送消息为“蓝牙模组”的消息，用户修正文本为“蓝牙模组芯片”、“蓝牙通信芯片”、“蓝牙通信协议”等。

示例性地，修正文本还可包括否定式修正文本，在5G消息体内目标用户在推送信息的基础上输入的否定推送信息的修正文本，该修正文本可以用于表示目标用户不想看第一推送消息的内容，例如，“不看、不推、不想”等包含否定第一推送消息的语句。例如，“不看蓝牙模组”、“不推蓝牙相关”等。

示例性地，修正文本还可包括筛选式修正文本，在5G消息体内目标用户在推送信息的基础上输入的指示筛选推送信息的修正文本，筛选式修正文本可以通过增加若干筛选逻辑的文本。例如，筛选式修正文本中可包括“只看、只推、只要、除”等信息，例如，“只看最新的新闻”、“只推送XX网上的新闻”等。

根据本发明的一些实施例，所述根据接收到的所述目标用户针对所述第一推送消息的修正文本，对所述静态初始用户画像进行修正，获得修正用户画像包括：根据接收到的所述目标用户针对所述第一推送消息的修正文本，确定所述修正文本的文本向量；根据所述修正文本的所述文本向量，确定用户意图信息；根据所述用户意图信息、所述第一推送消息和所述修正文本，对静态初始用户画像进行修正，获取修正用户画像。

在本实施例中，可首先对修正文本进行预处理，所述预处理可包括分词和去停用词等步骤。分词处理可包括结巴分词处理。结巴分词是基于统计的分词方法的基本原理是根据字符串在语料库中出现的统计频率来决定其是否构成词。词是字的组合,相邻的字同时出现的次数越多,就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映出它们成为词的可信度。例如，当用户在5G消息中输入“只看XX网上蓝牙模组的新闻”。此时，结巴分析会将上述短文本划分为“只|看|XX网|上|蓝牙模组|的|新闻”。

进一步地，预处理还可包括去停用词的步骤，在识别用户意图的过程中，不需要修正文本中的介词、冠词、助词、代词、连词等，因此可利用停用词库对分词后的文本进行去停用词处理。例如，上述短文本分词后得到“只|看|XX网|上|蓝牙模组|的|新闻”，去掉以上停用词后，可获得“只、看、XX网、上、蓝牙模组、新闻”。在进行上述预处理后，可获得标准化的修正文本。

进一步地，在基于上述预处理后的修正文本确定修正文本向量时，可以使用上述的BERT和word2vec的联合模型来确定。BERT（Bidirectional Encoder Representationsfrom Transformers）模型，本质是在双向Transformer编码器的基础上实现的，经过双向Transformer编码将输入向量转化为文本的向量化表示。Word2vec作为一款将词表征为实数值向量的高效工具包，其利用深度学习的思想，可通过训练把对文本内容的处理简化为多维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。

示例性地，可使用BERT模型将目标用户在5G消息体内输入信息转化为文本向量。再使用Word2vec将输入信息的每个字词转换为词向量；而后基于二者输出的向量确定相似度向量，进而进行向量融合得到短文本向量。采用的相似度度量方法为余弦相似度，余弦相似度是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小，它更加注重两个向量在方向上的差异，而非距离或长度上，因此该方法更适合本章向量化后的数据。假设BERT模型的输出向量表示为文本向量

，word2vec训练出/>

，其表示短文本中第/>

个词的词向量，/>

为短文本中词语总数，则短文本中第/>

个词与短文本的相似度/>

、及第

个词对应的权重/>

的计算公式如下：/>

根据本发明的一些实施例，根据所述修正文本的所述文本向量，确定用户意图信息可以包括：根据所述文本向量，获取所述标准化的修正文本中的重要单词信息，包括：通过多头注意力机制对所述文本向量进行处理，获得所述重要单词信息。

图2示例性地示出本发明实施例的多头注意力机制的示意图。由于目标用户在5G消息体内每轮对话过程中用户可能产生多个意图，因此，对话过程中的每个修正文本均对应多个意图标签，然而不同词语对不同意图标签的影响程度不同，为了突出对识别结果具有决定意义的词语，可采用多头注意力机制对修正文本中的不同词语进行权重分配，让不同词语拥有不同的权重，增强多意图识别的正确性。相比于其他注意力机制，多头注意力可以同时获取与多个意图相关的不同词语，从而多角度地获取更重要的词语信息。

根据本发明的一些实施例，如图2所示，可多次输入弹头注意力机制，每个单头相对独立，并将多次注意力结果融合得到最终结果，由此获得与不同意图标签产生关键影响的重要单词信息。注意力机制为查询信息Q到键值对K-V的映射，每个注意力的头部都使用自注意力，寻找序列内部的联系。多头注意力机制的计算方法如下：首先对Q、K、V进行线性变换，然后输入到放缩点积注意力中计算多次，每一次算一个头，头之间的参数不共享，最后将多次的放缩点积注意力结果从左到右进行拼接，再进行一次线性变换得到的注意力矩阵X作为多头注意力的结果。公式如以下所示：

；

其中，Q、K、V分别代表Query矩阵，Key矩阵，Value矩阵且值相等，均为输入的文本向量。

指的是键向量维度的平方根，起到调节作用，控制Q和K的内积不会太大；W是线性变化的参数，每次Q、K、V进行线性变换时W是不一样的；h表示头的数量，i表示第i个注意力头部。

经过多头注意力机制的处理，可保留注意力集中的单词作为重要单词信息，例如，“只、看、XX网、上、蓝牙模组、新闻”仅保留“只、XX网、蓝牙模组、新闻”。

根据本发明一些实施例，根据所述用户意图信息、所述第一推送消息和所述修正文本，对静态初始用户画像进行修正，获取修正用户画像包括：

根据所述用户意图信息，对所述静态初始用户画像的浏览实体特征信息进行修正，获得修正后的浏览实体特征信息；根据所述修正文本，对所述浏览偏好特征信息进行修正，获得修正后的浏览偏好特征信息；根据所述第一推送消息，对所述推送频率特征信息进行修正，获得修正后的推送频率特征信息。

在本实施例中，在

时刻实体a的浏览实体特征/>

，修正的公式如下：

;/>

代表某实体在/>

时刻和/>

时刻的向量矩阵；/>

根据用户短文本中是否有否定式短语取值1或-1；/>

代表当前实体在历史语料中被提及的总的权重和。

示例性地，用户在

时刻“蓝牙模组”的浏览实体特征向量为：

；/>

时刻，用户在短文本中再次提出希望浏览“蓝牙模组”相关的内容，则应按照如下公式更新具体实体的特征向量V。

其中，

代表某实体在/>

时刻和/>

时刻的向量矩阵；/>

根据用户短文本中是否有否定式短语取值1或-1；/>

代表当前实体在历史语料中被提及的总的权重和，调整后/>

时刻“蓝牙模组”的浏览实体特征向量为：

。

进一步地，可基于最近一次修正文本的输入，更新最近m次输入的浏览偏好特征信息，在示例中，

时刻的实体蓝牙模组的浏览偏好特征信息为：/>

，应当理解，偏好特征的取值是基于前述的赋值步骤确定的，这里仅仅是示意性的，不具备限定作用，即其取值是1还是0.5，在此不做限定。

示例性地，例如，用户在

时刻“蓝牙模组”的浏览偏好特征向量为：

；如果，/>

时刻“蓝牙模组”的“递进式短语”中有核心短语，则/>

时刻“蓝牙模组”的浏览偏好特征向量为：/>

。

进一步地，推送频率特征

，可用于调节实体推送过程中“过热”及“过冷”的情况。例如，/>

时刻“蓝牙模组”的/>

可表示为：

时刻“蓝牙模组”的/>

可表示为：

综上，

时刻某位5G消息用户的用户画像变更为：

在得到修正用户画像后，结合“筛选式短语”意图重新为5G消息用户推送新的一批内容。经过多轮会话后，5G消息用户的浏览意图将不断被修正，最终逼近用户真实的浏览意图。

根据本发明一些实施例，根据所述修正文本的所述文本向量，确定用户意图信息包括：根据所述文本向量，获取所述标准化的修正文本中的重要单词信息；对所述重要单词信息进行分类，获得用户意图信息。

在本实施例中，根据所述文本向量，获取所述标准化的修正文本中的重要单词信息包括通过多头注意力机制对所述文本向量进行处理，获得所述重要单词信息。由于目标用户在每轮人机对话过程中用户可能产生多个意图，因此，对话过程中的每个修正文本均对应多个意图标签，然而不同词语对不同意图标签的影响程度不同，为了突出对识别结果具有决定意义的词语，可采用多头注意力机制对修正文本中的不同词语进行权重分配，让不同词语拥有不同的权重，增强多意图识别的正确性。相比于其他注意力机制，多头注意力可以同时获取与多个意图相关的不同词语，从而多角度地获取更重要的词语信息。

根据本发明的一些实施例，可多次输入弹头注意力机制，每个单头相对独立，并将多次注意力结果融合得到最终结果，由此获得与不同意图标签产生关键影响的重要单词信息。注意力机制为查询信息Q到键值对K-V的映射，每个注意力的头部都使用自注意力，寻找序列内部的联系。多头注意力机制的计算方法如下：首先对Q、K、V进行线性变换，然后输入到放缩点积注意力中计算多次，每一次算一个头，头之间的参数不共享，最后将多次的放缩点积注意力结果从左到右进行拼接，再进行一次线性变换得到的注意力矩阵X作为多头注意力的结果。公式如以下所示：

根据本发明的一些实施例，经过多头注意力机制的处理，可保留注意力集中的单词作为重要单词信息，例如，“只、看、XX网、上、蓝牙模组、新闻”仅保留“只、XX网、蓝牙模组、新闻”。

进一步地，对所述重要单词信息进行分类，获得用户意图信息包括：对所述重要单词信息进行编码，获得重要单词向量表示；根据所述重要单词向量表示和历史修正文本，获得历史相似度信息；根据所述历史相似度信息和所述历史修正文本，获得记忆输出信息；根据所述记忆输出信息和所述重要单词向量表示，获得分类状态值；根据所述分类状态值、所述重要单词向量表示和记忆输出信息，获得用户意图信息。

示例性地，可通过BLSTM网络模型对重要单词信息和历史对话信息（即，目标用户的历史输入文本）进行编码，例如，输入128层的神经网络，得到重要单词的向量表示

。将近100轮历史对话信息/>

作为输入变量输入128层的神经网络，得到重要单词的向量表示

。

根据本发明的一些实施例，通过计算当前对话

和历史对话/>

的内积，来表示当前对话与历史对话的相似程度，利用softmax函数将内积内积做归一化，获得历史相似度信息

，/>

作为注意力的概率分布，概率值越大，表明历史信息中的某轮对话与当前的对话内容相似度越高。具体公式如以下公式：

根据本发明的一些实施例，

作为权重，将历史修正文本中的每轮对话乘以其对应的权重，然后再相加得到的新向量/>

即为记忆输出信息，如以下公式：

根据本发明的一些实施例，以上引入了历史修正文本并为其分配了权重，但是历史修正文本中有些对话与当前对话的意图相关，也有些对话与当前对话的意图无关，如果无差别的引入会出现引入很多噪声的情况，这会对目标用户的当前的修正文本的意图判别产生负面影响。因此，需要对历史信息有一定的筛选能力，过滤掉无用的历史信息。可根据以下公式确定分类状态值：

其中，

是门函数/>

的线性变化的参数向量，/>

是第/>

个记忆输出信息，向量/>

为函数产生的状态值，其取值在0到1之间，当/>

接近0，表示当前修正文本的意图识别不需要参考历史修正文本；当/>

接近1，表示当前修正文本的意图识别需要参考修正文本。

根据本发明的一些实施例，可根据所述分类状态值、所述重要单词向量表示和记忆输出信息，获得用户意图信息

，如以下公式所示：

其中，

为线性变换函数，/>

是预测的用户意图信息，其维度就是标注的意图标签维度。

根据本发明的一些实施例，基于以上分类，可确定各个重要单词的意图分类，如以下表1所示：

表1用户意图信息

图3示例性地示出本发明实施例的分类模型的示意图，在示例中，重要单词信息保持了目标用户输入的修正文本的语序，可使用具有记忆功能的BLSTM网络模型对重要单词信息进行特征分类。在示例中，可为重要单词信息分类为“递进式短语、否定式短语、筛选式短语、产品|技术|领域类短语、其他”5种类别。

通过BLSTM网络模型对重要单词信息和历史对话信息（即，目标用户的历史输入文本）进行编码，并通过记忆模块基于BLSTM网络模型输出的编码信息（重要单词信息的编码和历史输入文本的编码）确定重要单词信息的编码的权重信息，并通过门控模块对全指信息、重要单词信息的编码和上一轮用户输入的编码信息进行拼接，从而获得用于分类的向量，即，分类信息。分类器可对分类信息进行处理，获得各个重要单词的分类。本实施例结合当前会话轮次内的反馈信息实现了精准的标签调整。

本实施例通过上述方式得到了修正用户画像，进而可以在内容数据库中确定第二推送消息，并以5G消息形式推送至所述目标用户。

在本实施例中，当目标用户基于5G消息进行多轮人-机（如CSP平台）会话后，系统不断修正用户画像，逼近用户真实的浏览意图，进而实时推送更精确的信息。示例性地，在修正期间、或者是在当前会话轮次下，监听5G消息终端是否采集到了用户输入的修正文本，如果采集到修正文本，则基于修正文本更新用户意图，进而基于更新的用户意图可以进一步更新推送消息。当

时刻系统推送的内容数据集，用户表示满意，则其可能不再输入修正短文本，5G消息终端采集不到最新的修正文本、或者5G消息终端检测到用户触发了如“查看更多”的按钮，则/>

时刻用户画像将被临时固定下来，作为5G消息推送依据；而后当前轮次的会话过程中的5G消息推送结束。

根据本发明的实施例的基于多轮会话意图识别的5G消息推送方法，可基于目标用户的修正文本来识别目标用户的意图，并调整用户画像，进而可基于动态调整后的用户画像来更准确地推送用户感兴趣的内容，提升对于用户反馈的利用率，提升推送准确性以及内容的针对性，并提升用户获得与其意图匹配的信息的效率，提升用户体验。

本实施例基于5G消息特有的交互形式，即用户可以对同一条消息进行多轮会话，而在多时段的多轮会话场景下，本实施例通过上述方法通过多阶学习不断进行算法调优，最终实现5G消息内容推荐质量提升。解决了相关技术中,基于固定短信进行静态画像实现推送，而无法实时更新5G消息体内的推送内容，无法实现对多轮会话进行利用。

本实施例具有如下优点：

1、针对性强：传统意图识别算法大多针对开放域内的文本、对话、语音意图识别，针对5G消息多轮短文本交互场景的算法并不多见。本实施例依托5G消息特有的多轮短文本对话交互模式，针对性的设计了5G消息用户精准内容推送模式，在5G消息服务领域内具有较强的针对性及适用性。

2、效率更高：传统移动端内容推荐算法多依赖于用户在终端上浏览、点击、滑动等交互行为，用户画像调整及收敛需要花费更长的时间。本发明依托短文本内核心短语的识别和过滤机制，能够在更短的时间内逼近用户真实的浏览意图，与传统内容推荐算法相比有较为明显的优势。

3、质量更好：本发明基于5G消息用户在多轮会话中输入短文本的解析，实现了3个细分画像维度，5种核心短语表示意图，相较于传统的深度学习算法，显著提升了模型解释性和推送质量。

图4示例性地示出本发明实施例的基于多轮会话意图识别的5G消息推送装置的框图，如图4所示，所述装置包括：

静态初始用户画像模块11，用于获取5G消息终端采集的历史5G消息，以基于所述历史5G消息指示的目标用户的历史交互行为确定所述目标用户的静态初始用户画像；

第一推送模块12，根据所述静态初始用户画像，在内容数据库中确定第一推送消息，并推送至所述目标用户；

修正模块13，用于基于从所述5G消息终端采集到的所述目标用户针对所述第一推送消息的修正文本，对所述静态初始用户画像进行修正，获得修正用户画像；

第二推送模块14，用于根据所述修正用户画像，在所述内容数据库中确定第二推送消息，并以5G消息形式推送至所述目标用户。

根据本发明的一些实施例，还包括：实时监听所述5G消息终端采集是否采集到实时修正文本；如果收到实时修正文本，则基于所述实时修正文本实时修正当前用户画像，以实时更新推送消息。

根据本发明的一些实施例，基于所述历史5G消息指示的目标用户的历史交互行为确定所述目标用户的静态初始用户画像，包括：从所述目标用户的历史交互行为中抽取实体信息，以确定浏览实体特征

；以及，基于所述实体信息的推送频率，确定所述实体信息的推送频率特征

。

根据公式

，确定所述内容数据库中各个消息的评分，其中，/>

为/>

时刻第i个消息的评分，

为第i个消息的内容集合，g为实体的数量，/>

为所述静态初始用户画像的浏览实体特征信息，/>

为所述静态初始用户画像的浏览偏好特征信息，/>

为所述静态初始用户画像的推送频率特征；

按照评分，对所述消息进行排序；

根据所述排序，确定所述第一推送消息。

根据本发明的一些实施例，所述根据接收到的所述目标用户针对所述第一推送消息的修正文本，对所述静态初始用户画像进行修正，获得修正用户画像包括：

根据所述修正文本的所述文本向量，确定用户意图信息；

根据本发明的一些实施例，所述根据所述用户意图信息、所述第一推送消息和所述修正文本，对所述静态初始用户画像进行修正，获取修正用户画像，包括：

本发明可以是方法、装置、设备和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。