CN113094578B - 基于深度学习的内容推荐方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能的分类模型领域，本发明公开了一种基于深度学习的内容推荐方法、装置、设备及存储介质，所述方法包括：通过获取待推荐数据；通过角色分离处理，分离出用户语音数据，同时运用快速匹配算法，爬取人际关系图谱；对用户语音数据进行语音情感识别和文字表情识别，得到情感识别结果；通过基于深度学习的客户画像模型进行分类识别，得到画像结果；通过推荐时间分析和标签分析，分别得到时间推荐结果内容标签结果；最终确定内容推荐结果，并按照时间推荐结果向用户推荐。因此，本发明实现了基于多维数据的深度学习自动识别推荐时间和内容标签，能够在恰当时间推荐用户需要的内容，提升了推荐的有效性和准确性。

Description

基于深度学习的内容推荐方法、装置、设备及存储介质

技术领域

本发明涉及人工智能的分类模型技术领域，尤其涉及一种基于深度学习的内容推荐方法、装置、设备及存储介质。

背景技术

随着移动互联网快速发展，人们越来越多在电商平台购买物品，但是电商平台的产品种类太多，无暇一一过目，往往会在购买过程中，与电商平台的客服人员进行聊天，获取电商平台中需要的信息，在聊天过程中，由于客服人员对电商平台的掌握情况，会存在不能满足客户的情况出现，造成客户的情绪会出现愤怒和埋怨，不利于客户的满意度，就会流失客户，为了挽留这些客户需要在恰当的时间推荐合适的内容，现有的技术方案往往是客服人员盲目的联系客户，成效低，甚至会更加降低客户的满意度。

发明内容

本发明提供一种基于深度学习的内容推荐方法、装置、计算机设备及存储介质，实现了能够自动在恰当的时间向用户推荐关注或者合适的内容，提高用户的体验满意度，并且提升了内容推荐的有效性和准确性。

一种基于深度学习的内容推荐方法，包括：

获取与用户的用户标识码关联的待推荐数据；所述待推荐数据包括历史聊天数据、社会属性数据和访问行为数据；

对所述历史聊天数据进行角色分离处理，分离出用户语音数据，同时运用快速匹配算法，根据所述社会属性数据，爬取与用户标识码关联的人际关系图谱；

对所述用户语音数据进行语音情感识别和文字表情识别，得到与用户标识码关联的情感识别结果；

通过基于深度学习的客户画像模型对所述访问行为数据和所述社会属性数据进行分类识别，获取所述客户画像模型输出的与所述用户标识码关联的画像结果；

对与用户标识码关联的所述社会属性数据和所述情感识别结果进行推荐时间分析，得到时间推荐结果，同时对与所述用户标识码关联的所述人际关系图谱和所述画像结果进行标签分析，得到内容标签结果；

根据所述情感识别结果和所述内容标签结果，确定内容推荐结果，并将所述内容推荐结果按照时间推荐结果向所述用户推荐。

一种基于深度学习的内容推荐装置，包括：

获取模块，用于获取与用户的用户标识码关联的待推荐数据；所述待推荐数据包括历史聊天数据、社会属性数据和访问行为数据；

爬取模块，用于对所述历史聊天数据进行角色分离处理，分离出用户语音数据，同时运用快速匹配算法，根据所述社会属性数据，爬取与用户标识码关联的人际关系图谱；

识别模块，用于对所述用户语音数据进行语音情感识别和文字表情识别，得到与用户标识码关联的情感识别结果；

画像模块，用于通过基于深度学习的客户画像模型对所述访问行为数据和所述社会属性数据进行分类识别，获取所述客户画像模型输出的与所述用户标识码关联的画像结果；

分析模块，用于对与用户标识码关联的所述社会属性数据和所述情感识别结果进行推荐时间分析，得到时间推荐结果，同时对与所述用户标识码关联的所述人际关系图谱和所述画像结果进行标签分析，得到内容标签结果；

推荐模块，用于根据所述情感识别结果和所述内容标签结果，确定内容推荐结果，并将所述内容推荐结果按照时间推荐结果向所述用户推荐。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于深度学习的内容推荐方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的内容推荐方法的步骤。

本发明提供的基于深度学习的内容推荐方法、装置、计算机设备及存储介质，通过角色分离技术分离出用户语音数据，并运用快速匹配算法和爬取技术爬取出人际关系图谱，以及运用语音情感识别和文字表情识别的技术对用于语音数据进行识别，再通过深度学习的客户画像模型对用户的社会属性数据进行画像，得到画像结果，最后通过推荐时间分析和标签分析，分析出用户的内容标签结果，以及根据情感识别结果和内容标签结果确定出内容推荐结果，并将其按照时间推荐结果向所述用户推荐，能够基于用户的历史聊天数据、社会属性数据和访问行为数据等多维度的数据，并基于多维数据的深度学习技术自动识别出推荐时间和内容标签，能够在恰当的推荐时间推荐与内容标签结果匹配的内容，因此，实现了自动在恰当的时间向用户推荐关注或者合适的内容，从而提高用户的体验满意度，并且提升了内容推荐的有效性和准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于深度学习的内容推荐方法的应用环境示意图；

图2是本发明一实施例中基于深度学习的内容推荐方法的流程图；

图3是本发明一实施例中基于深度学习的内容推荐方法的步骤S20的流程图；

图4是本发明另一实施例中基于深度学习的内容推荐方法的步骤S20的流程图；

图5是本发明一实施例中基于深度学习的内容推荐方法的步骤S30的流程图；

图6是本发明一实施例中基于深度学习的内容推荐方法的步骤S40的流程图；

图7是本发明一实施例中基于深度学习的内容推荐方法的步骤S50的流程图；

图8是本发明另一实施例中基于深度学习的内容推荐方法的步骤S50的流程图；

图9是本发明一实施例中基于深度学习的内容推荐装置的原理框图；

图10是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的基于深度学习的内容推荐方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

所述基于深度学习的内容推荐方法由客户端或者服务端执行。

在一实施例中，如图2所示，提供一种基于深度学习的内容推荐方法，其技术方案主要包括以下步骤S10-S60：

S10，获取与用户的用户标识码关联的待推荐数据；所述待推荐数据包括历史聊天数据、社会属性数据和访问行为数据。

可理解地，在用户通过移动终端进行语音沟通或者聊天时，可以通过电话号码或者在应用程序平台中登录注册的唯一码标识码建立连接沟通，其中，一个所述用户与一个唯一所述用户标识码关联，所述用户标识码为用户的电话号码，或者通过登录注册的唯一标识码查找到与该唯一标识码对应的电话号码，所述待推荐数据为需要向关联的用户进行内容推荐的待处理的数据，所述待推荐数据包括所述历史聊天数据、所述社会属性数据和所述访问行为数据，所述历史聊天数据为在预设时间段内与用户之间的沟通采集到的所有音频数据，所述社会属性数据为与用户的社会活动中记录的相关属性的数据，比如所述社会属性数据包括基础属性数据和工作属性数据等等，所述基础属性数据包含用户的基本特征相关的信息，比如用户的性别、年龄、婚姻情况，家庭情况等等，所述工作属性数据包含用户的社会性质的信息，比如职业、收入情况、公司、通话号码清单等等，所述访问行为数据为用户在互联网上访问页面相关的数据，比如用户在页面停了多次时间、点击页面按钮的次数、打开了的页面主题、登录查看广告的时间等等数据。

S20，对所述历史聊天数据进行角色分离处理，分离出用户语音数据，同时运用快速匹配算法，根据所述社会属性数据，爬取与用户标识码关联的人际关系图谱。

可理解地，所述角色分离处理为对所述历史聊天数据进行音频分割，并进行语音识别，识别出角色标签为用户标签的分割文件，并将识别的分割文件按照时间顺序顺次连接得到用户语音数据的处理过程，所述爬取的过程为在互联网中爬取与所述社会属性数据相关的页面的过程，在一实施例中，运用快速匹配算法，从互联网中爬取出包含有所述用户标识码(即电话号码)和所述社会属性数据的页面，并从这些页面中爬取出与所述用户存在家庭关系的电话号码(即夫妻、子女及亲戚关系的电话号码，并赋予最高的权重比)或者社会交集关系的电话号码(即相同公司的同事的电话号码，并赋予预设的权重比)或者通话交集关系的用户，其中通话交集关系为家庭关系的电话号码或者社会交集关系的电话号码通话频繁或者通话过的关系赋予最高的权重比与所述预设的权重比之间的不同梯度的权重比，将爬取出的电话号码对应的用户确定为该用户的所述关系人，将其与所述用户关联，根据爬取的各所述关系人和其对应的权重比，搭建与所述用户关联的所述人际关系图谱，所述人际关系图谱为以所述用户为中心，根据权重比的梯度不断向外扩展，并以网状结构的构建方式构建的图谱。

在一实施例中，如图3所示，所述步骤S20中，即所述对所述历史聊天数据进行角色分离处理，分离出用户语音数据，包括：

S201，对所述历史聊天数据进行音频分割，得到多个分割文件。

可理解地，所述音频分割的过程为运用音频分割技术，对所述历史聊天数据进行分割，所述音频分割技术为在所述历史聊天数据中的每句话之间会存在停顿的时间段或者时间点，即没有声纹的时间段或者时间点，根据没有声纹的时间段或者时间点对所述历史聊天数据进行分割，分割成多段所述分割文件的技术，所述分割文件为相邻两个停顿的时间段或者时间点之间的语音文件。

S202，对所有所述分割文件进行语音识别，识别出各所述分割文件的角色标签；所述角色标签包括用户标签。

可理解地，所述语音识别的过程为对各所述分割文件进行语音识别，即识别出各所述分割文件的语音特征(MFCC特征)，每段语音文件被分为很多帧，每帧语音都对应于一个频谱(通过短时FFT计算)，频谱表示频率与能量的关系，即通过对语音进行分帧进行时频变换，得到每一帧的FFT频谱再将各帧频谱按照时间顺序排列起来，得到时间-频率-能量分布图，即频谱图，通过频谱图可以很直观的表现出语音信号随时间的频率中心的变化，通过基于神经网络方法的语音识别技术，识别出的语音特征中会存在与客服的语音特征相符的特征，将与客服相符的特征标记为该所述历史聊天数据中的客服标签，收集了所有当前客服的语音特征，将标记为客服标签的分割文件进行剔除，并提取剔除后的分割文件中的语音特征，将提取出的语音特征确定为用户的语音特征，并将剔除后的分割文件标记用户标签。

其中，所述角色标签包括客服标签和所述用户标签，所述客服标签表明了在沟通过程中客服单独发声的分割文件赋予的标签，所述用户标签表明了在沟通过程中用户发生的分割文件赋予的标签。

S203，将所有与所述角色标签为用户标签对应的所述分割文件进行顺次拼接，得到所述用户语音数据。

可理解地，按照时间序列的顺序，将所有标为所述用户标签的所述分割文件进行顺次拼接，得到所述用户语音数据，所述用户语音数据为只有用户发声的分割文件的集合的数据。

本发明实现了通过对所述历史聊天数据进行音频分割，得到多个分割文件；对所有所述分割文件进行语音识别，识别出各所述分割文件的角色标签；所述角色标签包括用户标签；将所有与所述角色标签为用户标签对应的所述分割文件进行顺次拼接，得到所述用户语音数据，如此，实现了通过音频分割技术，从所述历史聊天数据中分割出仅用户的分割文件，去除客服的分割文件，并且按照聊天的时间顺序拼接，从而得到有用的用户语音数据，为后续识别用户的情感提供了有效的数据，提高了情感识别的准确性。

在一实施例中，如图4所示，所述步骤S20中，即所述运用快速匹配算法，根据所述社会属性数据，爬取与用户标识码关联的人际关系图谱，包括：

S204，根据所述用户标识码和所述社会属性数据，组成多个词条信息。

可理解地，在所述用户属性库中查找与所述用户标识码对应的词条名，所述词条名为对与所述用户标识码对应的用户名转换成的字符串，按照模式层为“实体-属性-性值”的三元组模式，对所述词条名和所述社会属性数据中的各个属性及其属性值进行组合，将所述词条名作为“实体”，将所述社会属性数据中的各个属性及其属性值作为“属性-性值”，组成多个三元组模式的所述词条信息。

S205，运用快速匹配算法，爬取与所述词条信息匹配的待抽取页面。

可理解地，将各个所述词条信息进行字符串转换，将文字和数值转换成字符串格式，得到与各个所述词条信息一一对应的字符串词条信息，所述字符串词条信息包括三组字符串组，运用所述快速匹配算法，从互联网中根据各个所述字符串词条信息进行爬取，爬取出包含有任一所述字符串词条信息的所述待抽取页面，所述待抽取页面为包含有任一所述字符串词条信息的页面。

其中，所述快速匹配算法也称为KMP算法，即将所述字符串词条信息中的各组字符串组作为一个模式字符串，将互联网中的页面中的内容转换成多组字符串，将其作为主字符串，在模式字符串和主字符串查找匹配时，各有一个指针指向当前进行匹配的字符(主字符串中是指针i，模式字符串中是指针j)，在保证i指针不回溯的前提下，就只能让j指针回溯，其中，主字符串为需匹配的字符串，即所述指令数据，模式字符串为被匹配的字符串，即所述更新指令，i为主字符串中记录匹配进度的指针，j为指针回溯的距离，相当于模式字符串向右移动的距离，即当某字符匹配失败后，j指针回溯的位置，对于一个给定的模式字符串，其中，每个字符都有可能会遇到匹配失败，这时对应的j指针都需要回溯，具体回溯的位置由模式字符串本身来决定的，和主字符串没有关系，模式字符串中的每个字符所对应j指针回溯的位置，可以通过算法得出，得到的结果相应地存储在一个数组中(默认数组名为next)，该算法为对于模式字符串中的某一字符来说，提取它前面的字符串，分别从字符串的两端查看连续相同的字符串的个数，在其基础上“+1”，结果就是该字符对应的j值，每个模式串的第一个字符对应的值为0，第二个字符对应的值为1，例如：求模式字符串“abcabac”的next，前两个字符对应的0和1是固定的，对于字符‘c’来说，提取字符串“ab”，‘a’和‘b’不相等，相同的字符串的个数为0，0+1＝1，所以‘c’对应的next值为1；第四个字符‘a’，提取“abc”，从首先‘a’和‘c’就不相等，相同的个数为0，0+1＝1，所以，‘a’对应的next值为1；第五个字符‘b’，提取“abca”，第一个‘a’和最后一个‘a’相同，相同个数为1，1+1＝2，所以，‘b’对应的next值为2；第六个字符‘a’，提取“abcab”，前两个字符“ab”和最后两个“ab”相同，相同个数为2，2+1＝3，所以，‘a’对应的next值为3；最后一个字符‘c’，提取“abcaba”，第一个字符‘a’和最后一个‘a’相同，相同个数为1，1+1＝2，所以‘c’对应的next值为2；所以，字符串“abcabac”对应的next数组中的值为(0，1，1，1，2，3，2)，所述快速匹配算法和普通的匹配算法都是从主字符串开头开始匹配，但是在匹配过程中，所述快速匹配算法记录了一些必要的信息，根据该信息，在后续的匹配过程中，跳过了无意义的匹配过程，例如：主字符串为“ababcabcacbab”，模式字符串为“abcac”，模式字符串对应的next值为(0，1，1，1，2)，匹配的过程为在匹配失败的时候，i指针不动，j指针根据其在next值中对应的值进行回退到指定位置，如此，可以发现快速匹配算法只需要匹配3次，而普通的查找算法需要匹配6次，因此，所述快速匹配算法比普通的查找算法速度要快，从而可以加快爬取的速度。

S206，通过开放信息抽取原型算法对所有所述待抽取页面进行信息抽取，抽取出与所述用户关联的关系人以及与其对应的文本对象。

可理解地，所述开放信息抽取原型算法为训练完成的基于自监督学习方式和TextRunner的信息抽取的算法，所述开放信息抽取原型算法为运用自监督学习方式(Self-Supervised Learner)，学习生成一个贝叶斯分类器，判断可信关系，过程中运用命名实体识别(Named Entity Recognition，简称NER)对所有所述待抽取页面进行实体识别，识别出与所述用户关联的关系人，并统计发生在不同所述待抽取页面的句子中的频次，保留高频的文本结果作为所述文本对象，所述贝叶斯分类器实现了通过输入一句话，对生成所有可能的候选三元组进行判别，保留可信的三元组的句子的功能，所述贝叶斯分类器首先，对各所述待抽取页面中的句子进行词性标注；然后，使用名词短语识别，识别名词短语之间的实体和与该页面匹配的所述词条信息的词语作为关系表示；最后，进行分类，判别构成的候选三元组是否可信，将与可信的候选三元组对应的句子保留，作为所述文本对象，所述候选三元组为按照“第一实体，名词短语，第二实体”的三元组模式组成的三元组，所述实体识别为识别出人名的实体类别的提取过程。

S207，通过关系人构建模型对各所述文本对象进行针对与其对应的所述关系人的关系语义识别，构建所述人际关系图谱。

可理解地，所述关系人构建模型为训练完成的基于BERT和BiLSTM模型架构的构建模型，通过关系人构建模型对所述文本对象进行关系语义识别，识别出与其对应的所述关系人之间的关系，并根据识别出的关系赋予该关系人的权重比，所述关系语义识别为提取所述文本对象中的关系语义特征，并根据提取的所述关系语义特征进行识别出关系的类别的识别过程，所述关系语义特征为具有与人际关系相关的语义的特征，运用基于BERT和BiLSTM模型架构进行关系语义识别能够更加准确地识别出所述用户与所述关系人之间的关系，根据识别出与其对应的所述关系人之间的关系，赋予该关系人相应的权重比，以及构建出所述用户标识码、识别出的与所述关系人的关系和包含有权重比的所述关系人的三元组，从而将所有构建的所述三元组构建出所述人际关系图谱。

本发明实现了通过根据所述用户标识码和所述社会属性数据，组成多个词条信息；运用快速匹配算法，爬取与所述词条信息匹配的待抽取页面；通过开放信息抽取原型算法对所有所述待抽取页面进行信息抽取，抽取出所述关系人以及与其对应的文本对象；通过关系人构建模型对各所述文本对象进行针对与其对应的所述关系人的关系语义识别，构建所述人际关系图谱，如此，实现了通过快速匹配算法、开放信息抽取原型算法以及关系人构建模型，自动爬取出各个关系人，以及识别出其关系，并赋予各个关系人相应的权重比，最终构建出该用户标识码的人际关系图谱，提高了爬取的速度，以及识别的准确率和效率。

S30，对所述用户语音数据进行语音情感识别和文字表情识别，得到与用户标识码关联的情感识别结果。

可理解地，所述语音情感识别为对输入的频谱图进行所述音频情感特征的提取，对提取的所述音频情感特征进行基于CNN的神经网络模型的卷积，并应用注意力机制技术对各个卷积输出的特征向量图进行加权融合，以及对融合后的特征向量进行识别的过程，所述基于CNN的神经网络模型是通过极限学习(Extreme Learning Machine，ELM)的方法进行学习语音情感识别获得的模型，所述极限学习为前馈神经网络构建的学习方法，所述文字表情识别为识别出输入的分割文件文本内容，对文本内容进行情感语义特征和问题语义特征的提取，并识别提取的情感语义特征和问题语义特征，从而识别出标有情感标签的文本内容和具有提问语义的问题内容，通过映射匹配关系匹配出回答所有问题内容的应答结果的过程。

其中，所述情感识别结果包括情感标识结果和与所述情感标识结果对应的情感文本以及应答内容，所述情感标识结果表征了所述用户语音数据中的所述用户的情感，所述情感标识结果包括喜悦、兴奋、平和、生气和愤怒，所述情感文本为在所述用户语音数据中文本表达的情感与所述情感标识结果相一致的文本内容，所述应答内容为将所有回答所述用户语音数据中的具有提问语义的问题的应答结果。

在一实施例中，如图5所示，所述步骤S30中，所述对所述用户语音数据进行语音情感识别和文字表情识别，得到与用户标识码关联的情感识别结果，包括：

S301，对所述用户语音数据进行预处理，得到待处理数据。

可理解地，对所述用户语音数据中的频谱图进行傅里叶变换，过滤所述用户语音数据，从而得到所述待处理数据，能够过滤掉一些噪音和让频谱图更加平滑。

S302，对所述待处理数据进行音频情感特征提取，并对提取的所述音频情感特征进行识别，识别出情感结果。

可理解地，所述音频情感特征包括提取时域特征和频域特征，所述时域特征为在时域维度上情感变化相关的特征，所述频域特征为在频域维度上情感变化的相关特征，通过情感变化可以识别出用户的情感，通过对提取的所述音频情感特征进行基于CNN的神经网络模型的卷积，并应用注意力机制技术对各个卷积输出的特征向量图进行加权融合，以及对融合后的特征向量进行识别出所述情感结果，所述情感结果包括喜悦、兴奋、平和、生气和愤怒的概率分布，所述情感结果表征了通过频谱图的音频情感特征上识别出情感的概率分布的结果。

S303，对所述待处理数据进行文本识别，得到文本结果。

可理解地，所述文本识别即为语音识别(Automatic Speech Recognition，ASR)，是以语音为研究对象，通过语音信号处理和语音的特征自动识别出文本内容，所述语音识别技术就是把语音信号转变为相应的文本的技术，通过所述文本识别技术，可以将所述待处理数据转换成文本内容，即用户所说的所有文本内容，得到所述文本结果。

S304，对所述文本结果中的各单元句进行情感语义特征提取，根据提取的各所述单元句中的所述情感语义特征，识别出各所述单元句的情感标签和文本内容。

可理解地，由于所述用户语音数据是各个所述分割文件拼接而成，所以所述文本结果中包含识别出与各个分割文件对应的单元句，对各个所述单元句进行情感语义特征提取，所述情感语义特征为文本中具有情感的特征，从而根据提取的所述情感语义特征，识别出各个所述单元句的情感标签，并在所述单元句中的文本内容上标注，所述情感标签包括喜悦、兴奋、平和、生气和愤怒，其中，所述平和的情感标签表示没有情感变化，属于平常的情感。

S305，根据所述情感结果和所有所述情感标签，确定出所述情感识别结果中的情感标识结果。

可理解地，对所述情感结果和所有所述情感标签进行加权平均，确定出对所述情感识别结果，例如：情感结果为喜悦、兴奋、平和、生气和愤怒的概率分布，其中，生气的概率靠前，所有所述情感标签包括平和、生气和愤怒，将喜悦、兴奋、平和、生气和愤怒的各个因素进行加权平均，并将平和的权重设置为零，从而可以确定出所述情感识别结果中的情感标识结果为生气。

S306，将与所述情感标识结果一致的所述情感标签对应的所述单元句中的所述文本内容进行汇总，得到所述情感识别结果中的情感文本。

本发明实现了通过对所述用户语音数据进行预处理，得到待处理数据；对所述待处理数据进行音频情感特征提取，并对提取的所述音频情感特征进行识别，识别出情感结果；对所述待处理数据进行文本识别，得到文本结果；对所述文本结果中的各单元句进行情感语义特征提取，根据提取的各所述单元句中的所述情感语义特征，识别出各所述单元句的情感标签和文本内容；根据所述情感结果和所有所述情感标签，确定出所述情感识别结果中的情感标识结果；将与所述情感标识结果一致的所述情感标签对应的所述单元句中的所述文本内容进行汇总，得到所述情感识别结果中的情感文本，如此，通过提取音频情感特征，识别出待推荐语音数据的情感结果，以及通过文本识别技术，识别出文本结果，并且通过提取情感语义特征识别出各单元句的情感标签和文本内容，并确定出情感标识结果，以及情感文本，因此，实现了通过音频情感特征识别、文本识别技术、情感语义特征识别以及问题识别，自动识别出针对用户语音数据的情感识别结果。

S40，通过基于深度学习的客户画像模型对所述访问行为数据和所述社会属性数据进行分类识别，获取所述客户画像模型输出的与所述用户标识码关联的画像结果。

可理解地，所述客户画像模型为训练完成的且基于深度学习的神经网络模型，所述客户画像模型的网络结构可以根据需求设定，比如所述客户画像模型的网络结构可以为KNN、贝叶斯、CNN的网络结构，所述分类识别为对所述社会属性数据进行人群特征提取，得到一阶人群分类结果，再对所述一阶人群分类结果和所述访问行为数据进行指标分析，确定出用户的画像标签分布的过程，所述画像结果为用户在各个画像标签的概率分布的结果。

在一实施例中，如图6所示，所述步骤S40中，即所述通过基于深度学习的客户画像模型对所述访问行为数据和所述社会属性数据进行分类识别，获取所述客户画像模型输出的与所述用户标识码关联的画像结果，包括：

S401，通过所述客户画像模型中的一阶指标细分模型对所述社会属性数据进行人群特征提取，得到一阶人群分类结果。

可理解地，所述人群特征为提取出人群的分类的相关特征，所述人群特征提取为提取出人群之间的属性差异的特征的过程，所述人群特征提取可以包括人群特征探索、决策树算法中的分析及路径还原，所述人群特征探索包括人群密度聚类和人群特征聚类，所述一阶人群分类结果为一种人群类型，即全文中一阶人群种类中的一种人群类型。

其中，所述一阶人群聚类模型可以为基于密度聚类和决策树算法的聚类模型，也可以为基于层次聚类和BP神经网络的聚类模型，所述一阶人群聚类模型能够实现根据社会属性数据自动提取人群特征，并且根据提取的人群特征进行分类，输出用户的人群类型。

S402，通过所述客户画像模型中的二阶指标细分模型对所述一阶人群分类结果和所述访问行为数据进行指标分析，确定出与所述用户对应的画像结果。

可理解地，所述一阶人群分类结果为一种人群类型，即全文中一阶人群种类中的一种人群类型，所述二阶指标细分模型为构建完成的用户细分的聚类模型，所述二阶指标细分模型能够实现根据获取的所述一阶人群分类结果中的人群类型和所述访问行为数据进行指标分析，能够分析及匹配出用户的画像标签，从而确定出与所述用户对应的画像结果，所述画像结果标注出所述用户的偏好。

本发明实现了通过一阶指标细分模型，对社会属性数据进行人群特征提取输出一阶人群分类结果，以及通过二阶指标细分模型结合一阶人群分类结果和访问行为数据进行指标分析确定用户的画像结果，能够准确地对用户进行画像，自动识别出用户的画像标签，为后续的内容推荐提高准确性和有效性，提升了用户的体验满意度。

S50，对与用户标识码关联的所述社会属性数据和所述情感识别结果进行推荐时间分析，得到时间推荐结果，同时对与所述用户标识码关联的所述人际关系图谱和所述画像结果进行标签分析，得到内容标签结果。

可理解地，所述推荐时间分析为针对所述社会属性数据中的时间维度和所述情感识别结果中的情感标识结果及其对应的情感文本，特别是针对所述情感文本中的时间内容，匹配出推荐的时间，例如：在所述情感标识结果为生气，其情感文本中包含中午，所述社会属性数据中的工作时间为8:30至12:00和13:30至17:30，则通过将中午时间段和工作时间上去除，则匹配出17:31至19:00这段时间为最佳的推荐时间，将其确定为所述时间推荐结果。

其中，所述标签分析为根据所述人际关系图谱中各关系人与所述用户的层级关系，对各关系人对应的画像标签进行加权，并结合所述画像结果，运用聚合方法识别出内容标签结果的分析过程。

在一实施例中，如图7所示，所述步骤S50中，即所述对与用户标识码关联的所述社会属性数据和所述情感识别结果进行推荐时间分析，得到时间推荐结果，包括：

S501，对所述社会属性数据进行时间轨迹分析，得到与所述用户标识码对应的时间清单。

可理解地，所述时间轨迹分析为对所述社会属性数据中的时间维度进行提取，并进行时间段标记分析出各个时间段的标签，输出该用户的时间清单的过程，所述时间清单为该用户的一天预估的时间分布表单。

S502，对所述情感识别结果中的所述情感文本进行时间特征识别，识别出所述情感文本中的时间结果。

可理解地，所述时间特征识别指从所述情感文本中提取出时间的关键词的文本，识别出具有时间性质的文本内容，将其确定为所述情感文本中的所述时间结果。

S503，根据所述时间清单和所述时间结果，分析出所述时间推荐结果；所述时间推荐结果表明了推荐给所述用户的时间段。

可理解地，根据所述时间清单和所述时间结果，标记出空闲的时间段，从而分析出所述时间推荐结果，例如：所述时间清单为工作时间为8:30至12:00和13:30至17:30，路途时间为7:00至8:29和17:31至19:00，在所述情感标识结果为生气，其情感文本中包含中午，则时间结果为除11:00至13:00时间段以外的时间段，从而标记出17:31至19:00时间段为空闲的时间段，将其确定为时间推荐结果。

本发明实现了通过时间轨迹分析，得到时间清单，以及通过提取时间特征，并识别出情感文本中的时间结果，从时间维度分析出推荐给用户的合适的时间段的时间推荐结果，提高了用户体验度，以及提高了后续的内容推荐的准确性。

在一实施例中，如图8所示，所述步骤S50中，即所述对与所述用户标识码关联的所述人际关系图谱和所述画像结果进行标签分析，得到内容标签结果，包括：

S504，根据所述人际关系图谱中各关系人与所述用户的层级关系，对所述人际关系图谱中的与各关系人对应的画像标签进行加权。

可理解地，所述人际关系图谱为网状的图谱，从而各个所述关系人与所述用户会存在梯度的层级关系，各个所述关系人对应一个权重比，即加权的权重，各个所述关系人还包含有与其对应的画像标签，所述画像标签为通过对各个所述关系人进行客户画像确定出的人群的分类标签，从而可以对各与所述关系人对应的所述推荐有效渠道标签进行加权。

S505，对所述画像结果和加权后的所述画像标签进行聚合，得到与所述用户对应的内容标签结果。

可理解地，根据所有所述画像标签，对与所述用户对应的画像标签进行聚合，即对相同画像标签的权重聚合，得到该画像标签的最终权重，从而得到所述画像标签的权重分布情况，将其确定为所述内容标签结果。

如此，本发明实现了通过对所述人际关系图谱中的与各关系人对应的画像标签进行加权，对所述画像结果和加权后的所述画像标签进行聚合，得到与所述用户对应的内容标签结果，更加科学合理地对用户进行画像，分析出内容标签结果。

S60根据所述情感识别结果和所述内容标签结果，确定内容推荐结果，并将所述内容推荐结果按照时间推荐结果向所述用户推荐。

可理解地，根据所述情感识别结果确定出推荐的背景音乐，并从内容数据库中获取与所述内容标签结果匹配的内容数据，将其确定为内容推荐数据，将所述背景音乐和所述内容推荐数据进行结合，生成所述内容推荐结果，并将所述内容推荐结果按照时间推荐结果向所述用户推荐，其中，所述推荐的方式可以通过电话沟通的方式，也可以为信息推荐的方式。

本发明实现了通过获取与用户的用户标识码关联的待推荐数据；所述待推荐数据包括历史聊天数据、社会属性数据和访问行为数据；对所述历史聊天数据进行角色分离处理，分离出用户语音数据，同时运用快速匹配算法，根据所述社会属性数据，爬取与用户标识码关联的人际关系图谱；对所述用户语音数据进行语音情感识别和文字表情识别，得到与用户标识码关联的情感识别结果；通过基于深度学习的客户画像模型对所述访问行为数据和所述社会属性数据进行分类识别，获取所述客户画像模型输出的与所述用户标识码关联的画像结果；对与用户标识码关联的所述社会属性数据和所述情感识别结果进行推荐时间分析，得到时间推荐结果，同时对与所述用户标识码关联的所述人际关系图谱和所述画像结果进行标签分析，得到内容标签结果；根据所述情感识别结果和所述内容标签结果，确定内容推荐结果，并将所述内容推荐结果按照时间推荐结果向所述用户推荐，如此，实现了通过角色分离技术分离出用户语音数据，并运用快速匹配算法和爬取技术爬取出人际关系图谱，以及运用语音情感识别和文字表情识别的技术对用于语音数据进行识别，再通过深度学习的客户画像模型对用户的社会属性数据进行画像，得到画像结果，最后通过推荐时间分析和标签分析，分析出用户的内容标签结果，以及根据情感识别结果和内容标签结果确定出内容推荐结果，并将其按照时间推荐结果向所述用户推荐，能够基于用户的历史聊天数据、社会属性数据和访问行为数据等多维度的数据，并基于多维数据的深度学习技术自动识别出推荐时间和内容标签，能够在恰当的推荐时间推荐与内容标签结果匹配的内容，因此，实现了自动在恰当的时间向用户推荐关注或者合适的内容，从而提高用户的体验满意度，并且提升了内容推荐的有效性和准确性。

在一实施例中，提供一种基于深度学习的内容推荐装置，该基于深度学习的内容推荐装置与上述实施例中基于深度学习的内容推荐方法一一对应。如图9所示，该基于深度学习的内容推荐装置包括获取模块11、爬取模块12、识别模块13、画像模块14、分析模块15和推荐模块16。各功能模块详细说明如下：

获取模块11，用于获取与用户的用户标识码关联的待推荐数据；所述待推荐数据包括历史聊天数据、社会属性数据和访问行为数据；

爬取模块12，用于对所述历史聊天数据进行角色分离处理，分离出用户语音数据，同时运用快速匹配算法，根据所述社会属性数据，爬取与用户标识码关联的人际关系图谱；

识别模块13，用于对所述用户语音数据进行语音情感识别和文字表情识别，得到与用户标识码关联的情感识别结果；

画像模块14，用于通过基于深度学习的客户画像模型对所述访问行为数据和所述社会属性数据进行分类识别，获取所述客户画像模型输出的与所述用户标识码关联的画像结果；

分析模块15，用于对与用户标识码关联的所述社会属性数据和所述情感识别结果进行推荐时间分析，得到时间推荐结果，同时对与所述用户标识码关联的所述人际关系图谱和所述画像结果进行标签分析，得到内容标签结果；

推荐模块16，用于根据所述情感识别结果和所述内容标签结果，确定内容推荐结果，并将所述内容推荐结果按照时间推荐结果向所述用户推荐。

关于基于深度学习的内容推荐装置的具体限定可以参见上文中对于基于深度学习的内容推荐方法的限定，在此不再赘述。上述基于深度学习的内容推荐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是客户端或者服务端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作系统、计算机程序和数据库。该内存储器为可读存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的内容推荐方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于深度学习的内容推荐方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于深度学习的内容推荐方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的内容推荐方法，其特征在于，包括：

获取与用户的用户标识码关联的待推荐数据；所述待推荐数据包括历史聊天数据、社会属性数据和访问行为数据；

对所述历史聊天数据进行角色分离处理，分离出用户语音数据，同时运用快速匹配算法，根据所述社会属性数据，爬取与用户标识码关联的人际关系图谱；

对所述用户语音数据进行语音情感识别和文字表情识别，得到与用户标识码关联的情感识别结果；

通过基于深度学习的客户画像模型对所述访问行为数据和所述社会属性数据进行分类识别，获取所述客户画像模型输出的与所述用户标识码关联的画像结果；

对与用户标识码关联的所述社会属性数据和所述情感识别结果进行推荐时间分析，得到时间推荐结果，同时对与所述用户标识码关联的所述人际关系图谱和所述画像结果进行标签分析，得到内容标签结果；

根据所述情感识别结果和所述内容标签结果，确定内容推荐结果，并将所述内容推荐结果按照时间推荐结果向所述用户推荐；

所述运用快速匹配算法，根据所述社会属性数据，爬取与用户标识码关联的人际关系图谱，包括：

根据所述用户标识码和所述社会属性数据，组成多个词条信息；

运用快速匹配算法，爬取与所述词条信息匹配的待抽取页面；

通过开放信息抽取原型算法对所有所述待抽取页面进行信息抽取，抽取出与所述用户关联的关系人以及与其对应的文本对象；所述开放信息抽取原型算法为运用自监督学习方式，学习生成一个贝叶斯分类器，以判断可信关系；所述贝叶斯分类器为首先，对各所述待抽取页面中的句子进行词性标注；然后，使用名词短语识别，识别名词短语之间的实体和与该页面匹配的所述词条信息的词语作为关系表示；最后，进行分类，判别构成的候选三元组是否可信，将与可信的候选三元组对应的句子保留，作为所述文本对象；

通过关系人构建模型对各所述文本对象进行针对与其对应的所述关系人的关系语义识别，构建所述人际关系图谱；所述关系语义识别为提取所述文本对象中的关系语义特征，并根据提取的所述关系语义特征进行识别出关系的类别的识别过程，所述关系语义特征为具有与人际关系相关的语义的特征；根据识别出与其对应的所述关系人之间的关系，赋予该关系人相应的权重比，以及构建出所述用户标识码、识别出的与所述关系人的关系和包含有权重比的所述关系人的三元组，从而将所有构建的所述三元组构建出所述人际关系图谱。

2.如权利要求1所述的基于深度学习的内容推荐方法，其特征在于，所述对所述历史聊天数据进行角色分离处理，分离出用户语音数据，包括：

对所述历史聊天数据进行音频分割，得到多个分割文件；

对所有所述分割文件进行语音识别，识别出各所述分割文件的角色标签；所述角色标签包括用户标签；

将所有与所述角色标签为用户标签对应的所述分割文件进行顺次拼接，得到所述用户语音数据。

3.如权利要求1所述的基于深度学习的内容推荐方法，其特征在于，所述对所述用户语音数据进行语音情感识别和文字表情识别，得到与用户标识码关联的情感识别结果，包括：

对所述用户语音数据进行预处理，得到待处理数据；

对所述待处理数据进行音频情感特征提取，并对提取的所述音频情感特征进行识别，识别出情感结果；

对所述待处理数据进行文本识别，得到文本结果；

对所述文本结果中的各单元句进行情感语义特征提取，根据提取的各所述单元句中的所述情感语义特征，识别出各所述单元句的情感标签和文本内容；

根据所述情感结果和所有所述情感标签，确定出所述情感识别结果中的情感标识结果；

将与所述情感标识结果一致的所述情感标签对应的所述单元句中的所述文本内容进行汇总，得到所述情感识别结果中的情感文本。

4.如权利要求1所述的基于深度学习的内容推荐方法，其特征在于，所述通过基于深度学习的客户画像模型对所述访问行为数据和所述社会属性数据进行分类识别，获取所述客户画像模型输出的与所述用户标识码关联的画像结果，包括：

通过所述客户画像模型中的一阶指标细分模型对所述社会属性数据进行人群特征提取，得到一阶人群分类结果；

通过所述客户画像模型中的二阶指标细分模型对所述一阶人群分类结果和所述访问行为数据进行指标分析，确定出与所述用户对应的画像结果。

5.如权利要求1所述的基于深度学习的内容推荐方法，其特征在于，所述对与用户标识码关联的所述社会属性数据和所述情感识别结果进行推荐时间分析，得到时间推荐结果，包括：

对所述社会属性数据进行时间轨迹分析，得到与所述用户标识码对应的时间清单；

对所述情感识别结果中的所述情感文本进行时间特征识别，识别出所述情感文本中的时间结果；

根据所述时间清单和所述时间结果，分析出所述时间推荐结果；所述时间推荐结果表明了推荐给所述用户的时间段。

6.如权利要求1所述的基于深度学习的内容推荐方法，其特征在于，所述对与所述用户标识码关联的所述人际关系图谱和所述画像结果进行标签分析，得到内容标签结果，包括：

根据所述人际关系图谱中各关系人与所述用户的层级关系，对所述人际关系图谱中的与各关系人对应的画像标签进行加权；

对所述画像结果和加权后的所述画像标签进行聚合，得到与所述用户对应的内容标签结果。

7.一种基于深度学习的内容推荐装置，其特征在于，包括：

获取模块，用于获取与用户的用户标识码关联的待推荐数据；所述待推荐数据包括历史聊天数据、社会属性数据和访问行为数据；

爬取模块，用于对所述历史聊天数据进行角色分离处理，分离出用户语音数据，同时运用快速匹配算法，根据所述社会属性数据，爬取与用户标识码关联的人际关系图谱；

识别模块，用于对所述用户语音数据进行语音情感识别和文字表情识别，得到与用户标识码关联的情感识别结果；

画像模块，用于通过基于深度学习的客户画像模型对所述访问行为数据和所述社会属性数据进行分类识别，获取所述客户画像模型输出的与所述用户标识码关联的画像结果；

分析模块，用于对与用户标识码关联的所述社会属性数据和所述情感识别结果进行推荐时间分析，得到时间推荐结果，同时对与所述用户标识码关联的所述人际关系图谱和所述画像结果进行标签分析，得到内容标签结果；

推荐模块，用于根据所述情感识别结果和所述内容标签结果，确定内容推荐结果，并将所述内容推荐结果按照时间推荐结果向所述用户推荐；

所述爬取模块还用于：

根据所述用户标识码和所述社会属性数据，组成多个词条信息；

运用快速匹配算法，爬取与所述词条信息匹配的待抽取页面；

通过开放信息抽取原型算法对所有所述待抽取页面进行信息抽取，抽取出与所述用户关联的关系人以及与其对应的文本对象；所述开放信息抽取原型算法为运用自监督学习方式，学习生成一个贝叶斯分类器，以判断可信关系；所述贝叶斯分类器为首先，对各所述待抽取页面中的句子进行词性标注；然后，使用名词短语识别，识别名词短语之间的实体和与该页面匹配的所述词条信息的词语作为关系表示；最后，进行分类，判别构成的候选三元组是否可信，将与可信的候选三元组对应的句子保留，作为所述文本对象；

通过关系人构建模型对各所述文本对象进行针对与其对应的所述关系人的关系语义识别，构建所述人际关系图谱; 所述关系语义识别为提取所述文本对象中的关系语义特征，并根据提取的所述关系语义特征进行识别出关系的类别的识别过程，所述关系语义特征为具有与人际关系相关的语义的特征；根据识别出与其对应的所述关系人之间的关系，赋予该关系人相应的权重比，以及构建出所述用户标识码、识别出的与所述关系人的关系和包含有权重比的所述关系人的三元组，从而将所有构建的所述三元组构建出所述人际关系图谱。

8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于深度学习的内容推荐方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于深度学习的内容推荐方法。

Images