CN108984555B - 用户状态挖掘和信息推荐方法、装置以及设备 - Google Patents

Abstract

本申请提供了一种对象状态挖掘和信息推荐方法、装置以及设备，本申请的方法包括：获取目标对象发布的多个文本及多幅图像；分别将每个文本转换为用于描述对应对象标签的第一特征，得到包含多个第一特征的第一特征分布；分别将每幅图像的图像特征转换为用于描述对应对象标签的第二特征，得到包含多个第二特征的第二特征分布；确定出第一特征分布和第二特征分布分别与该对象标签中包含的至少一种对象状态之间的特征相关性；基于该特征相关性，确定目标对象在目标对象标签中的当前对象状态。本申请的方案可以降低挖掘对象状态的复杂度，提高对象状态挖掘的准确度。

Description

用户状态挖掘和信息推荐方法、装置以及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种用户状态挖掘和信息推荐方法、装置以及设备。

背景技术

用户画像又称为用户角色或者用户信息标签化，就是通过收集与分析用户社会属性、生活习惯、消费行为等数据，抽象出表征用户的虚拟代表，用户画像可以使得产品的服务对象更加聚焦、更加专注。

其中，用户画像可以由多个不同方向(或者说分支)组成，每一个方向实际上就是组成用户画像的一种用户标签(也称为用户画像标签)，如，用户标签可以包括：婚姻、职业、学历等等多种用户标签。而用户状态是用户画像的重要组成部分，主要用来标注用户在某种用户标签中的具体状态。如，刻画用户的用户画像的一种用户标签为婚姻，则该用户在婚姻这一用户标签中的状态可以为：已婚、未婚以及未知这三种状态中的一种。挖掘用户的用户状态，有利于对用户进行准确定位，以便根据用户在特定用户标签中的用户状态进行产品推荐或者确定征信情况等。然而，目前挖掘用户的用户状态的方式，却需要较多的人工干预，复杂度较高；且挖掘出的用户状态的准确度较低。

发明内容

有鉴于此，本申请提供了一种用户状态挖掘和信息推荐方法、装置以及设备，以降低挖掘用户状态的复杂度，提高用户状态挖掘的准确度。

为实现上述目的，一方面，本申请提供了一种用户状态挖掘方法，包括：

一种用户状态挖掘方法，其特征在于，包括：

获取目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；

将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；

确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性；

基于所述特征相关性，确定所述目标用户的当前用户状态。

又一方面，本申请还提供了一种信息推荐方法，包括：

在满足信息推荐条件时，确定待接受信息推荐的目标用户；

获取所述目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；

将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；

确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性；

基于所述特征相关性，确定所述目标用户的当前用户状态；

向所述目标用户的终端发送与所述当前用户状态相匹配的推荐信息。

又一方面，本申请还提供了一种用户状态挖掘装置，包括：

数据获取单元，用于获取目标用户在网络平台中发布的文本集合以及图像集合；

文本转换单元，用于将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；

图像转换单元，用于将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；

状态分析单元，用于确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性；

状态确定单元，用于基于所述特征相关性，确定所述目标用户的当前用户状态。

又一方面，本申请还提供了一种信息推荐装置，包括：

推荐用户确定单元，用于在满足信息推荐条件时，确定待接受信息推荐的目标用户；

数据获取单元，用于获取所述目标用户在网络平台中发布的文本集合以及图像集合；

文本转换单元，用于将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；

图像转换单元，用于将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；

状态分析单元，用于确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性；

状态确定单元，用于基于所述特征相关性，确定所述目标用户的当前用户状态；

信息推荐单元，用于向所述目标用户的终端发送与所述当前用户状态相匹配的推荐信息。

又一方面，本申请还提供了一种计算机设备，包括：

存储器和处理器；

所述处理器用于调用并执行所述存储器中的程序；

所述存储器中存储的所述程序至少用于：

获取目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；

将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；

确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性；

基于所述特征相关性，确定所述目标用户的当前用户状态。

又一方面，本申请还提供了一种服务器，包括：

存储器和处理器；

所述处理器用于调用并执行所述存储器中的程序；

所述存储器中存储的所述程序至少用于：

在满足信息推荐条件时，确定待接受信息推荐的目标用户；

获取所述目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；

将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；

确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性；

基于所述特征相关性，确定所述目标用户的当前用户状态；

向所述目标用户的终端发送与所述当前用户状态相匹配的推荐信息。

经由上述的技术方案可知，在本申请实施例中，依据用户在网络平台发布的文本以及图像来综合分析该用户在一种用户标签中的用户状态，而随着用户在网络平台中发布的图像日益增多，图像作为一种网络数据已经是反映用户特征比较重要的数据，因此，与仅仅依据文本来确定用户状态相比，综合用户发布的文本以及图像来综合挖掘用户在用户标签中的用户状态，能够更为准确的分析出用户的用户状态。

同时，与现有的依据人工确定出的关键词库，对该用户具有文本进行分类，以确定用户的用户状态相比，本申请实施例的方案，依据目标用户发布的文本以及图像各自所具有的用于描述对应用户标签的特征，可以计算出该目标用户与该用户标签中各种用户状态之间的特征相关性，从而基于得到的特征相关性便可以确定出用户在该用户标签中的用户状态，从而无需人工确定关键词库等复杂操作，降低了用户状态挖掘的复杂度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请的一种用户状态挖掘方法一种应用场景的组成结构示意图；

图2示出了适用于本申请的一种用户状态挖掘方法所适用的计算机设备的一种组成结构示意图；

图3示出了本申请一种用户状态挖掘方法一个实施例的流程示意图；

图4示出了本申请用于训练各个模型的一种系统框架的示意图；

图5示出了本申请训练文本转换模型、图像转换模型以及状态分类模型的训练流程示意图；

图6示出了将多个文本转换为一个向量的过程示意图；

图7示出了本申请一种用户状态挖掘方法又一个实施例的流程示意图；

图8示出了本申请一种信息推荐方法一个实施例的流程示意图；

图9示出了本申请一种用户状态挖掘装置一个实施例的组成结构示意图；

图10示出了本申请一种信息推荐装置一个实施例的组成结构示意图。

具体实施方式

本申请的用户状态挖掘方法可以应用于挖掘用户在用户画像的一种用户标签内所具有的用户状态。

如图1，其示出了本申请一种用户状态挖掘方法的一种应用场景示意图，如图1所示的应用场景可以包括：

至少一个社交网络平台10，社交网络平台中包括至少一个服务器101；

至少一个分析服务器11；

以及至少一个终端12。

其中，终端12，用于访问社交网络平台10中的服务器101，并将用户编辑的状态信息发送给社交网络平台的服务器，以实现在社交网络平台上发布状态信息。状态信息可以包括用户发布的文本以及图像。

相应的，社交网络平台中的服务器101，用于将用户上传的状态信息进行存储，以供该用户以及具有访问权限的指定用户访问该用户上传的状态信息。其中，具有访问权限的指定用户可以为：与该用户具有关联关系的用户，如，在社交网络平台中与该用户建立有好友关系的用户；该具有访问权限的指定用户也可以为：该社交网络平台中指定区域或者合法的用户，具体可以根据需要设定。

其中，该社交网络平台可以为实现即时通讯的网络平台、购物平台、支付平台、用于信息交流的网络平台等等能够实现信息交互或者共享的网络平台。在社交网络平台不同的情况下，用户所发布的状态信息也可能会所有不同，但是状态信息所包含的内容基本可以分为：包含文字等字符串的文本，或者是，包含图像的图片。

如，以社交网络平台为即时通讯平台为例，该服务器101可以理解为即时通讯服务器，则用户可以通过终端12访问即时通讯服务器，并向即时通讯平台为用户分配的网络空间中上传该用户编辑的留言、状态分享以及用户拍摄的图像等等。

相应的，该分析服务器11可以获取社交网络平台中各个用户发布文本以及图像，并分别根据用户发布的文本以及图像，分析用户在所需分析的用户标签中的用户状态。其中，用户标签为组成用户画像的分支，其可以理解为组成用户画像的多个分类，如用户标签可以为职业、学历、婚姻等等，而用户状态是指用户在该用户标签中所具有的实际状态，例如，以用户标签为学历，那么用户的用户状态可以为：文盲、小学、初中、高中、本科或者研究生等等多种可能的状态中的一种。

当然，以上是以用户在社交网络平台中发布文本和图像为例进行说明，但是可以理解的是，该分析服务器也可以获取用户在其他网络平台中发布的文本和图像，并基于用户发布的图像和文本，分析用户在某类用户标签中的用户状态，在此不加以限制。

其中，分析服务器可以独立于任意的社交网络平台等网络平台，而可以是作为网络平台的一部分，以分析该网络平台中各个用户的用户状态。

需要说明的是，以上是以服务器来挖掘用户状态为例进行说明，但是可以理解的是，可以通过特定的服务器采集用户在某个或者多个网络平台中发布的文本以及图片，并传输给特定的用于挖掘用户状态的计算机设备，因此，在实际应用中，挖掘用户状态的计算机设备可以为服务器，也可以为任意类型的终端。

如，参见图2，其示出了本申请实施例的用户状态挖掘方法所适用的计算机设备的一种组成结构示意图。

在图2中，该计算机设备200可以包括：处理器201、存储器202、通信接口203、输入单元204和显示器205和通信总线206。

处理器201、存储器202、通信接口203、输入单元204、显示器205、均通过通信总线206完成相互间的通信。

在本申请实施例中，该处理器201，可以为中央处理器(Central ProcessingUnit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA) 或者其他可编程逻辑器件等。

该处理器可以调用存储器202中存储的程序，具体的，可以处理器可以执行以下图3至图7中服务器侧所执行的操作。

存储器202中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令，在本申请实施例中，该存储器中至少存储有用于实现以下功能的程序：

获取目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；

将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；

确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性；

基于所述特征相关性，确定所述目标用户的当前用户状态。

在一种可能的实现方式中，该存储器202可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以上所提到的程序，以及至少一个功能(比如声音播放功能、图像播放功能等)所需的应用程序等；存储数据区可存储根据计算机设备的使用过程中所创建的数据以及接收到的待处理数据，比如，音频数据、日志记录以及前面提到的待分析的用户文本和图像等。

此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

该通信接口203可以为通信模块的接口。

本申请中该服务器还可以包括输入单元204，如，键盘等等。

该显示器205包括显示面板。在一种可能的情况中，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。

当然，图2所示的计算机设备结构并不构成对本申请实施例中计算机设备的限定，在实际应用中计算机设备可以包括比图2所示的更多或更少的部件，或者组合某些部件。

下面结合本申请的以上共性，对本申请实施例的借贷处理方法进行详细介绍。

参见图3，其示出了本申请一种用户状态挖掘方法一个实施例的流程示意图，本实施例的方法应用于如上所提到的计算机设备，本实施例的方法可以包括：

S301，获取待挖掘的目标用户在网络平台中发布的文本集合以及图像集合。

为了便于区分，在本实施例中，将待进行状态挖掘的用户称为目标用户。

该文本集合包括多个文本，该图像集合包括多幅图像。其中，每条文本可以包括一个或多个字符，如文字、字母等等。

如，该文本集合所包含的多个文本以及图像集合所包含的多个图像可以为在指定时间段内，该用户在指定的一个或多个网络平台中发布的。其中，该指定时间段可以根据需要设定，例如，该指定时间段可以为当前时刻之前的指定时长内，或者当前时刻之前指定时间范围所对应的时长。

当然，在实际应用中，该多个文本也可以以文本序列的形式存在，即，按照用户发布文本的时刻，依次将用户发布的文本构成文本序列，在该文本序列中可以包括该用户在多个不同时刻所发布的文本。相应的，该图像集合也可以是一个图像序列，在图像序列中包括用户在不同时刻所发布的多幅图像。

其中，获取文本集合和图像集合可以是从指定的一个或多个网络平台的数据库或者服务器中获取，如，图1所示场景；也可以是通过预设的服务器或者设备收集不同网络平台中各个网络用户所发布的文本以及图像数据，并由该分析服务器等计算机设备获取所收集到的文本以及图像数据。当然，无论采用何种方式获取该文本集合以及图像集合均适用于本申请，对于获取到这些文本集合以及图像集合的具体方式不进行限定。

S302，将该文本集合中每个文本分别转换为用于描述对应用户标签的第一特征，得到包含该多个第一特征的第一特征分布。

其中，该用户标签为待进行状态挖掘的用户标签。用户标签可以理解为用户画像中的一个分支，是用于描述用户画像的一种属性。如，用户标签可以为“婚姻”、“学历”、“职业”“爱好”等等多种属性。每种用户标签可以包括多种用户状态，不同用户在同一个用户标签中的用户状态可以不同。

如，需要挖掘用户在“婚姻”这一用户标签中的具体用户状态，“婚姻”为待挖掘的用户标签，“婚姻”这一用户标签可以包括“已婚”、“未婚”以及“未知”等多种用户状态。相应的，在获取到文本之后，需要将文本转换为用于描述“婚姻”的第一特征。

为了便于区分，将从该文本中转换出的对应该用户标签的特征称为第一特征。

其中，该第一特征分布包括该文本集合中多个文本各自对应的第一特征。第一特征分布可以理解为一个特征集合，或者包含多个第一特征的总体特征组合。

其中，第一特征用于表征该文本中具有的用于描述该用户标签的特征。可以通过特征描述的方式，更为直观的描述出该文本；同时，后续可以通过文本所对应的第一特征，可以更为方便的比较不同文本之间的语义相似度。

可以理解的是，为了能够更为直观的反映出文本所对应的特征，文本所转换出的特征均可以通过向量的形式表示，为了区分，将第一特征对应的向量称为第一特征向量。相应的，将该多个第一特征向量组成的集合称为第一特征集合，该第一特征集合就相对于该第一特征分布。进一步的，还可以将该多个第一特征向量中转换为一个向量，并将转换出的该向量作为第一特征分布所对应的向量。

其中，在将文本转换为第一特征的方式可以有多种，如，可以基于文本所包含的字符串，将文本转换为用于描述该文本中字符串与该用户标签的关联程度的特征描述。

在一种可能的实现方式中，可以预先训练用于将文本转换为第一特征的文本转换模型，并利用该文本转换模型分别将每个文本转换为一个第一特征。该文本转换模型为利用多个样本用户各自发布的文本样本集合训练得到。其中，样本用户可以为预先选取出至少一个网络用户作为样本用户，样本用户所发布的文本作为训练该文本转换模型所需的文本样本，每个样本用户发布的至少一个文本样本组成一个文本样本集合。

该文本转换模型的形式可以有多种可能。在一种可选方式中，该文本转换模型至少包括：能够将字符转换为字向量的模型以及第一卷积神经网络。如，将字符转换为向量的模型可以为文本深度转换模型word2vec。相应的，通过文本转换模型将文本转换为第一向量具体可以为：

可以先针对文本集合中的每个文本，将文本中的每个字符分别转换为一个字向量，得到每个该文本对应的至少一个字向量，其中，为了便于区分，将字符转换出的向量称为字向量；然后，再通过预先训练得到的第一卷积神经网络分别将文本集合中每个文本对应的至少一个字向量转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合。

可以理解的是，在本申请实施例中，为了挖掘目标用户在该用户标签中的用户状态，因此，将文本转换为用于描述对应该用户标签的第一特征。但是可以理解的是，文本中除了可以反映出待挖掘的用户标签所对应的特征之外，还可以反映出其他用户标签所对应的特征，因此，在将文本转换为对应该用户标签的第一特征也可以是将文本转换为用于描述多种不同用户标签的第一特征。其中，该第一特征具有多个维度，该多个维度可以表征多种不同用户标签的特征，且一种用于标签的特征可以采用该第一特征中的至少一个维度表示。当然，对于第一特征中哪一个或几个维度共同表示哪一种用户标签的特征，则并不进行具体限定。

举例说明，对于构建用户画像可能需要涉及到10种用户标签，因此，对于任意一个文本而言，基于该文本中所包含的字符串，可以分析出该文本包含的分别表征这10种用户标签的特征，从而将文本转换为分别表示这10种用户标签的10个第一特征。例如，假设用户标签可以包含婚姻以及学历，则对于一个文本，可以依据文本中的字符，利用该文本转换模型分析出该文本中表征婚姻的特征形式，以及表征学历的特征形式。

其中，将文本转换为用于描述多种不同用户标签的第一特征的方式与将文本转换为用于描述待挖掘的用户标签的第一特征的方式相似，如，可以利用预先训练得到的文本转换模型等进行转换，具体可以参见前面介绍，在此不再赘述。

S303，将该图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含该多个第二特征的第二特征分布。

如，可以基于图像所具有的图像特征，将该图像的图像特征转换为用于描述该图像特征与该用户标签的关联程度的特征描述，从而得到该图像对应的用于描述该用户标签的特征。为了便于区分，将从该图像中转换出的特征称为第二特征。

与第一特征分布相似，第二特征分布可以理解为一个特征集合，或者包含多个第一特征的总体特征组合。为了能够更为直观的反映出图像所对应的特征，图像所转换出的特征也可以通过向量的形式表示，因此，该第二特征可以表示为一个向量，为了便于区分，该第二特征所对应的向量可以称为第二特征向量，相应的，第二特征分布可以为包括多个第二特征向量的第二特征集合。进一步的分布可以表示为一个向量，为了便于区分，表示第二特征分布的向量称为第二特征向量。

在一种实现方式中，可以预先训练用于将图像的图像特征转换为用于描述对应用户标签的第二特征的图像转换模型，其中，该图像转换模型为利用多个样本用户各自发布的图像样本集合训练得到，每个样本用户的图像样本集合中包括该样本用户发布的至少一个图像样本。如，该图像转换模型可以为预先训练得到的深度神经网络模型(DeepConvolutional Neural Network， DPP)。相应的，利用预先训练得到的深度神经网络模型，分别将该图像集合中每幅图像的图像特征转换为用于描述对应用户标签的第二特征向量，得到包含多个第二特征向量的第二特征集合。

可以理解的是，图像中的图像特征同样可以反映出在多种不同用户标签中特征，因此，在实际应用中，也可以将图像的图像特征转换为用于描述多种不同用户标签的第一特征，该第一特征同样可以以向量形式存在。其中，该第一特征可以具有多个维度，该多个维度可以表征多种不同用户标签，且每种用户标签采用该第二特征中的至少一个维度表示。但是，对于第二特征中哪一个或几个维度共同表示哪一种用户标签的特征，则并不进行具体限定。

S304，确定出第一特征分布和该第二特征分布分别与该用户标签包含的至少一个用户状态之间的特征相关性。

其中，特征相关性也可以称为特征相似度，通过计算第一特征分布以及第二特征分布与用户标签包含的每种用户状态之间的特征相关性可以反映出该目标用户与用户标签中各个用户状态之间相似程度，从而得到目标用户属于每种用户状态的可能性。

如，仍以用户标签为婚姻为例，则该用户标签所具有的用户状态可以包括：“已婚”、“未婚”以及“未知”，则基于该目标用户的第一特征分布以及第二特征分布，可以计算出该目标用户在这三种用户状态中的特征相关性可以分别为：0.5，0.3以及0.2，从而根据该特征相关性可知，用户在“婚姻”这一用户标签中属于“已婚”状态的可能性最高。

在一种可能的实现方式中，可以预先训练得到该用户标签包含的该至少一种用户状态各自对应的特征描述，得到该用户标签中至少一种用户状态的特征分布，为了便于区分，将该用户标签包含的至少一种用户状态对应的特征分布称为第三特征分布。相应的，可以计算该第一特征分布和第二特征分布与该第三特征分布之间的特征相关性，其中，该特征相关性具有的维度与用户标签具有的用户状态的种类相同，且特征相关性中每个维度的取值表征该第一特征分布和第二特征分布分别与该用户标签中一种用户标签之间的特征相关性。如，用户标签包括5种用户状态，则该特征相关性的维度为5。

进一步的，可以预先训练状态分类模型，其中，该状态分类模型可以包括该用户标签中包含的至少一个用户状态对应的第三特征分布。通过该状态分类模型，确定该第一特征分布以及第二特征分布分别第三特征分布的特征相关性。该状态分类模型为基于样本用户在该用户标签中的用户状态，以及该样本用户的文本样本集合以及图像样本集合训练得到。

其中，该状态分类模型的具体模型形式可以有多种，如，在一种可能的实现方式中，该状态分类模型可以为全连接神经网络模型。

为了提高计算特征相关性的便捷性，在一种可能的实现方式中，该用户标签包含的至少一种用户状态对应的特征描述可以采用矩阵的形式表示，如，矩阵每列可以表示该用户标签中一种用户状态所具有的特征，且不同列表示该目标用户标签中的不同用户状态所具有的特征。

进一步的，为了便于计算特征相似性，在通过向量形式表示特征的情况下，在得到文本集合中每个文本的第一特征向量之后，可以将该文本集合中多个文本的多个第一特征向量转换为一个特征向量。如，该文本转换模型还可以包括：预先训练得到的第二卷积神经网络，通过该第二卷积神经网络将该文本集合中多个文本对应的多个第一特征向量转换为一个对应该用户标签的向量，为了便于区分，将该多个第一特征向量所转换出的向量称为第三特征向量。

相应的，在得到多幅图像所对应的多个第二特征向量之后，还可以将该多个第二特征向量转换为一个向量，为了便于区分，将该多个第二特征向量所转换出的向量称为第四特征向量。如，可以通过全连接神经网络将该多个第二特征向量转换为一个向量。可以理解的是，为了计算需要，可以设置转换出的第四特征向量与该第三特征向量的维度相同。

在得到第三特征向量以及第四特征向量的基础上，在计算特征相关性时可以是：计算第三特征向量以及第四特征向量与预先训练得到的全连接神经网络模型中的参数矩阵之间的相关性，得到表征该目标用户对应该用户标签中包含的至少一种用户状态之间的特征相关性。其中，该参数矩阵中用于表征所述用户标签中多种不同用户状态中的特征描述，且所述参数矩阵中的每列表示一种用户状态的特征。

特别的，为了计算方便，在得到第三特征向量以及第四特征向量之后，还可以将第三特征向量以及第四特征向量转换为一个向量，通过该向量来描述该目标用户对应该用户标签的特征，为了便于区分，将第三特征向量以及第四特征向量转换出的向量称为用户特征向量。相应的，可以通过预先训练得到的全连接神经网络模型，确定该用户特征向量与该全连接神经网络中训练得到的参数矩阵之间的相关性。

S305，基于该特征相关性，确定该目标用户在该用户标签中的当前用户状态。

在确定目标用户的当前用户状态时，可以直接将目标用户与每种用户状态的特征相关性，作为该目标用户在该用户标签中不同用户状态中的概率进行输出。

可选的，可以将该目标用户标签具有的多种不同用户状态中，特征相关性最大的用户状态作为该目标用户所具有的用户状态。例如，仍以步骤S304 中，确定出的目标用户与婚姻这一标签中：“已婚”、“未婚”以及“未知”这三种用户状态的特征相关性分别为0.5，0.3以及0.2为例，则特征相关性最大的用户状态为“已婚”，则可以确定出用户在“婚姻”中的当前用户状态为“已婚”。

可见，在本申请实施例中，依据用户在网络平台发布的文本以及图像来综合分析该用户在一种用户标签中的用户状态，而随着用户在网络平台中发布的图像日益增多，图像作为一种网络数据已经是反映用户特征比较重要的数据，因此，与仅仅依据文本来确定用户状态相比，综合用户发布的文本以及图像来综合挖掘用户在用户标签中的用户状态，能够更为准确的分析出用户的用户状态。

同时，与现有的依据人工确定出的关键词库，对该用户具有文本进行分类，以确定用户的用户状态相比，本申请实施例的方案，依据目标用户发布的文本以及图像各自所具有的用于描述对应用户标签特征，分别计算出该目标用户与待挖掘的用户标签中各种用户状态之间的特征相关性，从而基于得到的特征相关性便可以确定出用户在该用户标签中的用户状态，从而无需人工确定关键词库等复杂操作，降低了用户状态挖掘的复杂度。

为了便于理解本申请的方案，下面先一种训练过程为例，对训练得到文本转换模型、图像转换模型以及状态分类模型的过程进行介绍。为了便于描述，以状态分类模型为全连接神经网络模型为例进行介绍。

参见图4，其示出了本申请一种用于训练模型的系统框架的组成结构示意图。由图4可以看出，该系统框架可以由文本训练模型，图像训练模型以及全连接神经网络的建模三部分组成，其中，文本训练模型可以包括前面所提到的用于将字符转换为字向量的模型、第一卷积神经网络模型以及第二卷积神经网络模型，其用于对输入的文本进行文本建模，而图像训练模型可以为深度神经网络模型，其用于对输入的图像进行图像建模。

在基于该系统架构训练以上三个模型之前，可以预先从网络用户确定训练所需的多个样本用户，并获取该多个样本用户各自发布的文本集合以及图像集合，并将样本用户发布的文本集合中的文本作为训练所需的文本样本，将样本用户发布的图像集合中的图像作为训练所需的图像样本。

其中，每个样本用户在待挖掘的目标用户标签中的用户状态是已知的。

图4的系统框架与经典的机器学习建模框架Y＝F(X)类似，X为输入， Y是输出结果，F是要训练的函数。

其中，文本样本和图像样本相当于自变量X，样本用户在目标用户标签中的用户状态相当于因变量Y。

在本申请中，系统框架输出的结果Y是关于用户状态的概率分布。例如，对于“婚姻”状态，有3种可能取值[“已婚”，“未婚”，“未知”]，输出的是每种用户状态的概率值组成的向量，例如[0.5，0.3，0.2]。

在训练模型的过程中，依次将每个样本用户的多个文本样本输入到文本训练模型，并每个样本用户的多个图像样本输入到图像训练模型，同时将文本训练模型以及图像训练模型输出的数据输入到全连接神经网络模型中，将全连接神经网络模型输出的样本用户在该目标用户标签中每个用户状态中的概率(输出的结果Y)与该样本用户实际的用户状态进行比对。

通过将输出的结果Y与样本用户实际的用户状态进行比对，可以确定基于该样本用户的多个文本样本和多幅文本样本训练的该系统框架中各个模型的参数是否合理，从而基于比对结果对模型中的参数进行调整，这样，经过多个样本用户的文本样本和图像样本的多次训练，最终可以训练得到该系统框架中各个模型。

结合图4，参见图5，其示出了综合训练文本转换模型、图像转换模型以及全连接神经网络模型的流程示意图，该流程可以包括：

S501，获取多个样本用户各自的文本样本集合以及图像样本集合。

该多个样本用户在待挖掘的用户标签中的用户状态为已知的，其中，为了便于区分，将样本用户在该用户标签中的已知的用户状态称为该样本用户的实际用户状态。

S502，从该多个样本用户中选取出未处理的一个目标样本用户。

在本实施例中，依次将样本用户中每个样本用户作为训练所需的目标样本用户，以将目标样本用户的文本以及图像样本作为训练样本进行模型训练。为了便于区分，将当前选取出的样本用户称为目标样本用户。

S503，将该目标样本用户的文本样本集合中的多个文本样本输入到待训练的文本转换模型中，并将该目标样本用户的图像样本集合中的多个图像样本输入到待训练的图像转换模型中。

S504，通过文本转换模型中的word2vec依次将每个文本中的每个字符转换为一个字向量，并通过文本转换模型中的第一卷积神经网络分别将每个文本样本对应的至少一个字向量转换为第一文本描述向量，得到每个文本样本对应的第一文本描述向量。

在本实施例中，以文本转换模型中，用于将文本中的每个字符分别转换为向量的模型为word2vec为例进行介绍，但是对于其他将字符转换为向量的模型也同样适用于本实施例。

如，目标样本用户发布的由m个文本样本组成的文本样本序列{X1， X2,…Xm}，m大于等于一，对每个文本Xi(i为从1到m的整数)中的每个字符(如文字)，用word2vec转换为字向量表示，其中，字向量的维度k 可以根据需要设定，如字向量的维度k＝200，假设一个文本中具有s个字符，则该文本可以转换为s*k个字向量，可以将一个文本看成是s*k的二维矩阵，从而可以利用卷积神经网络对该二维矩阵进行处理。

为了便于区分，将训练过程中，用于将每个文本对应的至少一个字向量转换为一个文本描述向量的卷积神经网络称为第一卷积神经网络，并利用该第一卷积神经网络将文本对应的至少一个字向量转换出的向量称为第一文本描述向量。

如，第一卷积神经网络将文本样本对应的s个k维的字向量进行卷积，可以将s*k的二维矩阵转换为一个用于描述该文本特征的文本描述向量。

通过该第一文本描述向量来描述该文本的特征分布的向量，在本申请实施例中，通过多次训练该第一卷积神经网络模型目的是使得该第一卷积神经网络模型可以从文本中提取出该文本中描述用户标签的特征。

特别的，当需要确定文本中用于描述多种不同用户标签的各个特征分布时，训练过程相似，只不过训练出的该第一卷积神经网络模型可以分别从文本中提取出该文本中描述多种不同用户标签的特征。

S505，通过文本转换模型中的第二卷积神经网络对该多个文本样本对应的多个第一文本描述向量进行卷积，以将该多个第一文本描述向量转换为一个第二文本描述向量。

如，通过第一卷积神经网络分别对m个文本Xi建模，一共得到m个第一文本向量描述，然后用第二个卷积神经网络对m个向量进行卷积，最终得到一个向量描述。为了便于区分，将训练过程中，由该多个第一文本描述向量所转换出的向量称为第二文本描述向量。

其中，步骤S504和步骤S505的向量转换过程可以如图6所示，由图6 可知，分别将每个文本输入到文本转换模型之后，通过第一层的word2ver将每个文本中的各个字符分别转换为向量，使得每个文本得到多个向量，如图6 中，Embeding layer这一层的处理；然后，将每个文本对应的多个向量经过第一层卷积神经网络可以得到每个文本对应的第一文本描述向量，如图6中从下向上的第一个convPooling layer这一层的处理，从而可以得到多个文本各自对应的多个第一文本描述向量，最后在经过第二层卷积神经网络可以将该多个第一文本描述向量转换为一个文本描述向量，如图6中从上到下的第二个 convPoolinglayer这一层的处理。

S506，通过图像转换模型中的DPP模型将输入的每幅图像分别转换成第一图像描述向量。

其中，为了便于区分，将训练过程中，每幅图像转换为向量称为第一图像描述向量。

S507，通过第一全连接神经网络模型将多幅图像对应多个第一图像描述向量转换成一个第二图像描述向量。

可以理解的是，为了与前面提到的用于确定特征相关性的全连接神经网络模型(也是后续提到的用于确定样本用户在多个用户状态中的概率的全连接神经网络模型)相区分，将用于将多个第一图像描述向量转换为第二图像描述向量的全连接神经网络模型称为第一全连接神经网络模型，而将训练得到的用于确定特征相关性的全连接神经网络称为第二全连接神经网络。

为了便于后续整体描述该目标样本用户的图像特征，还可以将该多幅图像对应的多个第一图像描述向量输入到一个全连接神经网络模型中，以通过该全连接神经网络模型将该多个第一图像描述向量转换为一个向量，在本申请实施例中，将由多个第一图像描述向量所转换出的向量称为第二图像描述向量。

可以理解的是，为了后续可以将多幅图像对应的向量以及多个文本所对应的向量转换为一个向量表示，该第二图像描述向量的维度可以与第二文本描述向量的维度相同。

如，假设将m个文本转换得到一个500维度的第二描述向量，同时，假设有n幅图像，每幅图像得到4096维度的第一图像描述向量，则可以得到n 个4096维度的第一图像描述向量，这样，通过第二全神经网络模型可以将该 n个第一图像描述向量转换为一个500维度的第二图像描述向量。

可以理解的是，通过全连接神经网络将多个第一图像描述向量转换为一个向量(即，第二图像描述向量)仅仅是一种实现方式，在本申请实施例中，通过其他模型来将多个向量转换为一个向量也同样适用于本申请，在此不加以限制。

当然，该步骤S508为可选步骤，在实际应用中可以根据需要不执行该步骤，而直接利用得到的多个第一图像描述向量来进行后续的训练。

S508，将第二文本描述向量以及第二图像描述向量转换为一个样本用户特征向量，并将该样本用户特征向量输入至第二全连接神经网络模型。

将第二文本描述向量与第二图像描述向量拼成一个向量，在本实施例中，将该向量称为样本用户特征向量。

S509，通过第二全连接神经网络模型，将该样本用户特征向量与第二全连接神经网络模型中预置的参数矩阵进行相关性计算，得到该目标样本用户属于该用户标签包含的多种不同用户状态的概率分布。

其中，该参数矩阵用于表征该用户标签在不同种用户状态中的特征描述，参数矩阵的每列可以表示一种用户状态的特征向量或者说特征描述，如，用户标签具有10种用户状态，则该参数矩阵可以为1000*10维的参数矩阵，则每列的1000个数值表示一种用户状态的特征向量。其中，该参数矩阵中各个取值可以预先设定，后续在训练过程中，可以根据需要不断调整该参数矩阵中各列对应的取值。

需要说明的是，以上是以文本转换模型包括文本深度表示模型以及卷积神经网络，图像转换模型为深度神经网络为例进行说明，但是可以理解的是，文本转换模型、图像转换模型的具体形式可以有多种。其中，为了便于与用户状态确定过程中所得到的向量或者特征进行区分，将训练过程中，从文本中转换出的用于描述多种不同用户标签的多个特征均称为文本描述特征，并将从图像中转换出的用于描述多种不同用户标签的多个特征均称为图像描述特征。

S510，依据该目标样本用户的实际用户状态与计算出的目标样本用户属于多种用户状态的概率分布进行比对，如果计算出的该目标样本用户属于该实际用户状态的概率小于预设阈值，则调整文本转换模型、图像转换模型、第一全连接神经网络模型以及第二全连接神经网络模型中的参数，并返回步骤S503，直至计算出的该目标样本用户属于该实际用户状态的概率不小于该预设阈值。

通过目标样本用户的样本用户特征向量，可以反映该目标样本用户发布的文本以及图像的特征，而计算该样本用户特征向量与该参数矩阵之间的相关性，可以得到多个概率值，每个概率值表示该目标样本用户属于一种用户状态的概率。如，假设目标用户标签有10种用户状态，则可以分别得到这10 种用户状态各自的概率。

由于该目标样本用户在该目标用户标签中的实际用户状态为已知的，依据计算出的该目标样本用户属于该实际用户状态的概率，可以分析当前各个模型中的参数设置是否合理。

如，假设目标用户标签为“婚姻”，则这一标签中3种可能取值[“已婚”，“未婚”，“未知”]，且假设目标样本用户的在“婚姻”中状态为“未婚”，预设阈值为0.6，如果计算出的该目标样本用户属于以上三种用户状态的概率值依次为：0.5，0.3，0.2，则说明计算结果与实际情况相差较大，需要调整各个模型的参数，并重新进行训练。

可以理解的是，通过比较计算出的该目标样本用户属于该实际用户状态的概率与预设阈值的大小关系，来确定模型中的参数设置是否合理仅仅是一种实现方式，在实际应用中，还可以根据实际用户状态与计算出的该目标样本用户属于各个用户状态的概率，计算损失函数，如果损失函数的值大于预设值，则需要调整参数。当然，还可以有其他确定是否需要调整模型中参数的方式，在此不加以限制。

可以理解的是，在本实施例中，得到各个文本转换出的第一文本描述向量以及各个图像转换出的第一图像描述向量之后，也可以利用多个第一文本描述向量以及多个第一图像描述向量，以及该状态分类模型的第二全连接神经网络中关于目标用户标签在不同用户状态中的特征分布，来直接计算该目标样本用户属于不同种用户状态的概率，因此，该步骤S505、S507和S508 均为可选步骤，在实际应用中，也可以不执行这几个步骤，或者根据需要选择性的执行其中一个或多个步骤。

S511，如果多个样本用户中存在尚未被处理的样本用户，则返回步骤 S502，否则，训练过程结束。

如果利用每个样本用户的文本以及图像进行了训练，则训练结束，从而最终训练得到文本转换模型、图像转换模型以及第一全连接神经网络模型、第二全连接神经网络模型。

可以理解的是，图5仅仅是一种训练过程为例进行介绍，在样本用户的用户状态已知，且可以获取到样本用户所发布的文本以及图像的情况下，如果通过其他方式训练各个模型也同样适用于本申请，在此不再赘述。

为了便于理解本申请实施例的方案，下面以文本转换模型包括：训练得到的文本深度转换模型word2vec、第一卷积神经网络以及第二卷积神经网络；图像转换模型包括：训练得到的DPP模型而确定目标用户与用户标签中不通过用户状态的特征相关性的模型为第二全连接神经网络模型为例进行介绍。参见图7，其示出了本申请一种用户状态挖掘方法又一个实施例的流程示意图，本实施例的方法可以包括：

S701，获取待挖掘的目标用户在指定时间段内发布的文本集合以及图像集合。

其中，该文本集合包括多个文本，该图像集合包括多幅图像。

S702，通过word2vec依次将每个文本中的每个字符转换为一个字向量，并通过第一卷积神经网络分别将每个文本样本对应的至少一个字向量转换为第一特征向量，得到该每个文本样本对应的第一特征向量。

S703，通过第二卷积神经网络对该多个文本样本对应的多个第一特征向量进行卷积，以将该多个第一特征向量转换为第三特征向量。

S704，通过DPP模型将每幅图像分别转换成第二特征向量。

S705，通过第一全连接神经网络模型将多幅图像对应多个第二特征向量转换成一个第四特征向量。

S706，将第三特征向量以及第四特征向量转换为一个用户特征向量，并将该用户特征向量输入至第二全连接神经网络模型。

为了便于区分，将第三特征向量与第四特征向量拼成的向量称为用户特征向量。

其中，该步骤S706为可选步骤，其目的是为了便于后续的计算。

S707，通过第二全连接神经网络模型，将该用户特征向量与第二全连接神经网络模型中训练得到的参数矩阵进行相关性计算，得到该目标用户分别属于用户标签中不同种用户状态的概率。

其中，该参数矩阵用于表征目标用户标签在不同种用户状态中的特征描述，且参数矩阵中的每列表示一种用户状态的特征。

S708，将概率值最大的用户状态，确定该目标用户在该目标用户标签中具有的目标用户状态。

另一方面，在以上用户状态挖掘方法的基础上，本申请实施例还提供了一种信息推荐方法。

如，参见图8，其示出了本申请一种用户状态挖掘方法一个实施例的流程示意图，本实施例的方法可以应用于服务器，该方法包括：

S801，在满足信息推荐条件时，确定待接受信息推荐的目标用户。

其中，根据应用场景的不同，所需推荐的信息可能会有所不同，因此，信息推荐条件可以是针对不同信息的推荐条件，如，可以针对广告、文章、商品等等信息的推荐条件。

相应的，根据应用场景的不同，信息推荐的具体条件也可以有多种可能，具体可以根据需要设定。如，信息推荐条件可以为检测到用户登录服务器，或者是检测到用户请求访问指定网页或者指定内容等等。

如，以广告推荐为例，可以当用户登录服务器之后，确定当前满足广告推送条件；或者是，在用户访问购物平台时，确定当前满足广告推送条件等等。

S802，获取所述目标用户在网络平台中发布的文本集合以及图像集合。

S803将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布。

S804，将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布。

S805，确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性。

S806，基于所述特征相关性，确定所述目标用户的当前用户状态。

其中，该步骤S802至S806可以参见前面实施例的相关介绍，在此不再赘述。

S807，向该目标用户的终端发送与该当前用户状态相匹配的推荐信息。

如，不同的用户状态与不同的推荐信息之间具有匹配关系，基于该匹配关系，可以向目标用户推荐与其当前用户状态相匹配的推荐信息。

可以理解的是，该用户在该用户标签中用户状态不同，该用户所希望关注的信息也会有所不同。以产品推荐为例，并以用户标签为“母婴”为例，则“母婴”包含的用户状态可以为“无孩子”、“怀孕中”“一个孩子”等等，如果用户当前用户状态为“怀孕中”，则该用户会对一些备用所需的母婴用品较为关注，则可以向该用户推荐与备用所需的母婴用品的信息。

可见，在本申请实施例中的信息推荐方法是基于前面的用户状态挖掘方法进行信息推荐，由于用户状态挖掘的精准度高，从而有利于更为精准的向用户推荐用户所需的信息，提高信息推荐的精准度。

需要说明的是，在图8实施例中是以确定该目标用户在一种用户标签中的用户状态为例进行说明，当需要确定目标用户分别在多种不同用户标签中各自的用户状态时，对于该目标用户在每种用户标签中的用户状态均可以通过如上步骤S802至S806的步骤确定，其过程相似，在此不再赘述。

另外，图8是以的当前用户状态为例进行说明，是以在满足信息推荐条件时，实时确定出该目标用户在一种用户标签中的用户状态为例进行说明，但是可以理解的是，服务器可以预先确定出不同用户分别在不同用户标签中的用户状态，这样，在确定出满足信息推荐条件时，则可以直接查询该目标用户在该用户标签中的当前用户状态，并基于该当前用户状态，向该目标用户推荐信息。

下面对本发明实施例提供的一种用户状态挖掘装置进行介绍，下文描述的一种用户状态挖掘装置可与上文描述的一种用户状态挖掘方法相互对应参照。

如，参见图9，其示出了本申请一种用户状态挖掘装置一个实施例的组成结构示意图，本实施例的装置可以包括：

数据获取单元901，用于获取目标用户在网络平台中发布的文本集合以及图像集合；

文本转换单元902，用于将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布。

图像转换单元903，用于将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布。

状态分析单元904，用于确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性。

状态确定单元905，用于基于所述特征相关性，确定所述目标用户的当前用户状态。

可选的，所述状态分析单元，包括：

相关性计算单元，用于依据预先训练得到的所述用户标签包含的至少一种用户状态的第三特征分布，计算所述第一特征分布和所述第二特征分布与所述第三特征分布之间的特征相关性，所述特征相关性具有的维度与所述用户标签具有的用户状态的种类相同，且所述特征相关性中每个维度的取值表征所述第一特征分布和所述第二特征分布与所述用户标签中一种用户标签之间的特征相关性。

在一种实现方式中，所述文本转换单元，包括：

字符转换单元，用于针对所述文本集合中的每个文本，将所述文本中的每个字符分别转换为一个字向量，得到每个所述文本对应的至少一个字向量；

文本向量转换单元，用于通过预先训练得到的第一卷积神经网络分别将所述文本集合中每个文本对应的至少一个字向量转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合。

所述图像转换单元，包括：

图像向量转换单元，用于利用预先训练得到的深度神经网络模型，分别将所述图像集合中每幅图像的图像特征转换为用于描述对应用户标签的第二特征向量，得到包含多个第二特征向量的第二特征集合。

进一步，该装置还可以包括：

文本向量合并单元，用于在所述文本向量转换单元通过预先训练得到的第一卷积神经网络分别将所述文本集合中每个文本对应的至少一个字向量转换为用于描述对应用户标签的第一特征向量之后，通过预先训练得到的第二卷积神经网络，将所述文本集合中多个文本对应的多个第一特征向量转换为对应所述用户标签的第三特征向量。

图像向量合并单元，用于在所述图像向量转换单元利用预先训练得到的深度神经网络模型，分别将所述图像集合中每幅图像的图像特征转换为用于描述对应用户标签的第二特征向量之后，将所述图像集合中多幅图像对应的多个第二特征向量转换为对应用户标签的第四特征向量，所述第四特征向量与所述第三特征向量具有相同的维度。

向量转换处理单元，用于将所述第三特征向量和所述第四特征向量转换为用于描述所述目标用户对应所述用户标签的用户特征向量。

所述状态分析单元，包括：

状态分析子单元，用于通过预先训练得到的全连接神经网络模型，确定所述用户特征向量与所述全连接神经网络模型中的参数矩阵之间的相关性，得到表征所述目标用户对应所述用户标签中至少一种用户状态的特征相关性，其中，所述参数矩阵中用于表征所述用户标签中多种不同用户状态中的特征描述，且所述参数矩阵中的每列表示一种用户状态的特征。

可选的，所述装置还包括：模型训练单元，用于通过如下方式训练所述第一卷积神经网络、第二卷积神经网络、深度神经网络模型以及全连接神经网络模型：

分别获取多个样本用户在所述用户标签中的实际用户状态，以及所述多个样本用户各自发布的文本样本集合以及图像样本集合，所述文本样本集合包括多个文本样本，所述图像样本集合包括多个图像样本；

从所述多个样本用户中选取出未处理的一个目标样本用户；

对于所述目标样本用户的文本样本集合中每个文本，分别将所述文本中的每个字符转换为一个字向量，并通过第一卷积神经网络将所述文本样本对应的至少一个字向量转换为第一文本描述向量，得到所述目标样本用户的文本样本集合对应的多个第一文本描述向量；

通过第二卷积神经网络对所述多个第一文本描述向量进行卷积，以将所述多个第一文本描述向量转换为一个第二文本描述向量；

通过深度神经网络模型分别将所述目标样本用户的图像样本集合中的每幅图像分别转换成第一图像描述向量，得到所述目标样本用户的图像样本集合对应的多个第一图像描述向量；

将所述多个第一图像描述向量转换成一个第二图像描述向量；

将第二文本描述向量以及第二图像描述向量转换为一个样本用户特征向量；

通过全连接神经网络模型，将该样本用户特征向量与所述全连接神经网络模型中预置的参数矩阵进行相关性计算，得到所述目标样本用户属于所述用户标签包含的至少一种不同用户状态的概率分布；

如果计算出的所述目标样本用户属于所述目标样本的实际用户状态的概率小于预设阈值，则调整所述第一卷积神经网络模型、第二卷积神经网络模型、深度神经网络模型以及全连接申请网络模型中设置的参数，并执行所述对于所述目标样本用户的文本样本集合中每个文本，分别将所述文本中的每个字符转换为一个字向量的操作，直至计算出的所述目标样本用户属于所述目标样本用户的实际用户状态的概率不小于该预设阈值；

在计算出的所述目标样本用户属于所述目标样本用户的实际用户状态的概率不小于该预设阈值时，返回执行所述从所述多个样本用户中选取出未处理的一个目标样本用户，直至所述多个样本用户中不存在未处理的样本用户。

对应本申请的一种信息推荐方法，本申请还提供了一种信息推荐装置。如，参见图10，其示出了本申请一种信息推荐装置一个实施例的组成结构示意图，本实施例的装置可以包括：

推荐用户确定单元1001，用于在满足信息推荐条件时，确定待接受信息推荐的目标用户。

数据获取单元1002，用于获取所述目标用户在网络平台中发布的文本集合以及图像集合。

文本转换单元1003，用于将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布。

图像转换单元1004，用于将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布。

状态分析单元1005，用于确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性。

状态确定单元1006，用于基于所述特征相关性，确定所述目标用户的当前用户状态。

信息推荐单元1007，用于向所述目标用户的终端发送与所述当前用户状态相匹配的推荐信息。

其中，数据获取单元1002、文本转换单元1003、图像转换单元1004、状态分析单元1005以及状态确定单元1006可以参见前面用户状态挖掘装置中相应单元的介绍，在此不再赘述。

另一方面，本申请还提供了一种服务器，该服务器的组成结构与图2所示的计算机设备相似。具体的，该服务器可以包括存储器和处理器。

其中，所述处理器用于调用并执行所述存储器中的程序。

所述存储器中存储的所述程序至少用于：

在满足信息推荐条件时，确定待接受信息推荐的目标用户；

获取所述目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；

将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；

确定出所述第一特征分布和所述第二特征分布分别与所述用户标签包含的至少一个用户状态之间的特征相关性；

基于所述特征相关性，确定所述目标用户的当前用户状态；

向所述目标用户的终端发送与所述当前用户状态相匹配的推荐信息。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种用户状态挖掘方法，其特征在于，包括：

获取目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合，所述用户标签为组成用户画像的分支，是用于描述所述用户画像的一种属性；

利用预先训练得到的深度神经网络模型，分别将所述图像集合中每幅图像的图像特征转换为用于描述对应用户标签的第二特征向量，得到包含多个第二特征向量的第二特征集合；

通过预先训练得到的第二卷积神经网络，将所述文本集合中多个文本对应的多个第一特征向量转换为用于描述所述用户标签的第三特征向量；

将所述图像集合中多幅图像对应的多个第二特征向量转换为用于描述所述用户标签的第四特征向量，所述第四特征向量与所述第三特征向量具有相同的维度；

将所述第三特征向量和所述第四特征向量转换为用于描述所述目标用户对应所述用户标签的用户特征向量；

通过预先训练得到的全连接神经网络模型，确定所述用户特征向量与所述全连接神经网络模型中的参数矩阵之间的相关性，得到表征所述目标用户分别与所述用户标签中至少一种用户状态的特征相关性，所述特征相关性表示所述目标用户与所述用户标签中各个用户状态之间的特征相似度，其中，所述参数矩阵中用于表征所述用户标签中多种不同用户状态中的特征描述，且所述参数矩阵中的每列表示一种用户状态的特征，所述用户状态为用户在所述用户标签中所具有的实际状态；

基于所述特征相关性，确定所述目标用户的当前用户状态。

2.根据权利要求1所述的用户状态挖掘方法，其特征在于，所述方法还包括：

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；

将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；

依据预先训练得到的所述用户标签包含的至少一种用户状态的第三特征分布，计算所述第一特征分布和所述第二特征分布与所述第三特征分布之间的特征相关性，所述特征相关性具有的维度与所述用户标签具有的用户状态的种类相同，且所述特征相关性中每个维度的取值表征所述第一特征分布和所述第二特征分布与所述用户标签中一种用户标签之间的特征相关性。

3.根据权利要求1所述的用户状态挖掘方法，其特征在于，所述将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合，包括：

针对所述文本集合中的每个文本，将所述文本中的每个字符分别转换为一个字向量，得到每个所述文本对应的至少一个字向量；

通过预先训练得到的第一卷积神经网络分别将所述文本集合中每个文本对应的至少一个字向量转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合。

4.根据权利要求1-3任意一项所述的用户状态挖掘方法，其特征在于，第一卷积神经网络、第二卷积神经网络、深度神经网络模型以及全连接神经网络模型通过如下方式训练得到：

分别获取多个样本用户在所述用户标签中的实际用户状态，以及所述多个样本用户各自发布的文本样本集合以及图像样本集合，所述文本样本集合包括多个文本样本，所述图像样本集合包括多个图像样本；

从所述多个样本用户中选取出未处理的一个目标样本用户；

对于所述目标样本用户的文本样本集合中每个文本，分别将所述文本中的每个字符转换为一个字向量，并通过第一卷积神经网络将所述文本样本对应的至少一个字向量转换为第一文本描述向量，得到所述目标样本用户的文本样本集合对应的多个第一文本描述向量；

通过第二卷积神经网络对所述多个第一文本描述向量进行卷积，以将所述多个第一文本描述向量转换为一个第二文本描述向量；

通过深度神经网络模型分别将所述目标样本用户的图像样本集合中的每幅图像分别转换成第一图像描述向量，得到所述目标样本用户的图像样本集合对应的多个第一图像描述向量；

将所述多个第一图像描述向量转换成一个第二图像描述向量；

将所述第二文本描述向量以及第二图像描述向量转换为一个样本用户特征向量；

通过全连接神经网络模型，将所述样本用户特征向量与所述全连接神经网络模型中预置的参数矩阵进行相关性计算，得到所述目标样本用户属于所述用户标签包含的至少一种不同用户状态的概率分布；

如果计算出的所述目标样本用户属于所述目标样本的实际用户状态的概率小于预设阈值，则调整所述第一卷积神经网络模型、第二卷积神经网络模型、深度神经网络模型以及全连接神经网络模型中设置的参数，并执行所述对于所述目标样本用户的文本样本集合中每个文本，分别将所述文本中的每个字符转换为一个字向量的操作，直至计算出的所述目标样本用户属于所述目标样本用户的实际用户状态的概率不小于所述预设阈值；

在计算出的所述目标样本用户属于所述目标样本用户的实际用户状态的概率不小于所述预设阈值时，返回执行所述从所述多个样本用户中选取出未处理的一个目标样本用户，直至所述多个样本用户中不存在未处理的样本用户。

5.一种信息推荐方法，其特征在于，包括：

在满足信息推荐条件时，确定待接受信息推荐的目标用户；

获取所述目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合，所述用户标签为组成用户画像的分支，是用于描述所述用户画像的一种属性；

利用预先训练得到的深度神经网络模型，分别将所述图像集合中每幅图像的图像特征转换为用于描述对应用户标签的第二特征向量，得到包含多个第二特征向量的第二特征集合；

通过预先训练得到的第二卷积神经网络，将所述文本集合中多个文本对应的多个第一特征向量转换为用于描述所述用户标签的第三特征向量；

将所述图像集合中多幅图像对应的多个第二特征向量转换为用于描述所述用户标签的第四特征向量，所述第四特征向量与所述第三特征向量具有相同的维度；

将所述第三特征向量和所述第四特征向量转换为用于描述所述目标用户对应所述用户标签的用户特征向量；

通过预先训练得到的全连接神经网络模型，确定所述用户特征向量与所述全连接神经网络模型中的参数矩阵之间的相关性，得到表征所述目标用户分别与所述用户标签中至少一种用户状态的特征相关性，所述特征相关性表示所述目标用户与所述用户标签中各个用户状态之间的特征相似度，其中，所述参数矩阵中用于表征所述用户标签中多种不同用户状态中的特征描述，且所述参数矩阵中的每列表示一种用户状态的特征，所述用户状态为用户在所述用户标签中所具有的实际状态；

基于所述特征相关性，确定所述目标用户的当前用户状态；

向所述目标用户的终端发送与所述当前用户状态相匹配的推荐信息。

6.一种用户状态挖掘装置，其特征在于，包括：

数据获取单元，用于获取目标用户在网络平台中发布的文本集合以及图像集合；

文本转换单元，用于将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合，所述用户标签为组成用户画像的分支，是用于描述所述用户画像的一种属性；

图像转换单元，用于利用预先训练得到的深度神经网络模型，分别将所述图像集合中每幅图像的图像特征转换为用于描述对应用户标签的第二特征向量，得到包含多个第二特征向量的第二特征集合；

文本向量合并单元，用于通过预先训练得到的第二卷积神经网络，将所述文本集合中多个文本对应的多个第一特征向量转换为用于描述所述用户标签的第三特征向量；

图像向量合并单元，用于将所述图像集合中多幅图像对应的多个第二特征向量转换为用于描述所述用户标签的第四特征向量，所述第四特征向量与所述第三特征向量具有相同的维度；

向量转换处理单元，用于将所述第三特征向量和所述第四特征向量转换为用于描述所述目标用户对应所述用户标签的用户特征向量；

状态分析单元，用于通过预先训练得到的全连接神经网络模型，确定所述用户特征向量与所述全连接神经网络模型中的参数矩阵之间的相关性，得到表征所述目标用户分别与所述用户标签中至少一种用户状态的特征相关性，所述特征相关性表示所述目标用户与所述用户标签中各个用户状态之间的特征相似度，其中，所述参数矩阵中用于表征所述用户标签中多种不同用户状态中的特征描述，且所述参数矩阵中的每列表示一种用户状态的特征，所述用户状态为用户在所述用户标签中所具有的实际状态；

状态确定单元，用于基于所述特征相关性，确定所述目标用户的当前用户状态。

7.根据权利要求6所述的用户状态挖掘装置，其特征在于，所述用户状态挖掘装置还包括：

相关性计算单元，用于将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征，得到包含多个所述第一特征的第一特征分布；将所述图像集合中每个图像的图像特征分别转换为用于描述对应用户标签的第二特征，得到包含多个所述第二特征的第二特征分布；依据预先训练得到的所述用户标签包含的至少一种用户状态的第三特征分布，计算所述第一特征分布和所述第二特征分布与所述第三特征分布之间的特征相关性，所述特征相关性具有的维度与所述用户标签具有的用户状态的种类相同，且所述特征相关性中每个维度的取值表征所述第一特征分布和所述第二特征分布与所述用户标签中一种用户标签之间的特征相关性。

8.根据权利要求6所述的用户状态挖掘装置，其特征在于，所述文本转换单元，包括：

字符转换单元，用于针对所述文本集合中的每个文本，将所述文本中的每个字符分别转换为一个字向量，得到每个所述文本对应的至少一个字向量；

文本向量转换单元，用于通过预先训练得到的第一卷积神经网络分别将所述文本集合中每个文本对应的至少一个字向量转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合。

9.一种信息推荐装置，其特征在于，包括：

推荐用户确定单元，用于在满足信息推荐条件时，确定待接受信息推荐的目标用户；

数据获取单元，用于获取所述目标用户在网络平台中发布的文本集合以及图像集合；

文本转换单元，用于将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合，所述用户标签为组成用户画像的分支，是用于描述所述用户画像的一种属性；

图像转换单元，用于利用预先训练得到的深度神经网络模型，分别将所述图像集合中每幅图像的图像特征转换为用于描述对应用户标签的第二特征向量，得到包含多个第二特征向量的第二特征集合；

状态分析单元，用于通过预先训练得到的第二卷积神经网络，将所述文本集合中多个文本对应的多个第一特征向量转换为用于描述所述用户标签的第三特征向量；

将所述图像集合中多幅图像对应的多个第二特征向量转换为用于描述所述用户标签的第四特征向量，所述第四特征向量与所述第三特征向量具有相同的维度；

将所述第三特征向量和所述第四特征向量转换为用于描述所述目标用户对应所述用户标签的用户特征向量；

通过预先训练得到的全连接神经网络模型，确定所述用户特征向量与所述全连接神经网络模型中的参数矩阵之间的相关性，得到表征所述目标用户分别与所述用户标签中至少一种用户状态的特征相关性，所述特征相关性表示所述目标用户与所述用户标签中各个用户状态之间的特征相似度，其中，所述参数矩阵中用于表征所述用户标签中多种不同用户状态中的特征描述，且所述参数矩阵中的每列表示一种用户状态的特征，所述用户状态为用户在所述用户标签中所具有的实际状态；

状态确定单元，用于基于所述特征相关性，确定所述目标用户的当前用户状态；

信息推荐单元，用于向所述目标用户的终端发送与所述当前用户状态相匹配的推荐信息。

10.一种计算机设备，其特征在于，包括：

存储器和处理器；

所述处理器用于调用并执行所述存储器中的程序；

所述存储器中存储的所述程序至少用于：

获取目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合，所述用户标签为组成用户画像的分支，是用于描述所述用户画像的一种属性；

利用预先训练得到的深度神经网络模型，分别将所述图像集合中每幅图像的图像特征转换为用于描述对应用户标签的第二特征向量，得到包含多个第二特征向量的第二特征集合；

通过预先训练得到的第二卷积神经网络，将所述文本集合中多个文本对应的多个第一特征向量转换为用于描述所述用户标签的第三特征向量；

将所述图像集合中多幅图像对应的多个第二特征向量转换为用于描述所述用户标签的第四特征向量，所述第四特征向量与所述第三特征向量具有相同的维度；

将所述第三特征向量和所述第四特征向量转换为用于描述所述目标用户对应所述用户标签的用户特征向量；

通过预先训练得到的全连接神经网络模型，确定所述用户特征向量与所述全连接神经网络模型中的参数矩阵之间的相关性，得到表征所述目标用户分别与所述用户标签中至少一种用户状态的特征相关性，所述特征相关性表示所述目标用户与所述用户标签中各个用户状态之间的特征相似度，其中，所述参数矩阵中用于表征所述用户标签中多种不同用户状态中的特征描述，且所述参数矩阵中的每列表示一种用户状态的特征，所述用户状态为用户在所述用户标签中所具有的实际状态；

基于所述特征相关性，确定所述目标用户的当前用户状态。

11.一种服务器，其特征在于，包括：

存储器和处理器；

所述处理器用于调用并执行所述存储器中的程序；

所述存储器中存储的所述程序至少用于：

在满足信息推荐条件时，确定待接受信息推荐的目标用户；

获取所述目标用户在网络平台中发布的文本集合以及图像集合；

将所述文本集合中的每个文本分别转换为用于描述对应用户标签的第一特征向量，得到包含多个第一特征向量的第一特征集合，所述用户标签为组成用户画像的分支，是用于描述所述用户画像的一种属性；

利用预先训练得到的深度神经网络模型，分别将所述图像集合中每幅图像的图像特征转换为用于描述对应用户标签的第二特征向量，得到包含多个第二特征向量的第二特征集合；

通过预先训练得到的第二卷积神经网络，将所述文本集合中多个文本对应的多个第一特征向量转换为用于描述所述用户标签的第三特征向量；

将所述图像集合中多幅图像对应的多个第二特征向量转换为用于描述所述用户标签的第四特征向量，所述第四特征向量与所述第三特征向量具有相同的维度；

将所述第三特征向量和所述第四特征向量转换为用于描述所述目标用户对应所述用户标签的用户特征向量；

通过预先训练得到的全连接神经网络模型，确定所述用户特征向量与所述全连接神经网络模型中的参数矩阵之间的相关性，得到表征所述目标用户分别与所述用户标签中至少一种用户状态的特征相关性，所述特征相关性表示所述目标用户与所述用户标签中各个用户状态之间的特征相似度，其中，所述参数矩阵中用于表征所述用户标签中多种不同用户状态中的特征描述，且所述参数矩阵中的每列表示一种用户状态的特征，所述用户状态为用户在所述用户标签中所具有的实际状态；

基于所述特征相关性，确定所述目标用户的当前用户状态；

向所述目标用户的终端发送与所述当前用户状态相匹配的推荐信息。

Images