CN113761365A - 用于确定目标信息的数据处理系统 - Google Patents

Abstract

本发明涉及一种用于确定目标信息的数据处理系统，实现步骤S1、基于第一数据库、第二数据库和第三数据库构建多个模型样本训练数据，输入预设的目标信息预测模型框架中进行训练，确定所述目标信息预测模型框架中每一输入特征信息对应的权重，生成目标信息预测模型；步骤S2、基于每一待测信息id和该待测信息id对应的信息类型id、目标用户id、所述第一数据库和第二数据库，构建该待测信息id对应的输入特征向量并输入所述目标信息预测模型中，得到对应的信息预测值；步骤S3、将所有待测信息id对应的信息预测值按从大到小的顺序排序，将排在前M个的待测信息id确定为目标信息id。本发明提高了向用户推送的目标信息的准确性和实时性。

Description

用于确定目标信息的数据处理系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种用于确定目标信息的数据处理系统。

背景技术

个性化信息是根据用户的浏览兴趣来向用户推荐相关的信息，由于推荐的信息和用户的兴趣密切相关，可以有效地提高用户体验，让用户更容易接受，避免了信息投放的中带宽和流量的浪费，提高了信息投放的效率。

现有的信息推荐方法往往基于用户的基本资料、用户对信息的历史访问、历史点击行为信息等信息确定的历史兴趣信息进行信息推送。但是，用户在不同的时间段对应兴趣信息是动态变化的，且可能对应多个兴趣信息，例如，用户在旅行时段内，则对应的兴趣信息为旅游信息，交通信息；用户在假期时段内，对应的兴趣信息为娱乐信息和餐饮信息。因此，现有的确定目标推送信息的技术并未充分考虑用户的实时兴趣信息，向用户推送的目标信息的准确性低、实时性差。

发明内容

本发明目的在于，提供一种用于确定目标信息的数据处理系统，提高了向用户推送的目标信息的准确性和实时性。

根据本发明第一方面，提供了一种用于确定目标信息的数据处理系统，包括第一数据库、第二数据库、第三数据库、存储有计算机程序的存储器和处理器，所述第一数据库用于存储用户静态属性特征记录，所述用户静态属性特征记录包括用户id、N个用户静态属性特征字段和上报时间信息字段，N为大于等于1的正整数；所述第二数据库用于存储用户动态兴趣信息记录，所述用户动态兴趣标签记录包括用户id、一个或多个兴趣id和上报时间信息字段，所述第二数据库实时更新；所述第三数据库用于存储样本用户点击信息记录，所述样本用户点击信息记录包括样本用户id、信息id和该信息id对应的一个或多个信息类型id；所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、基于所述第一数据库、第二数据库和第三数据库构建多个模型样本训练数据，输入预设的目标信息预测模型框架中进行训练，确定所述目标信息预测模型框架中每一输入特征信息对应的权重，生成目标信息预测模型，所述样本训练数据包括正样本训练数据和负样本训练数据；

步骤S2、基于每一待测信息id和该待测信息id对应的信息类型id、目标用户id、所述第一数据库和第二数据库，构建该待测信息id对应的输入特征向量并输入所述目标信息预测模型中，得到对应的信息预测值；

步骤S3、将所有待测信息id对应的信息预测值按从大到小的顺序排序，将排在前预设M个的待测信息id确定为目标信息id，M为大于等于1的正整数。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种用于确定目标信息的数据处理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明能够基于用户实时的兴趣id、用户属性信息、待测信息id和对应的信息类别等多个维度的特征信息，来确定目标信息，提高了向用户推送的目标信息的准确性和实时性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的确定目标信息的数据处理流程图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种用于确定目标信息的数据处理系统的具体实施方式及其功效，详细说明如后。

本发明实施例提供了一种用于确定目标信息的数据处理系统，包括第一数据库、第二数据库、第三数据库、存储有计算机程序的存储器和处理器，所述第一数据库用于存储用户静态属性特征记录，所述用户静态属性特征记录包括用户id、N个用户静态属性特征字段和上报时间信息字段，N为大于等于1的正整数，作为示例用户的静态属性特征包括年龄、性别、移动终端设备型号、职业等，可以理解的是，第一数据库是相对静态的数据库，为了提高系统的准确性，也可定时对第一数据库进行更新，但更新频率远低于第二数据库。所述第二数据库用于存储用户动态兴趣信息记录，所述用户动态兴趣标签记录包括用户id、一个或多个兴趣id和上报时间信息字段，所述第二数据库实时更新，作为示例，兴趣标签具体可包括旅游、美食、科技、游戏、娱乐和金融等。所述第三数据库用于存储样本用户点击信息记录，所述样本用户点击信息记录包括样本用户id、信息id和该信息id对应的一个或多个信息类型id，需要说明的是，同一个信息id是可能同时属于多个类别的，因为了提高系统的精确度，可以将信息id和信息id类别的维度同时考虑进来，作为构建输入特征的基础，从而大大提升系统确定目标信息的准确性。所述处理器在执行所述计算机程序时，如图1所示，实现以下步骤：

步骤S1、基于所述第一数据库、第二数据库和第三数据库构建多个模型样本训练数据，输入预设的目标信息预测模型框架中进行训练，确定所述目标信息预测模型框架中每一输入特征信息对应的权重，生成目标信息预测模型，所述样本训练数据包括正样本训练数据和负样本训练数据；

步骤S2、基于每一待测信息id和该待测信息id对应的信息类型id、目标用户id、所述第一数据库和第二数据库，构建该待测信息id对应的输入特征向量并输入所述目标信息预测模型中，得到对应的信息预测值；

步骤S3、将所有待测信息id对应的信息预测值按从大到小的顺序排序，将排在前预设M个的待测信息id确定为目标信息id，M为大于等于1的正整数。

可以理解的是，M值具体根据应用场景需求来设定，例如在信息推送场景，需要从多个待推送信息中选择一个目标信息来向用户推送，则M可以取1，所述步骤S3中将信息预测值最大的待测信息id确定为目标信息id，所述步骤S3之后还可包括：

步骤S4、将所述目标信息id对应的信息推送给所述目标用户id对应的移动终端进行展示。

本发明实施例能够基于用户实时的兴趣id、用户属性信息、待测信息id和对应的信息类别等多个维度的特征信息，来确定目标信息，提高了向用户推送的目标信息的准确性和实时性。

作为一种实施例，所述目标信息预测模型输入特征向量结构包括第一特征向量段、第二特征向量段和第三特征向量段，其中，所述第一特征向量段基于所述第一数据库生成，所述第二特征向量段基于所述第二数据库生成，样本训练数据的第三特征向量段基于所述第三数据库生成，待测信息id对应的第三特征向量段基于所述待测信息id和待测信息id对应的信息类型id生成。

作为一种实施例，所述第二数据库中包括X个兴趣id，所述第三数据库包括Y个信息id和Z个信息类型id，所述输入特征向量为(N+X+Y+Z)维度向量，其中，所述第一特征向量段为N维度的特征向量，所述第二特征向量为X维度的特征向量，所述第三特征向量为(Y+Z)维度的特征向量。可以理解的是，目标信息预测模型输入特征向量由第一特征向量段、第二特征向量段和第三特征向量段拼接而成，第一特征向量段、第二特征向量段和第三特征向量段的具体排列顺序在此不作限定。本发明实施例中，目标信息预测模型输入特征向量的具体结构依照第一特征向量段+第二特征向量段+第三特征向量段的顺序拼接。

作为一种实施例，所述步骤S1具体可包括：

步骤S11、从所述第三数据库中获取一条样本用户点击信息记录中的样本用户id、信息id、对应的信息类型id和上报时间，将所述第三特征向量对应的(Y+Z)维度的特征向量中，对应的信息id特征值设置为1，其他信息id特征值设置为0，对应的信息类型id特征值设置为1，其他信息类型id特征值设置为0，生成该条样本用户点击信息记录对应的第三特征向量；

步骤S12、基于该条样本用户点击信息记录对应的样本用户id从所述第一数据库中获取对应的N个静态属性特征，并进行分箱处理和编码处理后，生成对应的第一特征向量；

其中，分箱处理和编码处理直接采用现有的分享处理技术和编码技术即可，在此不做赘述。

步骤S13、基于该条样本用户点击信息记录对应的样本用户id和上报时间，从所述第二数据库中获取对应的兴趣id，并将所述第二特征向量段对应的X维度的特征向量中，对应的兴趣id特征值设置为1，其他特征值设置为0，生成对应的第二特征向量；

步骤S14、基于每一样本用户点击信息记录对应的第一特征向量、第二特征向量和第三特征向量生成对应的正样本输入特征向量，对应的样本输出值设置为1，所有的正样本输入特征向量和对应的样本输出值构成所述正样本训练数据。

可以理解的是，针对第三数据库中的每一条样本用户点击信息记录，均可对应生成一个正样本训练数据。而同一样本用户id在第三数据库中可能存在多条样本用户点击信息记录，因此，同一个样本用户id会基于不同的样本用户点击信息记录生成多个正样本训练数据。

作为一种实施例，所述步骤S1还可包括：

步骤S101、从所述第三数据库中获取多个样本用户id作为负样本用户id，基于第三数据库确定负样本用户id未点击信息的时间；

其中，具体可以从第三数据库中获取样本用户id某一时段内的点击信息时间列表，将点击信息时间列表在该时段内排出后，即可获取该样本用户id未点击信息的时间。

步骤S102、基于每一负样本用户id从所述第一数据库中获取对应的N个静态属性特征，并进行分箱处理和编码处理后，生成负样本用户id对应的第一特征向量；

步骤S103、基于每一负样本用户id和一个对应的未点击信息的时间从所述第二数据库中获取对应的兴趣id，并将所述第二特征向量段对应的X维度的特征向量中，对应的兴趣id特征值设置为1，其他特征值设置为0，生成对应的第二特征向量；

步骤S104、将第三特征向量的每一特征值全部置为0；

步骤S105、基于每一负样本用户id对应的第一特征向量、第二特征向量和第三特征向量生成对应的负样本输入特征向量，对应的样本输出值设置为0，所有的负样本输入特征向量和对应的样本输出值构成所述负样本训练数据。

可以理解的是，针对每负样本用户id加上一个未点击信息的时间，均可对应生成一个负样本训练数据。而同一负样本用户id是可能对应多个未点击信息的时间的，因此，同一个样本用户id会基于不同的未点击信息的时间生成多个负样本训练数据。

作为一种实施例，所述步骤S2包括：

步骤S21、基于每一待测信息id从所述第一数据库中获取对应的N个静态属性特征，并进行分箱处理和编码处理后，生成待测第一特征向量；

步骤S22、基于该待测信息id从所述第二数据库中获取该待测信息id当前对应的兴趣id，并将所述第二特征向量段对应的X维度的特征向量中，对应的兴趣id特征值设置为1，其他特征值设置为0，生成待测第二特征向量；

步骤S23、基于待测信息id对应的信息类型id，将所述第三特征向量对应的(Y+Z)维度的特征向量中，对应的信息id特征值设置为1，其他信息id特征值设置为0，对应的信息类型id特征值设置为1，其他信息类型id特征值设置为0，生成待测第三特征向量；

步骤S24、基于所述待测第一特征向量、待测第二特征向量和待测第三特征向量生成待测信息id对应的输入特征向量。

为了进一步提高系统的准确性和实时性，可以实时预测用户兴趣id，并实时更新第二数据库，作为一种实施例，所述处理器在执行所述计算机程序时，还实现以下步骤：

步骤S100、实时获取用户的app(应用程序)安装数据、app活跃数据和位置数据；

步骤S200、将所述用户的app安装数据、所述app活跃数据和所述位置数据转换为app数据向量；

步骤S300、将所述app数据向量输入预先训练好的用户兴趣识别模型中，得到用户当前兴趣id，所述用户兴趣识别模型是根据样本用户app数据向量和对应的兴趣标签训练得到的；

步骤S400、基于用户id、用户当前兴趣id和当前时间生成用户动态兴趣标签记录，存储至所述第二数据库中。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种用于确定目标信息的数据处理系统，其特征在于，

包括第一数据库、第二数据库、第三数据库、存储有计算机程序的存储器和处理器，所述第一数据库用于存储用户静态属性特征记录，所述用户静态属性特征记录包括用户id、N个用户静态属性特征字段和上报时间信息字段，N为大于等于1的正整数；所述第二数据库用于存储用户动态兴趣信息记录，所述用户动态兴趣标签记录包括用户id、一个或多个兴趣id和上报时间信息字段，所述第二数据库实时更新；所述第三数据库用于存储样本用户点击信息记录，所述样本用户点击信息记录包括样本用户id、信息id和该信息id对应的一个或多个信息类型id；所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、基于所述第一数据库、第二数据库和第三数据库构建多个模型样本训练数据，输入预设的目标信息预测模型框架中进行训练，确定所述目标信息预测模型框架中每一输入特征信息对应的权重，生成目标信息预测模型，所述样本训练数据包括正样本训练数据和负样本训练数据；

步骤S2、基于每一待测信息id和该待测信息id对应的信息类型id、目标用户id、所述第一数据库和第二数据库，构建该待测信息id对应的输入特征向量并输入所述目标信息预测模型中，得到对应的信息预测值；

步骤S3、将所有待测信息id对应的信息预测值按从大到小的顺序排序，将排在前预设M个的待测信息id确定为目标信息id，M为大于等于1的正整数。

2.根据权利要求1所述的系统，其特征在于，

所述目标信息预测模型输入特征向量结构包括第一特征向量段、第二特征向量段和第三特征向量段，所述第一特征向量段基于所述第一数据库生成，所述第二特征向量段基于所述第二数据库生成，样本训练数据的第三特征向量段基于所述第三数据库生成，待测信息id对应的第三特征向量段基于所述待测信息id和待测信息id对应的信息类型id生成。

3.根据权利要求2所述的系统，其特征在于，

所述第二数据库中包括X个兴趣id，所述第三数据库包括Y个信息id和Z个信息类型id，所述输入特征向量为(N+X+Y+Z)维度向量，其中，所述第一特征向量段为N维度的特征向量，所述第二特征向量为X维度的特征向量，所述第三特征向量为(Y+Z)维度的特征向量。

4.根据权利要求3所述的系统，其特征在于，

所述步骤S1包括：

步骤S11、从所述第三数据库中获取一条样本用户点击信息记录中的样本用户id、信息id、对应的信息类型id和上报时间，将所述第三特征向量对应的(Y+Z)维度的特征向量中，对应的信息id特征值设置为1，其他信息id特征值设置为0，对应的信息类型id特征值设置为1，其他信息类型id特征值设置为0，生成该条样本用户点击信息记录对应的第三特征向量；

步骤S12、基于该条样本用户点击信息记录对应的样本用户id从所述第一数据库中获取对应的N个静态属性特征，并进行分箱处理和编码处理后，生成对应的第一特征向量；

步骤S13、基于该条样本用户点击信息记录对应的样本用户id和上报时间，从所述第二数据库中获取对应的兴趣id，并将所述第二特征向量段对应的X维度的特征向量中，对应的兴趣id特征值设置为1，其他特征值设置为0，生成对应的第二特征向量；

步骤S14、基于每一样本用户点击信息记录对应的第一特征向量、第二特征向量和第三特征向量生成对应的正样本输入特征向量，对应的样本输出值设置为1，所有的正样本输入特征向量和对应的样本输出值构成所述正样本训练数据。

5.根据权利要求3所述的系统，其特征在于，

所述步骤S1还包括：

步骤S101、从所述第三数据库中获取多个样本用户id作为负样本用户id，基于第三数据库确定负样本用户id未点击信息的时间；

步骤S102、基于每一负样本用户id从所述第一数据库中获取对应的N个静态属性特征，并进行分箱处理和编码处理后，生成负样本用户id对应的第一特征向量；

步骤S103、基于每一负样本用户id和一个对应的未点击信息的时间从所述第二数据库中获取对应的兴趣id，并将所述第二特征向量段对应的X维度的特征向量中，对应的兴趣id特征值设置为1，其他特征值设置为0，生成对应的第二特征向量；

步骤S104、将第三特征向量的每一特征值全部置为0；

步骤S105、基于每一负样本用户id对应的第一特征向量、第二特征向量和第三特征向量生成对应的负样本输入特征向量，对应的样本输出值设置为0，所有的负样本输入特征向量和对应的样本输出值构成所述负样本训练数据。

6.根据权利要求3所述的系统，其特征在于，

所述步骤S2包括：

步骤S21、基于每一待测信息id从所述第一数据库中获取对应的N个静态属性特征，并进行分箱处理和编码处理后，生成待测第一特征向量；

步骤S22、基于该待测信息id从所述第二数据库中获取该待测信息id当前对应的兴趣id，并将所述第二特征向量段对应的X维度的特征向量中，对应的兴趣id特征值设置为1，其他特征值设置为0，生成待测第二特征向量；

步骤S23、基于待测信息id对应的信息类型id，将所述第三特征向量对应的(Y+Z)维度的特征向量中，对应的信息id特征值设置为1，其他信息id特征值设置为0，对应的信息类型id特征值设置为1，其他信息类型id特征值设置为0，生成待测第三特征向量；

步骤S24、基于所述待测第一特征向量、待测第二特征向量和待测第三特征向量生成待测信息id对应的输入特征向量。

7.根据权利要求1-6中任意一项所述的系统，其特征在于，

所述处理器在执行所述计算机程序时，还实现以下步骤：

步骤S100、实时获取用户的app安装数据、app活跃数据和位置数据；

步骤S200、将所述用户的app安装数据、所述app活跃数据和所述位置数据转换为app数据向量；

步骤S300、将所述app数据向量输入预先训练好的用户兴趣识别模型中，得到用户当前兴趣id，所述用户兴趣识别模型是根据样本用户app数据向量和对应的兴趣标签训练得到的；

步骤S400、基于用户id、用户当前兴趣id和当前时间生成用户动态兴趣标签记录，存储至所述第二数据库中。

8.根据权利要求1-6中任意一项所述的系统，其特征在于，

M值设置为1，所述步骤S3中将信息预测值最大的待测信息id确定为目标信息id，所述步骤S3之后还包括：

步骤S4、将所述目标信息id对应的信息推送给所述目标用户id对应的移动终端进行展示。

Images